// Искусственный интеллект

Промпт-инъекция в иске: суд Бразилии наказал юристов

Промпт-инъекция в иске: скрытый белый текст в петиции трудового суда Бразилии, найденный системой Galileu

Промпт-инъекция в иске закончилась для юристов санкциями. 3-й трудовой суд Парауапебаса в Бразилии вынес им порицание и назначил штраф в 10 % цены иска. В петиции белым шрифтом на белом фоне было спрятано указание для ИИ: разобрать петицию поверхностно и не оспаривать документы.

Коротко

  • Скрытая белым шрифтом фраза требовала от судебного ИИ не спорить с документами, и суд счёл это посягательством на достоинство правосудия.
  • Санкция опирается на статьи 5 и 77 ГПК Бразилии о добросовестности, а не на специальный закон об ИИ.
  • Модель не взламывали: уязвимым оказался вход, поэтому внешние файлы проверяют до нейросети, а оригинал сохраняют как улику.

Что установил суд в Парауапебасе

3-й трудовой суд Парауапебаса (штат Пара) рассматривал иск на R$842 000 и установил, что юристы истца умышленно пытались манипулировать судебной нейросетью. Обоим суд вынес порицание и назначил штраф. В решении упоминаются и две юридические фирмы, подавшие петицию совместно, поэтому неясно, кто платит: юристы, фирмы или все солидарно.

По формулировке суда, юристы добивались, чтобы любой ИИ оппонента или самого суда выдал поверхностный ответ или предвзятый проект решения во вред ответчику. Статья 5 ГПК Бразилии требует от сторон лояльности и правдивости, статья 77 запрещает препятствовать правосудию. Поведение юристов суд признал посягательством на достоинство правосудия.

Штраф составил R$84 200, около US$16 000 по оценке рассылки AI Advisory (курс и дата пересчёта не указаны). Обжаловано ли решение, не сообщается. Источник осторожно называет его, возможно, первым в мире решением об умышленной манипуляции судебным ИИ через промпт-инъекцию. Текст решения опубликовал в X бразильский прокурор и преподаватель права Владимир Арас.

Как промпт-инъекция в иске дошла до Galileu

Фразу набрали белым шрифтом на белом фоне: читатель петиции её не видел, текст проявился только после смены цвета. Указание адресовалось прямо ИИ и должно было срабатывать при любой задаче, которую поставил бы нейросети суд или оппонент.

Судья изучал петицию через Galileu, генеративный инструмент Совета национальной юстиции Бразилии (CNJ), которым пользуются суды по всей стране. Модель и способ извлечения текста в публикациях не описаны. Типичные конвертеры PDF и DOCX цвет и размер символов не передают, и белая строка попадает в контекст модели наравне с видимой. По данным G1, Galileu выдал предупреждение и автоматически остановил обработку подозрительного фрагмента.

Считать ли скрытый промпт взломом?

Нет. CVE, вредоноса и компрометации Galileu здесь нет: сработал обычный текст, который модель могла принять за команду. По нашей оценке, это косвенная промпт-инъекция, LLM01 в OWASP Top 10 для LLM-приложений: инструкция приходит из документа, а не от оператора. Суд такими терминами не пользовался. Доступ к интерфейсу атакующему не нужен, достаточно, чтобы файл попал в нейросеть. Проверить, исполняет ли ваша модель чужие указания, можно с помощью состязательного тестирования LLM.

Что проверить, если ИИ читает договоры и претензии?

Контроль нужен на входе, до того как текст попадёт в модель:

  • Сравнивать извлечённый текстовый слой с отрисованной страницей и её OCR; белый или крошечный шрифт отправлять на ручную проверку.
  • Подозрительный документ не чистить молча, а помещать в карантин: удаление фрагмента меняет юридически значимый файл и прячет саму попытку.
  • Фиксировать в журнале файл, SHA-256 оригинала, отклонённый фрагмент и ответ модели; цвет шрифта менять только в копии.
  • Черновик решения передавать дальше только после человека, который видел исходник. Обработчику внешних файлов не давать права менять статус дела.

Эти проверки стоит включить в аудит безопасности RAG-систем.

Что из кейса применимо в России

Статьи 5 и 77 ГПК Бразилии и штраф в 10 % цены иска к российским санкциям отношения не имеют, но подход применим: вход ИИ-обработки становится объектом контроля, а журналы с персональными данными подпадают под 152-ФЗ. Эту связку разбирает оценка доверенного ИИ.

Нашли скрытую инструкцию в документе контрагента? Сохраните оригинал и журнал обработки, не используйте ответ модели по этому файлу и передайте находку юристам компании.

Частые вопросы

Какой штраф назначил суд?

10 % цены иска: при цене R$842 000 это R$84 200, около US$16 000 по оценке AI Advisory. Кто платит, юристы или фирмы, неясно.

Что такое Galileu?

Генеративный ИИ-инструмент CNJ, которым пользуются суды Бразилии. По данным G1, он выдал предупреждение и остановил обработку подозрительного фрагмента.

Видит ли нейросеть белый текст на белом фоне?

Чаще всего да: типичные конвертеры PDF и DOCX цвет не передают. Как читает файлы Galileu, публично не описано.

Если ваши ИИ-ассистенты читают договоры, заявки или претензии, SecurityLab.pro проверит, что попадает в контекст модели и можно ли им управлять извне. Подробнее о пентесте LLM-приложений.


← назад в блог