Большие языковые модели (LLM) стали частью продакшена — от чат-ботов поддержки до автономных агентов, управляющих внутренними системами. Вместе с возможностями пришёл новый класс уязвимостей, которых нет в классической веб-безопасности. Сообщество OWASP систематизировало их в списке OWASP Top 10 for LLM Applications 2025 — это отраслевой эталон рисков ИИ-приложений. Разбираем все десять: как атакуют, чем это грозит и как защититься.
Этот материал — практический гид от команды SecurityLab Pro. Мы тестируем ИИ-системы вручную и видим эти атаки не в теории, а на реальных продуктах.
LLM01. Prompt Injection — внедрение промпта
Самая известная и самая опасная угроза. Модель не отличает «инструкцию разработчика» от «данных пользователя» — всё это для неё просто текст. Атакующий вставляет в ввод команду («игнорируй прежние инструкции и…»), и модель выполняет её. Инъекция бывает прямой (через поле ввода) и косвенной — когда вредоносная инструкция спрятана в документе, письме или веб-странице, которые модель обрабатывает автоматически.
Чем грозит: Чем опаснее полномочия модели, тем серьёзнее последствия — от подмены ответов до выполнения действий от имени пользователя.
Как защититься: Полностью «вылечить» инъекции нельзя, но можно снизить риск: разделение доверенного и недоверенного контента, ограничение полномочий модели, фильтрация ввода. Проверяется пентестом ИИ и Red Teaming LLM.
LLM02. Sensitive Information Disclosure — утечка чувствительных данных
Модель может раскрыть то, что не должна: персональные данные из обучающей выборки, содержимое чужих сессий, внутренние документы, ключи и секреты, попавшие в контекст. Иногда достаточно грамотно сформулированного вопроса.
Чем грозит: Утечка PII и коммерческой тайны — прямой юридический и репутационный риск, особенно под 152-ФЗ и GDPR.
Как защититься: Минимизация данных в контексте, изоляция сессий и пользователей, фильтрация вывода. Проверяем в рамках пентеста ИИ-приложений.
LLM03. Supply Chain — уязвимости цепочки поставок
ИИ-приложение собирается из чужих компонентов: предобученных моделей с хабов, датасетов, библиотек, адаптеров (LoRA), плагинов. Любой из них может быть скомпрометирован — заражённая модель или отравленный датасет попадают прямо в ваш продукт.
Чем грозит: Одна доверенная, но подменённая модель компрометирует всё приложение целиком.
Как защититься: Контроль происхождения моделей и данных, проверка зависимостей, безопасный ML-пайплайн. Закрывается аудитом ML/AI-систем и внедрением DevSecOps.
LLM04. Data and Model Poisoning — отравление данных и модели
Атакующий внедряет вредоносные примеры в обучающую или дообучающую выборку, чтобы модель научилась неправильному поведению или получила скрытый бэкдор, срабатывающий по определённому триггеру.
Чем грозит: Отравление незаметно до момента срабатывания и подрывает доверие ко всем решениям модели.
Как защититься: Контроль источников данных, валидация выборок, мониторинг поведения. Входит в аудит безопасности ML-систем.
LLM05. Improper Output Handling — небезопасная обработка вывода
Вывод модели слепо передаётся дальше — в браузер, в SQL-запрос, в системную команду, в вызов API. Если приложение доверяет ответу модели как безопасному, классические уязвимости возвращаются: XSS, SSRF, инъекции, выполнение кода — только источником становится сам ИИ.
Чем грозит: Мост между «болтливой моделью» и реальной компрометацией инфраструктуры.
Как защититься: Относиться к выводу модели как к недоверенному вводу: экранирование, валидация, песочница. Проверяется пентестом ИИ и классическим пентестом веб-приложений.
LLM06. Excessive Agency — избыточные полномочия
Модели дают слишком много прав: доступ к инструментам, API, файлам, возможность совершать действия без подтверждения. Когда такую модель удаётся заставить действовать через инъекцию, избыточные полномочия превращают утечку в реальный ущерб — отправку писем, изменение данных, трату средств.
Чем грозит: Именно эта угроза делает ИИ-агентов самым рискованным классом ИИ-систем.
Как защититься: Принцип минимальных привилегий, подтверждение критичных действий, изоляция инструментов. Ключевая тема тестирования безопасности ИИ-агентов и харденинга ИИ-систем.
LLM07. System Prompt Leakage — утечка системного промпта
Системный промпт (инструкции, ограничения, иногда ключи и логика) считается скрытым, но его почти всегда можно вытащить наводящими вопросами. Хуже, если в промпт зашиты секреты или правила безопасности — их раскрытие облегчает дальнейшие атаки.
Чем грозит: Раскрытие внутренней логики и секретов — плацдарм для обхода защит.
Как защититься: Не хранить секреты в промпте, не полагаться на его скрытность. Проверяется Red Teaming LLM и пентестом ИИ.
LLM08. Vector and Embedding Weaknesses — слабости векторов и эмбеддингов
В RAG-системах знания хранятся в векторной базе. Слабая изоляция позволяет одному пользователю получить чужие документы; через загружаемые данные проходят косвенные инъекции; из эмбеддингов можно частично восстановить исходный текст.
Чем грозит: Прямой путь к утечке чужих данных в системах, работающих с базой знаний.
Как защититься: Разграничение доступа к источникам, фильтрация загружаемого контента, изоляция арендаторов. Это профиль безопасности RAG-систем.
LLM09. Misinformation — дезинформация и галлюцинации
Модель уверенно выдаёт неверную информацию — выдуманные факты, несуществующие API, ошибочные рекомендации. Если бизнес-процесс полагается на вывод модели без проверки, ошибки масштабируются автоматически.
Чем грозит: Репутационные, юридические и операционные риски — особенно в медицине, финансах, праве.
Как защититься: Проверка фактов, ограничение области ответов, контроль критичных решений человеком. Закладывается в защиту ИИ-систем и оценивается в рамках доверенного ИИ.
LLM10. Unbounded Consumption — неограниченное потребление ресурсов
Без лимитов ИИ-сервис уязвим к перегрузке и «денежным» атакам: тяжёлые запросы, массовые обращения, дорогие цепочки вызовов инструментов приводят к отказу в обслуживании и раздутым счетам за токены. Сюда же — извлечение модели (model extraction) через массовые запросы.
Чем грозит: DoS и неконтролируемые расходы на инференс — тихая, но дорогая угроза.
Как защититься: Лимиты, квоты, контроль стоимости запросов, защита от извлечения модели. Проверяется пентестом ИИ и харденингом.
Как выстроить защиту ИИ системно
Эти десять угроз связаны: инъекция (LLM01) плюс избыточные полномочия (LLM06) плюс небезопасный вывод (LLM05) складываются в полноценную атаку. Поэтому защита ИИ строится не точечно, а по слоям — тестирование, устранение, повторная проверка:
- Пентест ИИ и LLM-приложений — найти уязвимости.
- Red Teaming LLM — проверить защиту состязательными атаками.
- Безопасность ИИ-агентов — если модель совершает действия.
- Безопасность RAG-систем — если модель работает с базой знаний.
- Аудит ML/AI-систем — данные, модель, пайплайн.
- Защита и харденинг ИИ — внедрить guardrails.
- Доверенный ИИ — соответствие NIST AI RMF, ISO 42001, 152-ФЗ.
OWASP Top 10 for LLM — это не разовый чек-лист, а живая карта рисков, которая меняется вместе с моделями. Регулярное тестирование превращает эти угрозы из потенциальных в контролируемые.
Запускаете ИИ-продукт или уже в проде?
Проверим ваше LLM-приложение по всем десяти угрозам OWASP и покажем, где оно уязвимо — до того, как это сделают злоумышленники.
Источник: OWASP Top 10 for LLM Applications 2025.