MLSecOps: безопасность ML-пайплайна от данных до продакшена

MLSecOps — это перенос принципов DevSecOps в машинное обучение: безопасность встраивается в каждый этап жизненного цикла модели, а не прикручивается в конце. Модель тут не единственный актив; данные, обучение, веса и инфраструктура тоже под ударом, и у каждого этапа свои атаки. Ниже о том, где именно ломается ML-конвейер и как его защитить, с опорой на матрицу MITRE ATLAS, отраслевой каталог тактик атак на ML-системы.

Где ломается ML-конвейер

Данные

Отравление данных (data poisoning) — внедрение вредоносных примеров в обучающую выборку, чтобы модель получила скрытый бэкдор или неверное поведение. Пример backdoor-атаки: модель распознавания обучают так, что при специальном «триггере» (пиксельный паттерн, определённое слово) она выдаёт нужный атакующему ответ. Пока триггера нет, модель ведёт себя нормально, поэтому отравление почти незаметно. Первый рубеж защиты — контроль происхождения и целостности данных.

Обучение и веса

Веса модели — коммерческий актив, в который вложены данные и вычисления. При слабой защите их крадут напрямую (доступ к реестру моделей или хранилищу) либо восстанавливают поведение через массовые запросы. Это model extraction: атакующий опрашивает API тысячами запросов и обучает копию вашей модели.

Инференс

На выдаче модель уязвима к состязательным примерам (adversarial examples): специально подобранным входам, которые человек воспринимает нормально, а модель классифицирует неверно. Для LLM добавляется весь набор угроз OWASP Top 10 для LLM, включая prompt-инъекции.

Цепочка поставок ML

Сторонние предобученные модели, датасеты и библиотеки работают как supply chain в обычном софте: одна скомпрометированная зависимость (заражённая модель с публичного хаба, отравленный датасет) утаскивает за собой всю систему. Загрузка «весов из интернета» без проверки — прямой риск.

Реальный контекст угроз

Атаки на ML перестали быть академическими. MITRE ATLAS собирает реальные тактики: от отравления данных и кражи моделей до обхода ML-детекторов вредоносного ПО. Чем активнее компании выносят ML в продакшн и в критичные решения (скоринг, антифрод, медицина), тем дороже обходится незащищённый пайплайн — скомпрометированная модель принимает тысячи неправильных решений автоматически и незаметно.

Принципы MLSecOps и безопасность машинного обучения

1. Контроль происхождения (provenance). Проверяйте источник и целостность данных, моделей и зависимостей, подписывайте артефакты.
2. Защита артефактов. Реестры моделей, веса и версии держите под контролем доступа и шифрованием, как секреты.
3. Автоматические проверки в пайплайне: сканирование зависимостей и датасетов, тесты на устойчивость к состязательным примерам в CI/CD, по аналогии с DevSecOps.
4. Мониторинг в проде. Отслеживайте аномалии во входных данных и поведении модели (data drift, всплеск подозрительных запросов = возможный model extraction).
5. Ограничение доступа к API модели: лимиты и квоты против массового опроса и извлечения.
6. Реагирование. План на инциденты, специфичные для ML: нашли отравление или бэкдор — знаете, как откатить и переобучить.

Защита ML-модели: с чего начать

Начните с оценки текущего состояния, то есть аудита безопасности ML/AI-систем, который картирует риски по MITRE ATLAS: данные, модель, пайплайн, инфраструктура. Затем встройте проверки в процесс через внедрение DevSecOps, а регуляторную сторону закройте доверенным ИИ (NIST AI RMF, ISO 42001).

Читайте также: OWASP Top 10 для LLM, Безопасность ИИ по 152-ФЗ.

Профильные услуги SecurityLab: тестирование на проникновение · пентест веб-приложений · Пентест ИИ и LLM.