MLSecOps: безопасность ML-пайплайна от данных до продакшена

MLSecOps — это перенос принципов DevSecOps в машинное обучение: безопасность встраивается в каждый этап жизненного цикла модели, а не добавляется в конце. Модель — не единственный актив; данные, обучение, веса и инфраструктура тоже под ударом, и у каждого этапа свои специфические атаки. Разбираем, где именно ломается ML-конвейер и как его защитить, опираясь на матрицу MITRE ATLAS — отраслевой каталог тактик атак на ML-системы.

Где ломается ML-конвейер

Данные

Отравление данных (data poisoning) — внедрение вредоносных примеров в обучающую выборку, чтобы модель получила скрытый бэкдор или неправильное поведение. Пример backdoor-атаки: модель распознавания обучают так, что при наличии специального «триггера» (пиксельный паттерн, определённое слово) она выдаёт нужный атакующему ответ. До срабатывания триггера модель ведёт себя нормально, поэтому отравление почти незаметно. Первый рубеж — контроль происхождения и целостности данных.

Обучение и веса

Веса модели — коммерческий актив, в который вложены данные и вычисления. При слабой защите их можно украсть напрямую (доступ к реестру моделей/хранилищу) или восстановить поведение через массовые запросы — model extraction: атакующий опрашивает API тысячами запросов и обучает копию вашей модели.

Инференс

На этапе выдачи модель уязвима к состязательным примерам (adversarial examples) — специально подобранным входам, которые человек воспринимает нормально, а модель классифицирует неверно. Для LLM сюда добавляется весь набор угроз OWASP Top 10 для LLM, включая prompt-инъекции.

Цепочка поставок ML

Сторонние предобученные модели, датасеты и библиотеки — как supply chain в обычном софте: одна скомпрометированная зависимость (заражённая модель с публичного хаба, отравленный датасет) компрометирует всю систему. Загрузка «весов из интернета» без проверки — прямой риск.

Реальный контекст угроз

Атаки на ML перестали быть академическими. MITRE ATLAS собирает реальные тактики — от отравления данных и кражи моделей до обхода ML-детекторов вредоносного ПО. По мере того как компании выносят ML в продакшн и в критичные решения (скоринг, антифрод, медицина), цена незащищённого пайплайна растёт: скомпрометированная модель принимает тысячи неправильных решений автоматически и незаметно.

Принципы MLSecOps

1. Контроль происхождения (provenance). Проверяйте источник и целостность данных, моделей и зависимостей; подписывайте артефакты.
2. Защита артефактов. Реестры моделей, веса и версии — под контролем доступа и шифрованием, как секреты.
3. Автоматические проверки в пайплайне. Сканирование зависимостей и датасетов, тесты на устойчивость к состязательным примерам — в CI/CD, по аналогии с DevSecOps.
4. Мониторинг в проде. Отслеживание аномалий во входных данных и поведении модели (data drift, всплеск подозрительных запросов = возможный model extraction).
5. Ограничение доступа к API модели. Лимиты и квоты против массового опроса и извлечения.
6. Реагирование. План действий на инциденты, специфичные для ML (обнаружено отравление/бэкдор — как откатить и переобучить).

С чего начать

Начните с оценки текущего состояния — аудита безопасности ML/AI-систем, который картирует риски по MITRE ATLAS: данные, модель, пайплайн, инфраструктура. Затем встройте проверки в процесс с помощью внедрения DevSecOps, а для регуляторной стороны — доверенный ИИ (NIST AI RMF, ISO 42001).

Читайте также: OWASP Top 10 для LLM, Безопасность ИИ по 152-ФЗ.