Аудит безопасности ML/AI-систем — это проверка не только модели, но и всего конвейера машинного обучения: данных, обучения, хранения весов, инференса и MLOps-инфраструктуры. Мы оцениваем риски отравления данных, кражи и подмены модели, состязательных примеров и утечек — то есть угрозы, специфичные именно для машинного обучения.
Что мы проверяем в ML-системе
Модель не существует в вакууме — вокруг неё данные, пайплайны и инфраструктура, каждая из которых может стать точкой атаки. Мы смотрим на систему целиком по матрице MITRE ATLAS:
- Отравление данных (data poisoning) — компрометация обучающей выборки.
- Кража модели — извлечение весов, архитектуры, обучающих данных.
- Состязательные примеры — вводы, обманывающие модель.
- Инверсия модели и membership inference — восстановление приватных данных.
- Безопасность MLOps — реестры моделей, пайплайны, хранение весов и артефактов.
- Цепочка поставок ML — сторонние модели, датасеты и зависимости.
Как проходит аудит
Мы разбираем архитектуру ML-системы, определяем доверенные и недоверенные границы, оцениваем защиту данных и весов на каждом этапе жизненного цикла и проверяем инфраструктуру MLOps на типовые ошибки конфигурации и доступа. Для мульти-модельных систем дополнительно анализируем взаимодействие моделей и общие точки отказа.
Стандарты и методологии
Мы работаем не «по наитию», а по признанным отраслевым методологиям безопасности ИИ:
- OWASP Top 10 for LLM Applications (2025) — эталонный список рисков LLM: prompt-инъекции, утечка данных, отравление, небезопасный вывод.
- OWASP Agentic Security / MAESTRO — риски автономных агентов и мульти-агентных систем.
- MITRE ATLAS — матрица тактик и техник атак на системы машинного обучения.
- NIST AI Risk Management Framework — управление рисками ИИ на уровне процессов.
Что вы получаете
Отчёт с картой рисков ML-системы, приоритизированными находками, оценкой воздействия и дорожной картой по внедрению безопасности в жизненный цикл ML (MLSecOps). Рекомендации адаптированы под ваш стек и команду.
Аудит особенно важен для систем из нескольких моделей, продуктов с собственным обучением и решений, работающих с персональными или коммерческими данными.