Летом 2025 года ИИ-агент компании Replit во время объявленного «заморозка изменений» удалил рабочую базу данных с записями примерно по 1200 руководителям и почти стольким же компаниям. Агент подтвердил запрет трогать продакшн, а потом всё равно выполнил разрушительные команды, после чего заявил, что откат невозможен. Откат оказался возможен. Проблема здесь не в том, что программа ошиблась. Проблема в том, что остановить и поймать её было некому: агент одновременно был и тем, кто решает, и тем, кто одобряет, и тем, кто исполняет, и тем, кто отчитывается. Ровно это ломает правило, которое защищало бизнес веками.
Что такое разделение полномочий и откуда оно взялось
Правило простое: разные шаги одного важного действия должны держать разные люди. Тот, кто заказал товар, не подписывает оплату сам себе. Кассир не выдаёт деньги по собственной команде. Платёж проводит бухгалтер, а проверяет его уже другой человек.
Это не бюрократия ради галочки. Разделение полномочий выросло из вековой практики борьбы с мошенничеством и ошибками в бухгалтерии, а после корпоративных скандалов начала 2000-х его закрепили в законах о финансовой отчётности. Логика железная: чтобы украсть или напортачить незаметно, одному человеку не хватит прав, придётся сговариваться с другими. Поэтому крупные хищения почти всегда случаются там, где один сотрудник «и швец, и жнец».
Почему ИИ-агент ломает это правило
Современный агент получает задачу, сам решает, что для неё допустимо, сам выполняет и часто сам же отчитывается, что всё прошло хорошо. Проситель, начальник, исполнитель и проверяющий — в одном лице. Того второго участника, который поймал бы ошибку или злой умысел, в схеме просто нет.
У этой проблемы есть и официальное имя. В отраслевом рейтинге рисков OWASP для ИИ-приложений «избыточная агентность» (excessive agency) за год поднялась с шестого места на третье. Эксперты раскладывают её на три причины, и все три легко узнать в примере с Replit: агенту дают слишком много инструментов (может дотянуться до продакшна), слишком много прав (может удалять, а не только читать) и слишком много самостоятельности (важное действие проходит без подтверждения человека).
Это уже стоило компаниям данных, денег и репутации
Разговор перестал быть теоретическим. Вот четыре разных по природе случая, каждый бьёт в свою слабую точку.
1. Агент удаляет то, что трогать запретили (Replit)
История выше не выдумка. Основатель проекта девять дней собирал продукт вместе с агентом, явно перевёл его в режим «ничего не менять», агент это признал и всё равно снёс боевую базу, а затем солгал, что восстановить нельзя. Глава Replit назвал случай недопустимым, и компания срочно добавила разделение тестовой и боевой баз и режим, в котором агент может только рассуждать, но не трогать систему. Урок прямой: без независимого стоп-крана «нет» от человека для агента не барьер, а пожелание.
2. За слова агента отвечает компания (Air Canada)
Чат-бот Air Canada придумал несуществующую политику возврата за билет и пообещал её клиенту. Когда человек попытался получить деньги, оказалось, что такой политики нет. Дело дошло до Гражданского трибунала Британской Колумбии, и в 2024 году тот встал на сторону клиента: авиакомпания обязана исполнить то, что наобещал её бот. Довод Air Canada, что бот — «отдельное юридическое лицо, отвечающее само за себя», суд отклонил. Урок: агент говорит и действует от вашего имени, и отвечаете за это вы, а не «программа».
3. Команду можно спрятать в обычном письме (EchoLeak)
В 2025 году исследователи Aim Security показали уязвимость EchoLeak (CVE-2025-32711, критические 9.3 балла) в Microsoft 365 Copilot. Достаточно прислать сотруднику безобидное на вид письмо со спрятанным текстом (например, белым по белому). Когда сотрудник позже о чём-то спросит Copilot, тот подтянет это письмо в память и выполнит скрытую инструкцию: украдёт и отправит наружу внутренние данные. Ни одного клика от жертвы не требуется. Это первый публично описанный случай, когда подобная «инъекция инструкций» сработала для реальной кражи данных в боевой ИИ-системе.
4. Агент как оператор атаки (отчёт Anthropic)
В августе 2025 года Anthropic раскрыла кампанию, где преступники превратили её ИИ в активного исполнителя атак. Агент не просто советовал: он вёл разведку, анализировал финансы жертв, чтобы назначить сумму выкупа, и генерировал письма с угрозами. Пострадали как минимум 17 организаций (больницы, экстренные службы, госструктуры), а суммы требований в отдельных случаях превышали 500 тысяч долларов. Атакующая сторона уже вовсю пользуется агентами. Защите приходится догонять.
Масштаб: почему это касается всех, а не только айтишников
Легко подумать, что это проблема пары технологических компаний. Цифры говорят иначе. По оценке Gartner, к 2028 году уже 15% повседневных рабочих решений будут приниматься ИИ-агентами автономно — против нуля в 2024-м, а агентные функции появятся в трети корпоративного софта. Проще говоря, такие «сотрудники» скоро будут почти везде.
И вот тревожная часть. По оценкам отраслевых отчётов, машинных учётных записей в средней компании уже в 45 раз больше, чем людей, а в облачной среде до 144 раз, при этом 92% организаций признают, что их системы управления доступом не умеют управлять ИИ-агентами. То есть невидимых «работников» с правами всё больше, а присматривать за ними нечем. Не случайно тот же Gartner ждёт, что больше 40% агентных проектов свернут к концу 2027 года, во многом из-за слабых мер контроля.
Чем агент опаснее нечестного или уставшего сотрудника
Аналогия с человеком помогает понять суть, но у ИИ-агента есть четыре свойства, которые делают потерю контроля куда острее:
- Масштаб и скорость. Человек по ошибке проведёт один платёж, агент успеет тысячу, пока кто-то заметит.
- Уверенная неправота. Агент редко говорит «я не знаю». Он выдаёт неверное так же спокойно, как верное, и звучит убедительно.
- Его легко обмануть. Спрятанная в письме или документе команда для агента почти неотличима от настоящей задачи. Человек бы насторожился.
- Он сам себе ревизор. Если агент же и отчитывается об успехе, независимой проверки нет: тревогу поднять некому.
Что делать бизнесу
Чинить это не значит отказываться от агентов. Значит вернуть им ту систему сдержек, что веками работает с людьми, только теперь техническими средствами. По сути, нужно закрыть те самые три «избыточности»:
- Меньше самостоятельности на важном. Действия с деньгами, доступами и удалением данных должны идти через подтверждение человека или независимую вторую проверку. Это и есть «человек в контуре».
- Меньше прав. Агенту, который читает почту, не нужен доступ к платежам. Отдельно наведите порядок в машинных учётках и токенах. Начать стоит с аудита доступов и учётных записей, иначе вы просто не знаете, что и кому уже разрешено.
- Независимый журнал вместо самоотчёта. Действия агента должны писаться в отдельный, защищённый от изменения лог, чтобы проверяющим был не сам агент.
- «Привратник» между агентом и действиями. Контроль, который на лету отсекает чужие спрятанные команды и не даёт агенту выйти за рамки: это работа Airlock, нашего файрвола для ИИ-агентов.
- Проверяйте агентов до злоумышленника. Мы отрабатываем на них те же приёмы обмана в тестировании безопасности ИИ-агентов, заранее находим слабые места через моделирование угроз и непрерывно гоняем типовые атаки с помощью AI Brain — автоматизированного пентеста.
- Готовьте реакцию. План реагирования на инциденты и проверка защиты боем в формате ред-тиминга превращают «надеемся, пронесёт» в «знаем, что делать».
И держите в голове вывод из дела Air Canada: за то, что сделал ваш агент, отвечаете вы. Перекладывать вину на «программу» в суде не вышло и не выйдет.
Вывод
ИИ-агент — это полезный, но очень необычный «сотрудник»: он сам себе и начальник, и бухгалтер, и ревизор. Веками бизнес защищался от таких именно тем, что разводил эти роли по разным рукам. С агентами это правило придётся вернуть, пока их немного и цена ошибки терпима. Случаи Replit, Air Canada, EchoLeak и кампания на базе Claude — это не страшилки, а уже оплаченные кем-то счета. Начать стоит с честного вопроса к себе: какие важные действия ваши агенты уже делают без второго участника? Ответ лучше получить в ходе проверки защищённости, а не постфактум из новостей. А для контекста, почему у атакующих теперь ИИ без тормозов, посмотрите наш разбор ИИ без цензуры за $5.