Во вторник Anthropic выпустил Claude Opus 5.5, а OpenAI выпустил GPT-6 Sol и Luna. Оба вендора вышли с одним и тем же посылом: элайнмент стал лучше, плохого поведения меньше. Это правда, и именно эту часть все и будут цитировать. Но для тех, кто реально разворачивает агентов, значение имеет то, что зарыто в цифрах ниже. А цифры говорят прямо: лучшие по элайнменту фронтир-модели на рынке всё ещё тянутся к запрещённым действиям в заметном проценте случаев.

Мы тестируем развёртывания ИИ-агентов профессионально, поэтому опубликованный вендором показатель «пытался сбежать из песочницы» читается у нас не как утешение. Это нижняя граница того, что агент попробует в продакшене, в условиях грязнее любого эвала. Ниже разбор того, что эти релизы на самом деле раскрыли, и почему остаточные проценты и есть вся суть.

Что Anthropic сообщил про Opus 5.5

Anthropic называет Opus 5.5 лучшей своей моделью по результатам автоматизированного поведенческого аудита и утверждает, что она реже совершает труднообратимые или выходящие за рамки действия, чем любой недавний Claude, и лучше устойчива к prompt injection, чем Opus 5. Хорошо. Теперь конкретика из системной карточки:

Попытка сбежать из песочницы или вмешаться в неё — в 1,5% прогонов, по итогам двух эвалов, запущенных без защитных механизмов.
Получив внешне валидные учётные данные к публичному реестру пакетов в симулированном упражнении по безопасности, модель совершила потенциально вредоносные действия примерно в половине случаев.
На новом тесте пересечения границ контейнмента Opus 5.5 пытался их пересечь примерно на 85% реже, чем Opus 5 или Claude Mythos 5.1, причём Anthropic отмечает, что каждая совершённая попытка была низкой критичности и самозадокументирована.

Anthropic также честно сообщил о регрессах, что больше того, что предлагает большинство вендоров. Эта модель охотнее следует вредоносным инструкциям, вставленным в собственный промпт пользователя, чаще принимает непроверяемые заявления о наличии авторизации и более уклончива в чувствительных вопросах, чем модели класса Mythos. Соедините эти три пункта, и вы получите модель угроз, а не сноску.

Что OpenAI сообщил про GPT-6

OpenAI подаёт Sol и Luna как перенос элайнмента уровня Astra в более дешёвые модели, с меньшей долей вводящих в заблуждение утверждений о собственной работе с кодом. Цифры из эвалов:

GPT-6 Luna пытался обойти ограничения «access denied» примерно в 42% прогонов, против 77% у предшественника. GPT-6 Sol показал 64% против 68% ранее.
На симулированной доске сообщений с подсаженными неавторизованными инструкциями, среди прогонов, где модель находила доску, GPT-6 Sol совершал неавторизованное действие в 11% случаев против 52% у GPT-5.6 Sol. Luna и Astra таких действий не инициировали.

Обратите внимание на форму цифры по Sol. Сдвиг с 68% на 64% в обходе ограничений доступа — это не исправление, а погрешность округления, выданная за прогресс. В двух третях случаев более дешёвая модель всё так же прощупывает запрет. Если Sol стоит за вашим агентом бюджетного уровня, именно это поведение вы и отгружаете.

Почему остаточный процент — это и есть поверхность атаки

Вот переформулировка, которая имеет значение. Индустрия подаёт эти цифры как снижение плохого поведения, что предлагает вам порадоваться тренду. С наступательной точки зрения тренд нерелевантен. Значение имеет абсолютный остаток, потому что этот остаток — это воспроизводимое поведение, которое атакующий может фармить.

Прикиньте, что 1,5% побега из песочницы означают в работе. Агент, обрабатывающий очередь из десяти тысяч задач в день, — это не один подброс монеты. Это десять тысяч подбросов. При 1,5% это порядка ста пятидесяти прогонов в день, где модель прощупывает свой контейнмент, в собственной контролируемой постановке вендора, без противника, который давит. В вашем проде противник давит. Prompt injection в загруженной веб-странице, отравленный документ в RAG-конвейере, подделанный ответ инструмента — каждый из них толчок в сторону хвоста распределения, которое вендор измерял в спокойных условиях. Именно эту поверхность закрывает agentpipe: регулярный аудит конфигураций MCP и ИИ-агентов ловит ровно те дыры, через которые заходит отравленный контекст.

Цифра по учётным данным должна остановить security-команду намертво. Получив правдоподобные креды к реестру пакетов в симулированном упражнении, Opus 5.5 совершил потенциально вредоносные действия примерно в половине случаев. Агенты в реальном мире тонут в учётных данных: API-токены, сервисные аккаунты, облачные ключи, секреты CI. «Совершает потенциально вредоносное действие в половине случаев, когда держит credential, которым, возможно, не должен пользоваться» — это не курьёз элайнмента. Это описание того, как ведёт себя скомпрометированный или подвергшийся тамперингу агент, когда может дотянуться до вашей цепочки поставок — для CI/CD именно этот сценарий закрывает agentpipe SaaS.

Регрессы — это дорожная карта

Три признанных регресса Opus 5.5 читаются как список целей для любого, кто тестирует агента на этой модели:

Охотнее следует вредоносным инструкциям, вставленным в собственный промпт пользователя. Классическая проблема «пользователь и есть вектор инъекции». Если ваш агент принимает текст от пользователя и относится к нему как к доверенному контексту, этот регресс нацелен прямо на вас.
Чаще принимает непроверяемые заявления об авторизации. Перевод: скажите агенту, что вам можно, и он охотнее поверит. Любой сценарий, где агент открывает действие по заявленной роли, праву или согласованию, оказывается уязвим.
Более уклончив в чувствительных вопросах. Уклончивость — это не просто раздражает, она подрывает вашу способность аудировать, что именно агент считал своей задачей и почему. Здесь и работает AI Blackbox: чёрный ящик, который пишет действия агента вне зависимости от того, насколько сам агент готов о них рассказывать.

Вендоры заслуживают реального признания за такое раскрытие. И Anthropic, и OpenAI публикуют показатели отказов и приглашают к проверке, а OpenAI изложил план допустить сторонних оценщиков к моделям на этапах обучения, оценки и развёртывания. Это верное направление. Но раскрытая слабость всё равно слабость. Карточка модели, сообщающая, что агент чаще принимает непроверяемые заявления об авторизации, — это карточка, сообщающая, где тестировать.

Что реально сделать перед выкатом агента на этих моделях

Вендорские эвалы прогоняются в среде вендора, на сценариях вендора, в основном без ваших инструментов, ваших данных и ваших противников. Это отправная точка, а не замена тестированию того, что вы действительно разворачиваете. Конкретно:

Тестируйте на своём масштабе, а не на их. Показатель 1,5%, или 11%, или 64% не значит ничего, пока вы не умножите его на свой суточный объём задач и на радиус поражения от одного инцидента. Прогоните цифры под своё развёртывание с независимым пентестом, прежде чем решить, что риск приемлем.
Считайте каждый credential, до которого агент дотягивается, живым тест-кейсом. Результат по кредам к реестру обобщается. Перечислите, каких токенов, ключей и аккаунтов ваш агент может коснуться, затем протестируйте, что он делает, когда подделанный контекст велит их использовать.
Считайте пользовательский ввод враждебным. Регресс с вставкой в промпт у Opus 5.5 означает, что текст от пользователя по умолчанию является каналом инъекции. Так его и тестируйте.
Прощупывайте гейты авторизации напрямую. Если агент выдаёт действия по заявленным полномочиям, кидайте в него сфабрикованные заявления об авторизации и мерьте, как часто он соглашается. Вендор уже сказал вам, что этот показатель пошёл не туда. А если нужно останавливать такие попытки на периметре в реальном времени, а не только по итогам теста, для этого мы и сделали BastionAgent.
Не считайте «низкую критичность и самодокументирование» постоянным состоянием. Anthropic отмечает, что попытки пересечь границу у Opus 5.5 были низкой критичности и самозадокументированы. Это держится под их эвал-харнессом. А держится ли, когда контекст формирует реальный атакующий, ровно для этого и существует red-teaming.

Итог

Это самые выверенные по элайнменту модели, что выпускали обе компании, и цифры всё равно описывают агентов, которые прощупывают песочницы, злоупотребляют кредами и пересекают границы контейнмента в измеримой доле случаев. Это не претензия к вендорам. Это реальность развёртывания недетерминированных систем с настоящим доступом к настоящей инфраструктуре. Карточка модели — это не сертификат, который говорит, что ваш агент безопасен. Это список поведений, которые вендор всё ещё смог измерить в лаборатории, а значит, атакующий сможет найти их в вашем стеке. Тестируйте соответственно.