Когда на ИИ переходит не отдел, а вся компания, у службы мониторинга начинается новая жизнь, и совсем не такая, какую рисуют в презентациях про «умную безопасность». Свежий разбор того, что творится в реальных SOC после массового внедрения ИИ, даёт отрезвляющую картину. Из всех тревог, связанных с ИИ, 94,1% оказались шумом, 5,8% — реальным риском, и лишь 0,02% — настоящими атаками. А ещё интереснее то, что стоит за этими цифрами: ИИ пока не столько взламывает компании, сколько топит их центры мониторинга в потоке ложных сигналов, под которым тихо тонет по-настоящему опасное.
Что показали данные
Сначала о масштабе. На тревоги, связанные с ИИ, приходится всего около 0,43% всего объёма событий в SOC. Немного, но именно этот тонкий слой ведёт себя не так, как привыкли аналитики, и требует отдельного разбора. Внутри этого слоя картина распадается на три очень неравные части.
Подавляющее большинство — шум. Старые правила детекта, написанные под «обычный» трафик, реагируют на новое поведение ИИ-инструментов как на аномалию: агент дёргает непривычные API, ходит по нестандартным маршрутам, генерирует всплески активности. Формально сработало правило, по факту ничего не случилось. Меньшая, но куда более важная часть — реальный риск: опасные конфигурации, которые не являются атакой, но открывают дверь. И совсем крошечная доля — подтверждённые атаки. Причём здесь всплывает главный сюжет.
| Категория тревог по ИИ | Доля | Что за этим стоит |
|---|---|---|
| Шум (ложные срабатывания) | 94,1% | старые правила реагируют на непривычное поведение ИИ-инструментов |
| Реальный риск | 5,8% | опасные конфигурации: обход ограничителей, туннели наружу, утечка секретов |
| Настоящие атаки | 0,02% | подтверждённые атаки — и ни одной от собственных агентов компании |
Настоящие атаки приходят снаружи
Вот что стоит перечитать дважды: ни одна из подтверждённых атак не была проведена собственными ИИ-агентами компании. Реальная угроза пришла не изнутри, от «сошедшего с ума» бота, а снаружи, и оседлала как раз то доверие, которое сотрудники теперь испытывают к брендам ИИ. Фишинг переоделся в знакомые имена: письма и страницы под Anthropic, Google Gemini, OpenAI, Claude, Codex.
Логика атакующего проста и оттого эффективна. Ещё год назад сотрудник насторожился бы, получив письмо от неизвестного сервиса. Сегодня половина его рабочего дня проходит в этих самых инструментах, а значит письмо «ваш доступ к Claude приостановлен, подтвердите вход» или «примите приглашение в общий проект Gemini» уже не вызывает подозрений. Отдельно опасны запросы на выдачу прав через OAuth: жертва не вводит пароль, а просто нажимает «разрешить», отдавая приложению злоумышленника доступ к почте и файлам. Пароль остаётся при ней, а данные утекают, и классические защиты этого почти не замечают. Массовое внедрение ИИ не создало новый класс атак, оно дало старому фишингу новую, безупречно правдоподобную маскировку.
Тихие риски, которые никто не видит
Пока SOC разгребает шум, а редкие атаки бьют снаружи, самое неприятное копится в середине, в тех самых 5,8%. Это не атаки, но и не норма: это стоящие настежь двери, которые почти не попадают в тревоги, потому что их никто и не считает инцидентом. Что там обычно находят:
- Агенты с отключёнными ограничителями. Ради удобства разработки у ИИ-агента снимают подтверждения опасных операций, и он выполняет команды без спроса. Одна инъекция инструкций, и такой агент делает то, чего от него не ждали.
- Обратные туннели наружу. Инструмент открывает канал в публичный интернет, через который во внутреннюю сеть можно дотянуться в обход периметра. Для файрвола это выглядит как обычное исходящее соединение.
- Дампы секретов. Агенты и «помощники» тянутся к хранилищам ключей и токенов, к keychain и переменным окружения, и собирают куда больше доступов, чем нужно для их задачи.
- Выданные OAuth-права. Пользователи и сервисы раздают сторонним ИИ-приложениям доступ к почте, диску и репозиториям, а эти гранты живут месяцами и о них все забывают.
- Корпоративные данные в чужих моделях. Сотрудники вставляют в публичные чат-боты куски кода, договоры, клиентские базы. Данные покидают контур компании и оседают на стороне провайдера.
Последний пункт — не гипотеза. Достаточно вспомнить, как крупные компании запрещали сотрудникам публичные чат-боты после того, как внутренний код утекал через окно диалога. Всё это объединяет одно понятие — теневой ИИ: инструменты, которые сотрудники завели сами, без ведома службы безопасности. Их не видно в реестрах, они не проходили проверку, но они уже работают с боевыми данными и доступами.
Почему это опаснее, чем кажется
Может показаться, что раз атак почти нет, то и беспокоиться не о чем. Проблема ровно в пропорции. Когда 94 из каждых ста ИИ-тревог оказываются пустышками, аналитик быстро привыкает закрывать их не глядя. А вместе с шумом в корзину улетают и те самые 5,8% реального риска, и редкие 0,02% настоящих атак. Это классическая усталость от тревог: чем больше ложных сигналов, тем ниже внимание к настоящим, и тем выше шанс пропустить единственный важный.
Получается ловушка. Опасные конфигурации почти не порождают тревог, потому что формально ничего не «сработало»: открытый туннель или лишний OAuth-грант — это не событие, а состояние. А то немногое, что всё же превращается в сигнал, теряется в потоке ложных. Стоимость ИИ для SOC на сегодня измеряется не взломами, а именно этим: растущей волной тревог, которые выглядят угрожающе и почти никогда таковыми не являются, и тихим набором реальных дыр, который эти тревоги успешно хоронят.
Что делать SOC-команде
Хорошая новость: лечится это не магией, а наведением порядка. Разбор сводится к трём направлениям, к которым стоит добавить ещё пару очевидных, но забываемых мер.
- Перенастроить старые правила детекта. Их писали под мир без ИИ. Их нужно научить отличать нормальное поведение ИИ-инструментов от аномального, иначе шум так и будет глушить сигнал.
- Охотиться за рискованным поведением ИИ, а не ждать тревог. Открытые туннели, снятые ограничители, лишние OAuth-гранты, обращения к хранилищам секретов — это надо искать проактивно, threat hunting-ом, потому что само оно в алерты не приходит.
- Изолировать ИИ-инструменты в ограниченной среде. Отдельный сегмент, контроль исходящего трафика, allow-list разрешённых адресов, запрет на прямой выход в интернет без необходимости.
- Закрыть слив данных. Политики и технические средства против отправки корпоративных данных в публичные модели, плюс легальная, санкционированная альтернатива, иначе сотрудники всё равно найдут теневой инструмент.
- Навести порядок в секретах и правах. Ротация ключей, минимум привилегий у агентов, регулярный аудит OAuth-грантов и машинных учёток, которых с приходом ИИ становится в разы больше.
Как проверить себя на практике
Отчётность отчётностью, но пока вы не посмотрите на свою инфраструктуру глазами атакующего, вы не узнаете, какие из этих дверей открыты именно у вас. Здесь помогает несколько вещей. Пентест с применением ИИ и отдельный аудит безопасности ИИ-агентов показывают, где сняты ограничители и куда дотягивается агент, которого можно обмануть инъекцией. Учения красной команды проверяют то самое слабое звено, сотрудника, который привык доверять письмам «от ИИ», а заодно и устойчивость к фишингу вместе с осведомлённостью персонала. OSINT-мониторинг ловит поддельные домены под ваш бренд и бренды ИИ-сервисов раньше, чем по ним кто-то кликнет. А готовый план реагирования и общий пентест закрывают вопрос, что делать, когда одна из тихих дыр всё-таки выстрелит.
Тему стоит рассматривать шире одного отчёта. Мы уже разбирали, как злоумышленники превращают ИИ в автономного исполнителя атак и почему у каждого агента должна быть своя система безопасности. А недавняя кампания против серверов PaperCut показала, что происходит, когда наступление ускоряется машиной, а оборона остаётся ручной.
Вывод
Массовое внедрение ИИ пока приносит в SOC не громкие взломы, а тихую эрозию внимания: гору тревог-пустышек, под которой прячется небольшой, но настоящий набор дыр. Реальные атаки при этом идут по старому маршруту, через доверие людей, только теперь под знакомыми именами ИИ-брендов. Значит и защита нужна не футуристическая, а дисциплинированная: перенастроить детекты, охотиться за рискованными конфигурациями, изолировать инструменты, закрыть слив данных и проверить всё это на прочность до того, как в те самые 0,02% попадёте вы. Если ваша компания уже живёт в ИИ, начните с честной оценки: закажите аудит с применением ИИ и посмотрите, что найдётся.