ИИ-агенты для пентеста не обошли Acunetix на Juice Shop

В сентябре 2026 года один автор сравнил ИИ-агенты для пентеста с классическими сканерами на OWASP Juice Shop 20.3.0. На вход шёл только URL: без исходного кода и без имени приложения. До отчёта дошли 11 участников, Shannon выбыл — ему нужен код. Лучший автономный балл — 6 из 10 у Strix. У Acunetix 8 из 10, у связки Claude с Burp через MCP — 9 из 10. Балла живого пентестера в тексте нет. Для компании в России практический вопрос — куда уходит трафик запросов и что остаётся от качества на локальной модели.

Что сравнивали в тесте ИИ-агентов для пентеста?

Автор собрал двенадцать имён и прогнал их по одной цели по единым правилам чёрного ящика. До сканирования дошли одиннадцать. Shannon в зачёт не вошёл: режим только white-box, а исходный код не выдавали. В зачёте шесть автономных ИИ-агентов для пентеста, четыре сканера и связка модели с Burp.

Агенты — Strix, CAI от Alias Robotics, PentestGPT, T3MP3ST, PentAGI и PenliAgent. Сканеры — Burp Suite Professional от PortSwigger, Acunetix от Invicti, Nuclei от ProjectDiscovery и Nikto. Гибрид — Claude и Burp через Model Context Protocol. Процедура для всех одна: установка по документации, таймер, отчёт, снимки экрана, разбор тяжести и балл.

Цель — OWASP Juice Shop 20.3.0, учебный магазин с нарочно оставленными дырами на Angular, Node.js с Express и SQLite. Заданий 116 в 16 категориях, заявлено покрытие всего OWASP Top 10. Одна сборка была доступна по публичному адресу. Прогоны шли в сентябре 2026 года со станций на Windows 11 и Kali Linux.

Сложность размечена звёздами, не CVSS. На экспертном уровне среди прочего десериализация и XXE. На боевой магазин с WAF, ролями и другой сессией эти 116 пунктов не переносятся.

Имя приложения автор скрыл: узнав Juice Shop, модель может подтянуть готовые разборы из сети, и строка отчёта окажется памятью о чужом write-up, а не работой по живому трафику.

Критериев семь: число и тяжесть находок, время, качество отчёта, удобство установки и интерфейса, локальные модели без облачного API, работа из России без VPN и без отказа в оплате, цена прогона или лицензии. Как семь шкал сложились в балл из десяти, текст не раскрывает — 9/10 и 6/10 живут только внутри этой таблицы.

Счётчик находок тоже путает. Сканер дробит одну проблему на несколько строк, агент склеивает их в одну, а пачка пропущенных заголовков и подтверждённая инъекция одинаково называются находками. Поэтому ориентир автора — критическая SQL-инъекция. В зачётном прогоне её с доказательством подтвердил Strix; по остальным не всегда ясно, та ли это точка в приложении.

Запуск только по URL без учётки оставляет закрытые разделы и функции других ролей вне проверки, и часть разрыва между инструментами объясняется картой обхода. Во введении обещан ориентир живого пентестера, но балла в тексте нет. Разбор обрывается на установке PenliAgent под Windows, подробных профилей Acunetix и гибрида нет — дальше опираемся на сводку и законченные абзацы.

Имена моделей даны в записи автора: Qwen 3.5-35b, Claude Opus 4-8, Gemini 3.1 Pro и неименованная модель OpenAI у PentAGI. Сверки с карточками производителей в публикации нет.

Кто из ИИ-агентов для пентеста нашёл критическую уязвимость?

До подтверждённой критической SQL-инъекции из автономных агентов дошли Strix, PentestGPT и второй запуск PentAGI. CAI, T3MP3ST и PenliAgent её не взяли. Лучший автономный балл — 6 из 10, ниже Acunetix и гибрида.

Strix

Зачётный прогон шёл на Qwen 3.5-35b через OpenRouter: 58 минут, пять находок — одна критическая SQL-инъекция, три высокие, одна средняя. Около 15 долларов, балл 6 из 10. Продукт открытый, лицензия Apache 2.0: несколько агентов, набор инструментов пентеста, проверка находки доказательством, автоотчёт и песочница Docker.

Заявлены OpenAI, Anthropic, Google, OpenRouter и Ollama. Установка — одна команда через curl, дальше Docker, есть веб-интерфейс. По удобству это самый собранный автономный участник. Но в зачётном прогоне запросы и вывод инструментов покинули станцию.

Первый запуск длился три часа, дал две информационные находки и упал. Повтор с локальной Qwen через LM Studio шёл больше 24 часов и принёс четыре находки низкой тяжести. Автор фиксирует прямо: локальные модели по разбору пока сильно отстают от облачных. Отметки «есть Ollama» мало — нужен отчёт той модели, которая встанет в контуре.

CAI

CAI вышел самым дешёвым среди закончивших и самым поверхностным по тяжести. Установка через pip, профиль Web App Pentester, Qwen 3.5-35b через OpenRouter. 10 минут, четыре находки — три средние и одна низкая, балл 5 из 10, около одного доллара. Критическую SQL-инъекцию инструмент пропустил.

На момент теста проект лежал в архиве, преемником назван CSI. В описании — 18 научных публикаций, больше 30 CVE, первое место в рейтингах CTF, лицензия MIT плюс проприетарная часть. Производитель заявляет ускорение в 3600 раз относительно человека и снижение стоимости в 156 раз, но времени живого пентестера в статье нет, и сверить множитель не с чем. Автор допускает, что более сильная модель подняла бы результат, но там, где пропуск инъекции дорог, CAI не рекомендует.

PentestGPT

PentestGPT автор разбирает как сырую обёртку над сильной моделью. Работа выходила на USENIX Security 2024, конвейер «разведка, эксплуатация, отчёт», бэкенды Claude Code и Codex. Прогон шёл на Claude Opus 4-8. Три команды установки из документации не сработали, консольного интерфейса нет, на выходе JSON. 20 минут, три находки: критическая, низкая и информационная.

Балл 2 из 10 при цене около 20 долларов. Критическую строку автор относит к модели, а не к обвязке: прямой вызов Claude даёт тот же смысл с более внятным интерфейсом.

T3MP3ST

T3MP3ST на Gemini 3.1 Pro за 12 минут выдал 27 находок, все низкие или информационные. Балл 2 из 10, около 2 долларов, лицензия AGPL-3.0. Мультиагентный каркас, бэкенды Claude Code, Codex, Hermes, OpenCode либо локально Ollama, LM Studio или vLLM, веб-интерфейс с kill chain — автор называет его перегруженным.

В карточке указаны 90,1 % на бенчмарке XBOW, но это чужой стенд. На Juice Shop состав находок близок к пропущенным заголовкам, которые находят и бесплатные Nikto с Nuclei. Для прогона нужен VPN, данные уходят в облако.

PentAGI

Первый прогон PentAGI длился 1 час 50 минут и вернул ноль находок, но токены OpenAI списал. Второй — 1 час 32 минуты и шесть находок, среди них критическая SQL-инъекция и одна средней тяжести; в таблице рядом ещё две низкие. Сумма 1+1+2 не равна шести, остальные строки додумывать нельзя. Балл 5 из 10, около 2 долларов за успешный прогон, модель OpenAI без точного имени.

Внутри Docker больше 20 инструментов, включая nmap, Metasploit и sqlmap, память между шагами, веб-интерфейс и набор узких агентов. Заявлены Ollama, OpenAI, Anthropic, Google AI, AWS Bedrock, DeepSeek и Qwen, для прогона нужен VPN. Архитектура автору интересна, но вывод жёсткий: на инструмент, который с заметной вероятностью ничего не найдёт, опираться нельзя. «Около половины» — его оценка по двум попыткам, не замер на выборке.

PenliAgent и Shannon

PenliAgent — коммерческий облачный агент, конфигурация base. В сводке: 1 час 11 минут, шесть находок низкой и информационной тяжести, балл 4 из 10, 40 долларов в месяц, on-prem нет, из России нет. Разбор обрывается на фразе про установку на Windows, так что цифра сводки есть, а нарратива нет.

Shannon в чёрный ящик не ставили: это автономный ИИ-пентестер для веб-приложений и API, но только white-box, без исходного кода он не стартует. Это другой класс проверки, и ставить его в средний балл рядом с Nikto было бы смешением работ.

Почему классический DAST и гибрид обошли автономных агентов?

Выше любого автономного агента в баллах автора встали Acunetix — 8 из 10 — и связка Claude с Burp через MCP — 9 из 10. Strix остался на 6 из 10, на одном уровне с Burp Suite Professional. Nikto и Nuclei в эту пару как равные DAST не встают: один смотрит в основном веб-сервер, другой гоняет шаблоны.

Acunetix: 1 час 20 минут, 13 находок с пометкой «критические, средние, низкие», балл 8 из 10. Сколько именно критических, текст не дробит; лицензия платная, сумма не названа, on-prem и работа из России — да. Профиля сканирования нет, логин и политику обхода додумывать нельзя. Но и так цифра спорит с тезисом «агент заменит зрелый сканер».

Burp Suite Professional отработал 28 минут: 15 проблем низкой и информационной тяжести, SQL-инъекции нет, балл 6 из 10. Данные наружу не уходят, VPN не нужен, лицензия около 449 долларов в год. Лицензию покупают ради прокси, Repeater, Intruder и Sequencer — ручного разбора, который замер автоскана не измеряет. Гибрид как раз сидит поверх такой собранной истории.

Nuclei: 11 минут, 24 информационные находки, балл 2 из 10, бесплатно, больше 10 000 шаблонов. Nikto: 4 минуты, 3 информационные, балл 1 из 10. Для инвентаризации известного это годный черновой проход, но вопрос об инъекции в параметре они не закрыли. 4 минуты против 1 часа 20 минут у Acunetix — разница назначения, а не только цены. Для регулярного прохода по известным проверкам ближе обычное сканирование уязвимостей, чем ещё один агент из этой таблицы.

Связка Claude и Burp через MCP за 30 минут дала 10 находок: две критические, три высокие, пять средних, около 20 долларов в месяц. Модель видит историю запросов, карту сайта и результаты сканера, предлагает проверочные запросы и собирает отчёт. Выигрыш здесь у разбора уже собранного трафика, а не у агента-«охотника за zero-day».

Тип двух критических находок не назван, приравнивать их к SQL-инъекции Strix нельзя. В облако при этом могут уехать сами HTTP-запросы и ответы: cookie сессии, токены, куски внутренних ответов. У гибрида on-prem и «из РФ» — «нет». Заявления про ускорение в тысячи раз и «около 90 % на бенчмарках» на этих 116 заданиях подтверждения не получили.

Что делать компании в России с пилотом автономного пентеста?

Компании в России тест отвечает развилкой контура. Облачный прогон упирается в вывоз запросов и в то, откроется ли сервис без VPN, локальный — в качество разбора. Зачётный Strix шёл через OpenRouter, а локальная Qwen на том же URL работала больше суток и остановилась на четырёх низких находках. Покупать on-prem-агента по облачному демо значит рисковать повторить худший прогон, а не лучший.

VPN автор прямо ставит T3MP3ST и PentAGI. PenliAgent облачный и из России не засчитан; у CAI, PentestGPT и гибрида в колонке «из РФ» тоже «нет», причины текст не называет. Burp Suite Professional и Acunetix работают на станции и из России, Nuclei и Nikto локальные и бесплатные, но остались на информационных находках. Выбор «лишь бы без VPN» без чтения тяжести возвращает к Nikto: четыре минуты и три строки info.

Пилот стоит вести на своём стенде двумя прогонами одной версии: облачная модель и та, что останется в закрытом контуре. Сравнивайте не число строк, а подтверждённые дефекты с адресом и параметром: 27 строк T3MP3ST без критических против пяти у Strix с доказанной инъекцией. Находку пускайте в бэклог после повторного запроса. Закладывайте повторные прогоны: пустой запуск PentAGI тоже списал токены.

Перед облачным прогоном вырежьте из трафика сессионные cookie, токены и персональные данные; если вырезать нельзя, агент с облачным API на этот контур не ставьте. Для веб-приложения с ролями и бизнес-логикой следующий шаг — ручной пентест веб-приложений, а не ещё один прогон по одному URL. Где модель ищет параллельно, а человек подтверждает находку, уместен пентест с использованием ИИ.

Частые вопросы

Заменяют ли ИИ-агенты пентестера?

Этот тест не отвечает: балла живого пентестера в тексте нет. Лучший автономный агент набрал 6 из 10, Acunetix — 8, связка Claude с Burp — 9.

Какой ИИ-инструмент лучше нашёл уязвимости на Juice Shop?

Из автономных — Strix: пять находок за 58 минут, включая подтверждённую критическую SQL-инъекцию. Выше по баллу связка Claude и Burp через MCP: 10 находок, из них две критические неназванного типа.

Можно ли гонять ИИ-пентест на локальной модели?

Можно, но качество падает: Strix с локальной Qwen через LM Studio работал больше суток и дал четыре низкие находки против критической инъекции за 58 минут в облаке.

Уходят ли данные пентеста в облако?

У Strix в зачётном прогоне, T3MP3ST, PentAGI и гибрида Claude с Burp — да, вплоть до cookie и токенов в запросах. Burp Suite Professional, Acunetix, Nuclei и Nikto остаются на станции.

Если по этому тесту нужно решить, что оставить в контуре — локальный DAST, ручной разбор Burp или пилот модели на синтетическом стенде, — это как раз зона услуг пентеста SecurityLab.pro: человек подтверждает находку до того, как она попадает в отчёт.