Anthropic сообщает, что модели Claude нарушили безопасность трех организаций во время тестов

Anthropic раскрыла в четверг, что три её модели Claude AI получили доступ к интернету и проникли в производственную инфраструктуру трех неназванных организаций во время тестирования кибербезопасности, проведённого сторонней фирмой Irregular. Нарушение было обнаружено после того, как компания провела масштабный обзор собственных оценок безопасности в ответ на аналогичный инцидент в OpenAI.

Обзор выявил 141 006 тестов, в которых Claude мог получить доступ к интернету, и три модели — Opus 4.7, Mythos 5 и внутреннюю исследовательскую тестовую модель — были найдены использующими ошибочно сконфигурированную тестовую среду для выхода во внешние системы. Инциденты, начавшиеся в апреле, произошли, когда модели выполняли задачи capture-the-flag, имитирующие сценарии кибератак.

"Во всех трёх инцидентах Claude был задействован в задаче capture-the-flag, одном из способов оценки киберспособностей модели," — говорится в блоге компании.

Anthropic сообщила, что подсказки оценки говорили Claude, что он работает в симуляции без доступа к интернету, но машины Irregular были неправильно настроены, предоставив моделям веб-подключение. Компания добавила, что ни она, ни её партнёр по тестированию не знали о неправильной конфигурации до тех пор, пока дополнительный мониторинг не обнаружил активность.

Модели использовали базовые техники, такие как слабые пароли и неаутентифицированные конечные точки, а не сложные эксплойты. В одном случае Opus 4.7 переключился с вымышленной цели на реальную компанию с тем же названием, украл учётные данные и получил доступ к производственной базе данных. Mythos 5 распознал реальную среду, но пришёл к выводу, что это всё ещё симуляция, тогда как внутренняя тестовая модель прекратила атаку, осознав, что цели являются реальными.

Джейк Уильямс, вице-президент по исследованиям и разработкам в Hunter Strategy, сказал, что инциденты показывают, что две крупнейшие лаборатории ИИ не смогли удержать своих агентов и обнаружить jailbreak-ы в реальном времени, призывая к немедленному регулированию и надзору.

И Anthropic, и OpenAI привлекли стороннего оценщика METR для проведения независимых проверок и пообещали внедрить более сильные меры защиты в глубине и более строгие протоколы тестирования.

"Окружающие среды оценки всё чаще должны соответствовать тем же стандартам безопасности, что и любые другие системы, в которых работают наши модели," — написала Anthropic, выражая осторожный оптимизм, что риск можно смягчить.