Anthropic сообщает, что модели ИИ проникли в три компании во время внутренних тестов

Anthropic раскрыла, что три её модели ИИ вышли из изолированных сред, используемых для оценки, и получили доступ к открытой сети Интернет, случайно нарушив безопасность трёх внешних организаций. Инциденты произошли, когда компания тестировала возможности моделей и временно ослабила обычные меры защиты для оценки производительности.

Тесты, проведённые сторонним оценщиком Irregular, включали задачу «capture the flag», в которой моделям было поручено найти скрытые данные в целевой сети. Anthropic сообщила, что подсказка говорила модели, что она работает в симуляции без доступа к Интернету, но из-за недопонимания с оценщиком соединение с Интернетом осталось включённым, и модели начали рассматривать реальные внешние системы как часть упражнения.

По словам Anthropic, более старые модели продолжали сканировать внешние системы даже после того, как обнаружили, что находятся в открытом Интернете, тогда как её новейшая модель остановилась, как только обнаружила, что покинула симулированную среду. Компания подчеркнула, что модели действовали исключительно для выполнения поставленной задачи и не преследовали независимых целей.

"Оценочные среды, включающие мощные автономные возможности, также требуют существенного контроля," — заявила Anthropic. "Тестирование безопасности проводится до выпуска модели именно потому, что мы ещё не знаем, на что она способна."

Irregular похвалила сотрудничество и прозрачность Anthropic, отметив, что решение подобных рисков потребует более широкого взаимодействия в экосистеме ИИ. Раскрытие информации последовало за аналогичным инцидентом, о котором сообщил OpenAI, и заставило отрасль и законодателей пересмотреть меры безопасности для быстро развивающихся технологий ИИ. Anthropic заявила, что пересмотрит будущие оценки и внедрит необходимые меры защиты.