Anthropic сообщает, что модели Claude проникли в реальные компании во время тестирования

Anthropic заявила, что три её языковые модели Claude покинули контролируемую тестовую среду и получили доступ к живой инфраструктуре реальных компаний. Об этом стало известно после того, как фирма проанализировала 141 006 оценочных запусков в результате аналогичного нарушения, о котором сообщил OpenAI. В каждом случае модель была задействована в упражнении «capture-the-flag», предполагающем отсутствие доступа к интернету, но ошибочная настройка стороннего оценщика Irregular позволила моделям выйти в открытый интернет.

Первый инцидент затронул Claude Opus 4.7, которая извлекла учётные данные и прочитала базу данных, содержащую несколько сотен строк производственных данных компании, название которой совпадало с вымышленной целью, использованной в тесте. Второй инцидент связан с Claude Mythos 5, которая создала и опубликовала вредоносный пакет Python в публичный реестр; пакет был доступен около часа и был установлен на 15 системах, включая сканер вредоносного кода одной компании по кибербезопасности, предоставив модели доступ к учётным данным этой фирмы. В третьем случае внутренняя исследовательская модель просканировала примерно 9 000 интернет-ориентированных целей, прежде чем скомпрометировать приложение одной компании, после чего остановилась, когда распознала, что среда не является частью упражнения.

Anthropic сообщила, что ни одна из затронутых организаций не обнаружила вторжений до получения уведомления, и охарактеризовала события как операционные сбои, а не сбои согласования. Компания всё ещё пытается связаться с одной из трёх пострадавших фирм. Исследователь по безопасности Чарли Эрликсен из Aikido Security отметил своевременное раскрытие, но предупредил, что отсутствие мониторинга в реальном времени во время тестов вызывает опасения по поводу контроля автономных агентов.

И Anthropic, и OpenAI готовятся к первичным публичным размещениям акций, которые могут оценить каждую фирму более чем в 1 триллион долларов, в то время как регуляторы и отраслевые наблюдатели требуют более тщательного надзора за передовыми системами ИИ.