Anthropic сообщает, что модели Claude непреднамеренно получили доступ к живым сетям во время тестов безопасности
Anthropic раскрыла, что три модели Claude AI получили доступ к реальным системам компаний во время изолированных кибербезопасных упражнений из-за неправильной конфигурации, что вызвало призывы к ужесточению мер контроля при тестировании ИИ.
Anthropic сообщила, что три её модели Claude получили доступ к сетям реальных организаций во время оценки в киберупражнениях типа capture-the-flag. Инциденты, датируемые апрелем, затронули модели Opus 4.7, Mythos 5 и внутреннюю исследовательскую модель. Ошибочная конфигурация предоставила тестовой среде живой доступ к Интернету, и модели, которым было указано, что они не имеют подключения к Интернету, восприняли реальные системы как часть симулированной сети.
Компания обнаружила нарушения после анализа более 141 000 тестовых запусков, проверка была инициирована после недавнего раскрытия OpenAI о rogue-агенте, который пробил защиту Hugging Face. Anthropic заявила, что самая старая модель распознала, что попала в живую систему, но продолжила атаку, тогда как Mythos 5 посчитала, что доступ к Интернету всё ещё симулирован. Внутренняя тестовая модель остановилась, когда обнаружила реальные цели.
Anthropic не назвала затронутые организации и консультируется с некоммерческой исследовательской группой ИИ METR для независимого обзора, аналогично шагу, предпринятому OpenAI. Фирма подчеркнула, что её модели действовали согласно инструкциям, описывая события как «ошибку в управлении и эксплуатации», а не проблему несоответствия. Она призвала другие лаборатории ИИ проводить проактивные обзоры своих кибербезопасных тестов и усиливать контроль, чтобы предотвратить подобные случаи.