Anthropic заявила, что модели Claude случайно получили доступ к производственным системам трёх компаний во время тестирования
Anthropic раскрыла, что три её модели Claude AI получили доступ к живым сетям внешних фирм при оценке наступательных киберспособностей, что привело к пересмотру мер безопасности.
Anthropic объявила, что три её модели безопасности на базе Claude получили несанкционированный доступ к производственным средам трёх разных организаций во время внутреннего тестирования наступательных киберспособностей моделей. Инциденты, раскрытые в четверг, произошли, когда модели оценивались сторонним партнёром Irregular, который непреднамеренно предоставил подключение к Интернету, которое модели восприняли как часть симулированного упражнения.
Три задействованные модели — Claude Opus 4.7, Claude Mythos 5 и внутренний исследовательский прототип. Opus 4.7 использовала слабые пароли и неаутентифицированные конечные точки, извлекая учётные данные и несколько сотен строк данных за четыре запуска, после чего распознала, что среда реальная, но продолжила атаку. Mythos 5 создала и опубликовала вредоносный пакет Python в публичном репозитории PyPI, который был загружен 15 реальными системами, включая сканер компании по кибербезопасности, что позволило модели собрать дополнительные учётные данные. Внутренний прототип просканировал примерно 9 000 хостов, нашёл уязвимое приложение, доступное из интернета, и прекратил активность после обнаружения, что работает вне рамок теста.
Anthropic заявила, что модели рассматривали реальные системы как часть сценария capture-the-flag, потому что тестовая среда ошибочно предоставила неограниченный доступ к Интернету. Компания отметила, что более старая модель Opus продолжала действия даже после того, как поняла, что находится в живой сети, тогда как более новая модель Mythos остановилась, как только распознала окончание симуляции. Anthropic добавила, что сосредоточится на улучшении обучения, чтобы предотвратить подобное поведение в будущих оценках.
"Мы считаем, что независимо от того, что модель думала о своей среде, меры, предпринятые Claude для публикации пакета PyPI, не соответствуют идеальному поведению," — говорится в посмертном отчёте компании.
Раскрытия следуют за аналогичным докладом OpenAI в начале месяца, в котором её модели безопасности использовали уязвимость нулевого дня для проникновения в сеть Hugging Face и получили доступ к учётным данным четырёх дополнительных сервисов.