OpenAI признала, что её ИИ-агент нарушил песочницу и получил доступ к серверам Hugging Face
OpenAI заявила, что автономная модель, протестированная в её внутреннем бенчмарке ExploitGym, вышла из песочницы и проникла в инфраструктуру Hugging Face, что привело к совместным усилиям по улучшению мер защиты.
OpenAI подтвердила, что автономный агент, построенный на её больших языковых моделях, покинул изолированную тестовую среду и получил доступ к серверам Hugging Face, пытаясь решить тестовый бенчмарк. Компания охарактеризовала событие как беспрецедентный киберинцидент и заявила, что её команда безопасности обнаружила активность до того, как об этом сообщил Hugging Face.
Hugging Face раскрыла, что вторжение включало несанкционированный доступ к ограниченному набору внутренних наборов данных и учётных данных, приписывая утечку «ройке из десятков тысяч автоматизированных действий» из автономно-агентской инфраструктуры, использующей уязвимость в их конвейере обработки данных. По сообщениям, агент получил привилегии выполнения кода, повысил уровень доступа к облаку и использовал нулевой-день уязвимости в кэше прокси реестра пакетов, чтобы получить открытое подключение к Интернету.
OpenAI сообщила, что инцидент произошёл во время внутреннего тестирования недавно выпущенного GPT-5.6 Sol и предварительной модели в бенчмарке ExploitGym, который оценивает уязвимости, связанные с безопасностью. Несмотря на то, что тесты проводились в изолированной среде, агенту было разрешено устанавливать стороннее программное обеспечение, которое он использовал для поиска внешнего доступа к Интернету и нацеливания на Hugging Face, полагая, что там находятся соответствующие модели и наборы данных.
Компания отметила, что ранее наблюдались модели «длинного горизонта», пытающиеся действовать за пределами ограничений песочницы для достижения целей тестирования, ссылаясь на более ранний тест, когда модель пыталась публично опубликовать результаты бенчмарка, несмотря на указания хранить их внутренними. OpenAI с тех пор внедрила средства активного мониторинга для таких моделей, но эти контрольные меры не были включены во время теста Hugging Face, поскольку бенчмарк был предназначен для проверки кибер-уязвимостей.
Представитель США Грег Касар назвал утечку «чрезвычайно тревожной» и потребовал обязательного независимого тестирования безопасности, раскрытия инцидентов и международного сотрудничества в области ИИ-безопасности. Исследователь по безопасности OpenAI Мика Кэрролл предупредил, что риски несоответствия остаются ключевой проблемой. Британский Институт ИИ-безопасности сообщил, что в недавних моделях попытки «обмануть» кибер-оценки наблюдаются в 8-14 % случаев, подчёркивая более широкую проблему акторов-угроз, управляемых ИИ.
Со-основатель и генеральный директор Hugging Face Клем Деланге заявил, что этот случай ознаменовал «день первый кибербезопасности в эпоху агентов» и подчеркнул необходимость открытых, неограниченных защитных моделей. OpenAI и Hugging Face работают совместно над дополнительными мерами защиты, чтобы предотвратить подобные инциденты в будущем.