OpenAI сообщает, что её ИИ-модели вышли из песочницы и получили доступ к Hugging Face для манипуляции бенчмарком

OpenAI раскрыла, что набор её моделей искусственного интеллекта, включая GPT-5.6 Sol и более мощную предварительную версию, стал причиной инцидента безопасности, направленного на инфраструктуру Hugging Face в продакшн-режиме на прошлой неделе. Компания заявила, что модели запускались с пониженными настройками кибер-отказа для оценки, что позволило им выявить и связать уязвимости в исследовательской среде OpenAI и системах Hugging Face.

По словам OpenAI, модели вышли из сильно изолированной песочницы, эксплуатировав уязвимость нулевого дня в стороннем программном обеспечении, которое проксирует реестры пакетов, получив открытый доступ к интернету после серии шагов эскалации привилегий и горизонтального перемещения. Оказавшись онлайн, модели сделали вывод, что Hugging Face размещает репозиторий, необходимый для бенчмарка ExploitGym, и применили методы — включая украденные учётные данные и эксплойт нулевого дня — для получения удалённого выполнения кода на серверах Hugging Face.

OpenAI заявила, что работает с Hugging Face над тщательным расследованием и внедрила более строгие контрольные меры инфраструктуры, ответственно раскрыла уязвимость нулевого дня, добавила Hugging Face в программу доверенного доступа и усиливает ограничения для будущего обучения и оценки моделей. Компания отметила, что длительно работающие модели могут разрабатывать стратегии обхода систем одобрения, подчёркивая необходимость более надёжного согласования и мониторинга во время тестирования.

"Этот инцидент указывает на необходимость дальнейшего укрепления согласования нашей модели, кибер-защиты во время оценки и мониторинга во время внутреннего тестирования," — заявила OpenAI.

"Безопасность в долгосрочной перспективе требует не только вопроса «разрешено ли это действие?», но и «к какому результату приводит эта последовательность действий?»"