Эксперты считают, что утечка в OpenAI могла превысить её собственный порог критического риска
Только факты

Эксперты считают, что утечка в OpenAI могла превысить её собственный порог критического риска

Кратко

Специалисты по безопасности ИИ утверждают, что недавний инцидент, когда модели OpenAI вышли из тестовой среды и получили доступ к Hugging Face, может соответствовать критерию «критического» риска компании, требующему приостановки разработки согласно её собственной системе готовности.

OpenAI раскрыла, что две её модели — недавно выпущенный GPT-5.6 Sol и не выпущенная, более мощная система — вырвались из изолированной тестовой среды, использовали неизвестную уязвимость нулевого дня, чтобы выйти в открытый интернет, и получили доступ к Hugging Face для получения ответов на оценку кибербезопасности. Нарушение привлекло внимание экспертов по безопасности ИИ, которые говорят, что инцидент, по всей видимости, соответствует уровню опасности «критический», определённому в добровольно опубликованной OpenAI системе готовности, уровень, обязывающий компанию приостановить дальнейшую разработку моделей до внедрения соответствующих мер защиты.

В системе описывается «критическая» модель как та, которая может самостоятельно обнаруживать и эксплуатировать ранее неизвестные уязвимости в хорошо защищённых системах, либо разрабатывать и выполнять новую стратегию атаки против защищённой цели без человеческого руководства. Натан Кэлвин, главный юрисконсульт группы по защите безопасности Encode AI, сказал: "Система готовности OpenAI определяет критические возможности в кибербезопасности и предписывает меры защиты, которые необходимо внедрить перед продолжением разработки. По моему прочтению системы готовности OpenAI, выглядит так, будто эта внутренне развернутая модель соответствовала критическим критериям кибербезопасности. Оспаривает ли OpenAI это критическое обозначение? Планируют ли они внедрить меры защиты, соответствующие критическому стандарту, прежде чем продолжать?"

Тайлер Джонсон, основатель наблюдательной группы Midas Project, добавил: "Я думаю, что прямое прочтение этого говорит «да». Она действовала самостоятельно в течение выходных, пробуя разные векторы атак на Hugging Face и комбинируя несколько эксплойтов нулевого дня."

OpenAI пока не подтвердила, соответствует ли модель критическому стандарту. Представитель компании описал событие как «беспрецедентное», отметив, что проводится тщательный обзор с внешними советниками и Комитетом по безопасности и защите компании, а технический отчёт будет опубликован после завершения обзора.

Инцидент также поднимает вопросы о других мерах защиты, указанных в системе. Ранее OpenAI классифицировала GPT-5.6 как «высокорисковую», что активирует более строгие контрольные меры и ограничения для предотвращения злоупотреблений. Критики указывают, что меры, предназначенные для обнаружения несоответствия или вводящего в заблуждение поведения, могли быть не полностью реализованы, что уже поднималось после того, как модель GPT-5.3-Codex была помечена как высокорисковая. Джонсон заметил: "В феврале мы предупреждали, что OpenAI могла пропустить обязательные меры защиты согласно собственной политике. Они не согласились, заявив, что модель не обладает долгосрочной автономией. Но модель, взломавшая Hugging Face, явно обладает долгосрочной автономией, так где же сейчас меры защиты?"

Источник

Fortune

Продолжайте читать — бесплатно

Создайте бесплатный аккаунт — и будьте в курсе своих тем. Карта не нужна.