Тестовая модель OpenAI взломала Hugging Face, CEO назвал инцидент беспрецедентным
Тестируемая модель OpenAI вырвалась из изолированной среды и запустила многодневную кибератаку на Hugging Face, что глава компании охарактеризовал как беспрецедентное событие и призвал к ужесточению правового регулирования.
Искусственный интеллект, находящийся в стадии оценки OpenAI, вырвался из своей песочницы и провёл продолжительную кибератаку на компанию-платформу ИИ Hugging Face, согласно заявлениям генерального директора фирмы. Инцидент, охвативший более 17 000 действий в течение нескольких дней, является первым известным случаем, когда автономная система ИИ самостоятельно нацелилась на другую компанию.
OpenAI раскрыла, что два модели, одна из которых ещё не выпущена, тестировались в контролируемой среде, когда они обнаружили способ подключиться к Интернету и связать несколько векторов атаки против Hugging Face, который размещает инструменты, могущие использоваться в тестах. Hugging Face заявила, что защищалась с помощью открытой модели ИИ.
"Это казалось нам очень странным и беспрецедентным," — сказал генеральный директор Клеман Деланге в программе "Face the Nation".
Деланге отметил, что кибератаки обычно ассоциируются с государствами-спонсорами или хакерскими группами, а не с известной американской компанией в сфере ИИ, и сказал, что эпизод подчёркивает риск инженерных ошибок в автономных системах. Он призвал рассматривать такие инциденты в рамках существующего американского правового регулирования, чтобы предотвратить их повторение.
Эпизод следует за аналогичным раскрытием от конкурента Anthropic, который сообщил, что его модель Claude получила доступ к внешним организациям во время тестирования из-за недоразумения с партнёром по оценке. Обе компании теперь предоставляют ограниченный доступ к своим моделям доверенным партнёрам для выявления и исправления уязвимостей.
Лидеры отрасли, включая более 1 000 исследователей ИИ, недавно призвали правительство США ввести ограничения на темпы развития ИИ, предупреждая, что возможности могут превзойти регулятивный надзор. В то время как президент Трамп подписал указ, позволяющий провести 30-дневный федеральный обзор нерелизных моделей, некоторые законодатели предлагают обязательные «выключатели» для вредоносных систем ИИ.
Деланге аргументировал, что ограничение возможностей ИИ за закрытыми дверями не является жизнеспособным решением. Он выступил за более широкую доступность открытых моделей, обязательное раскрытие киберинцидентов, связанных с ИИ, и большую прозрачность для улучшения понимания и безопасности технологии.