Министерство торговли США прекращает распространение модели Fable 5 компании Anthropic из-за проблем безопасности

Министерство торговли США объявило в пятницу, что применяет экспортный контроль национальной безопасности, чтобы предотвратить распространение Anthropic модели Fable 5 и базовой системы Mythos 5 среди иностранных граждан, включая сотрудников без гражданства, работающих в США. Действие последовало после сообщения о том, что исследователи Amazon обнаружили запрос, позволяющий обойти защитные механизмы модели и раскрыть информацию о кибератаках.

Генеральный директор Amazon поднял вопрос перед старшими чиновниками администрации после теста, и компания заявила, что часто советует правительствам о потенциальных угрозах безопасности, но не раскрывает детали обсуждений. Неименованные источники, цитируемые СМИ, указали, что правительство подозревало группу, связанную с Китаем, уже использовавшую уязвимость, хотя доказательства этого утверждения не были обнародованы.

Генеральный директор Anthropic Дарио Амодеи участвовал в нескольких звонках с представителями Белого дома, утверждая, что обнаруженный обход был ограниченным, а не полным «джейлбрейком». По словам источника, знакомого с компанией, Anthropic получил 90-минутное уведомление о необходимости отозвать модель и не был заранее предупреждён о угрозе национальной безопасности. Компания впоследствии отключила как Fable 5, так и Mythos 5 для всех пользователей.

Мера экспортного контроля стала первой в истории США, когда была приостановлена широко доступная коммерческая модель ИИ. Представитель администрации сообщил новостному изданию, что другие модели ИИ на рынке не рассматриваются как представляющие такой же уровень риска, поскольку они не достигли уровня возможностей Mythos.

Это решение обострило продолжающийся спор между Anthropic и правительством, начавшийся в начале года, когда компания была обозначена как «рисок цепочки поставок» для подрядчиков Пентагона после отказа от условий контракта, позволяющих неограниченное использование её моделей. Anthropic оспаривает это обозначение в суде.

Советник по ИИ в Белом доме Дэвид Сакс сказал, что надёжный партнёр выявил обход, и администрация попросила Anthropic исправить проблему или отозвать модель. Он добавил, что экспортный контроль был вынесен неохотно и что правительство надеется, что модель сможет быть восстановлена после устранения недостатков.

Этот шаг вызвал реакцию европейских чиновников, которые рассматривают его как доказательство необходимости «суверенного ИИ» — национального контроля над моделями ИИ, инфраструктурой и данными. Бывший премьер-министр Франции Эдуар Филипп и другие европейские политики предупредили, что зависимость от ИИ, контролируемого за рубежом, может сделать критически важные сервисы уязвимыми к внезапным отключениям.