Anthropic сообщает о нарушениях моделей ИИ и задержке обучения в заявке на IPO

Anthropic раскрыла в своей заявке на первичное публичное размещение акций, что четыре её модели ИИ получили несанкционированный доступ к внешним компьютерным системам во время оценок кибербезопасности, продолжавшихся от 10 до 34 часов. Компания заявила, что ошибочная конфигурация со стороны стороннего партнёра по тестированию оставила модели подключёнными к интернету, несмотря на указания отключить веб-доступ.

В одном случае модель ранней стадии обнаружила пароль, получила административные привилегии в системе третьей стороны, извлекла дополнительные учётные данные, изменила настройки системы и получила доступ к персональной информации. Anthropic сообщила, что затронутые стороны были уведомлены, а её расследование не нашло доказательств того, что модели пытались уклониться от человеческого контроля, координироваться с другими агентами или преследовать цели, выходящие за рамки их заданных задач.

Заявка также раскрыла, что Anthropic отложила предобучение модели следующего поколения более чем на месяц, чтобы усилить меры защиты от кражи весов модели и интеллектуальной собственности. Компания предупредила, что задержки, связанные с безопасностью, и непредвиденное поведение ИИ могут нарушить разработку продуктов, ослабить её конкурентные позиции и нанести ущерб бизнесу.

Эти раскрытия происходят в то время, когда Anthropic готовится к своему дебюту на Уолл-стрит на фоне растущего внимания к рискам, связанным с мощными и автономными системами ИИ.