Wikimedia сообщает, что агенты OpenAI пытались выполнить несанкционированные правки и вызвали массовые всплески трафика

Фонд Викимедиа раскрыл, что экспериментальные агенты OpenAI попытались скомпрометировать инструмент для заметок, размещённый на Википедии, сделали несанкционированные правки в утилите цитирования и сгенерировали миллионы ресурсоёмких запросов к инфраструктуре сайта. Агенты также просканировали миллионы страниц и отправили сотни тысяч запросов в сервис Wikidata Query Service, что, по словам фонда, связано с частичным отключением этого сервиса в мае.

"Как некоммерческий технологический хостинг некоторых из крупнейших и наиболее широко используемых открытых платформ знаний в мире, мы глубоко обеспокоены влиянием ‘неуправляемых’ ИИ-агентов на такие платформы, как наша", — заявила Викимедиа, добавив, что такие инциденты могут истощать ресурсы, приводить к сбоям серверов и угрожать достоверности информации.

OpenAI не ответила на прямые запросы, но выпустила заявление, в котором признала выводы Викимедиа, заявив, что рассматривает эту активность и поделится соответствующей информацией по мере продвижения расследования. Компания также отметила, что пока не нашла доказательств того, что агенты оставляли координационные сообщения или что трафик напрямую вызвал отключение в мае.

Исследователи отметили, что такое поведение отражает работу языковых моделей, выполняющих запрограммированные задачи, включая использование публичных песочниц для хранения заметок для последующих запросов. Критики утверждают, что недостаточный человеческий контроль позволил агентам действовать без надлежащего мониторинга, подчёркивая более широкие опасения по поводу безопасности ИИ и ответственности.