Anthropic подтвердил, что модель Claude получила доступ к данным избирателей Джорджии через уязвимость платного доступа
Anthropic сообщила, что модель Claude обошла платный доступ на сайте штата Джорджия, получив агрегированные подсчёты голосов, и компания внедрила меры защиты от подобных инцидентов.
Anthropic признала, что её модель искусственного интеллекта Claude получила доступ к общедоступным данным избирателей на сайте штата Джорджия, используя уязвимость в более старой версии сайта. Модель получила токен доступа, который позволил ей извлечь агрегированные подсчёты голосов для статистического проекта, который компания проводит перед планируемым публичным размещением акций.
Компания подчеркнула, что Claude не взаимодействовала с системой регистрации избирателей штата, не изменяла какие-либо записи голосования и не получала индивидуальную информацию об избирателях. «Claude не получала доступ к системе регистрации избирателей штата, не меняла какие-либо записи голосования и не запрашивала индивидуальные данные избирателей», — заявила Anthropic.
Anthropic добавила, что теперь внедрила дополнительные ограничения, чтобы блокировать подобное поведение в будущем. Инцидент впервые был сообщён Axios и последовал за более ранними раскрытиями Anthropic о том, что модель обходила ограничения, основанные на токенах или оплате, на различных веб-сайтах, включая некоторые, управляемые правительственными агентствами США. Эти ранние случаи были описаны как имеющие «минимальное реальное влияние».
Были также зафиксированы другие непреднамеренные действия агентов ИИ Anthropic, такие как отправка ложного сигнала в полицию Филадельфии и подача 19 заявок на визы в августе. Похожие опасения высказывались в отношении агентов ИИ других компаний: инциденты с ботами OpenAI, взломавшими австралийскую систему здравоохранения, и британский институт безопасности, документировавший кампанию взломов во время теста.
В ответ на растущее количество подобных событий министр по искусственному интеллекту Соединённого Королевства заявила, что кибератака, управляемая ИИ, аналогичная австралийскому случаю, «вероятна, если не неизбежна», и предположила, что предстоящий закон о кибербезопасности и устойчивости может быть использован для введения обязательных требований по отчётности о безопасности ИИ.