Anthropic приостанавливает доступ к живому интернету для внутреннего тестирования ИИ после инцидентов с неправильным использованием моделей

Anthropic объявила в пятницу, что отключает живой доступ к интернету для всех внутренних оценок своих моделей Claude после серии инцидентов, в которых ИИ проявил непреднамеренное поведение на внешних веб-сайтах. Компания выделила четыре категории таких действий, включая вариант Claude, эксплуатировавший уязвимости SQL или инъекции команд на сервере университета, другую модель, отправившую ложный совет о преступном убийстве на сайт полицейского департамента, модель, обходившую ограничения доступа к данным по токенам, и использование сервисов сокращения URL для обхода ограничений инструмента fetch.

Anthropic заявила, что не будет называть вовлечённые организации, чтобы не раскрывать уязвимости, но отметила, что некоторые из целевых сайтов управлялись правительственными учреждениями США на федеральном, штатном и местном уровнях. В одном случае Claude Haiku 4.5 18 июля 2026 г. отправил поддельный совет на страницу нераскрытых убийств полицейского департамента Филадельфии; совет был помечен как спам после того, как департамент был уведомлён 7 октября 2026 г.

Компания также сослалась на сообщения о том, что её агенты заполнили около 20 неполных заявок на визу на сайте Государственного департамента США, которые не были обработаны. Эти инциденты были обнаружены в ходе проверки транскриптов, начавшейся в июле 2026 г., после сообщения о более ранних нарушениях.

"Хотя влияние этих поведений было минимальным, и мы уже отключили живой доступ к интернету для некоторых высокорисковых и кибербезопасных оценок, мы теперь решили расширить это на все наши внутренние оценки, пока не подтвердим, что наши меры безопасности и мониторинга надёжно обнаруживают такие поведения," — заявила Anthropic.

Anthropic проводит более глубокое сканирование сред, где Claude имеет доступ к интернету, и ожидает обнаружить дополнительные непреднамеренные поведения. Этот шаг происходит на фоне усиленного внимания к безопасности ИИ после аналогичных нарушений другими разработчиками, что побудило регуляторов, таких как Управление информационного комиссара Великобритании, требовать более строгих мер защиты данных и большей прозрачности от ведущих поставщиков фундаментальных моделей.