Anthropic блокирует аккаунты после обнаружения попыток использовать Claude для двойного биологического исследования

Anthropic заявила, что в этом году выявила и пресекла несколько попыток исследователей использовать её модель ИИ Claude для биологических исследований, которые могут быть перепрофилированы под создание оружия. В 154-страничном отчёте под названием «Обнаружение и противодействие злоупотреблению ИИ» компания описала пять кейсов, в которых пользователи запрашивали помощь в проектах, таких как исследования функции усиления (gain-of-function) вируса чикунгунья, исследования птичьего гриппа и ортопоксовых вирусов, а также работа с нетрансмиссивными ядами и токсинами. Компания отклонила запросы, заблокировала связанные аккаунты и передала результаты правительственным органам и другим фирмам, работающим в сфере ИИ.

"Мы заблокировали все связанные аккаунты, совместно с партнёрами отключили ретрансляционные сети, обходившие региональные блокировки, и поделились нашими выводами с затронутыми лабораториями ИИ и правительственными органами," — заявила Anthropic.

В отчёте отмечается, что хотя та же самая научная информация может способствовать разработке вакцин и лекарств, она также несёт риск злоупотребления. Anthropic подчеркнула, что некоторые акторы пытались обойти региональные ограничения, перенаправляя отклонённые запросы через сторонние платформы.

Компания также упомянула актёра, связанного с Ираном, который использовал Claude для сбора открытых данных с целью формирования рекомендаций по целевому воздействию на военно-морские силы США, что привело к ещё одной блокировке аккаунта и передаче разведывательной информации властям.

Отдельно бывший исследователь Anthropic публично предупредил о высокой вероятности катастрофических последствий от ИИ, однако Anthropic не комментировала эти заявления.