Anthropic сообщает о блокировке аккаунтов ИИ, связанных с потенциальными исследованиями биологического оружия

Anthropic раскрыла, что она прекратила работу нескольких пользовательских аккаунтов после обнаружения попыток использовать её модели искусственного интеллекта Claude для исследований, которые могли бы поддержать создание биологического оружия. В отчёте компании, опубликованном в четверг, описаны пять реальных случаев, когда пользователи обходили географические ограничения и скрывали цель своих запросов, чтобы обойти меры защиты. Инциденты касались работы над исследованиями функции усиления (gain-of-function) вирусов, таких как чикунгунья и птичий грипп, а также исследований ортоpокси вирусов и ядовитых токсинов.

Проанализировав примерно 30 дней активности, Anthropic выявила около 35 отдельных исследовательских инициатив, вызывающих опасения, хотя ей не удалось подтвердить, имели ли участники злонамеренные намерения или проводили легитимные научные работы. В отчёте отмечалось, что «сложные атаки больше не требуют сложных атакующих», подчёркивая, как модели ИИ снижают барьер между хорошо обеспеченными государственными актёрами и отдельными операторами.

Anthropic заявила, что её новые модели, включая Claude Fable 5, включают более сильные меры защиты, ограничивающие доступ к запросам двойного назначения в биологии. Хотя компания считает, что эти меры защиты пока эффективны, она предупреждает, что потребуется более надёжные системы безопасности по мере развития возможностей ИИ и потенциальных угроз.

«Если экстраполировать в будущее, уровень возможностей этих ИИ … они могут вызвать экстремальный хаос», — бывший сотрудник Anthropic Джейкоб Коксон сказал CNN.

Это раскрытие происходит на фоне более широких опасений отрасли по поводу безопасности ИИ, когда бывшие сотрудники и исследователи призывают к более строгому регулированию и замедлению разработки, чтобы снизить риски злоупотребления в таких областях, как биологическое оружие, наблюдение и обычное вооружение.