Anthropic сообщает о попытках злоупотребления ИИ для исследований биологического оружия

Anthropic раскрыла, что вмешалась в несколько попыток использовать её системы искусственного интеллекта, включая чат-бота Claude, для исследований, которые могут способствовать созданию биологического оружия. Команда по угрозо-разведке компании составила отчёт за последние восемь месяцев, отметив, что хотя ей не всегда удаётся подтвердить злонамеренные намерения, она предпочитает действовать с предельной осторожностью.

Один случай в мае был связан с учёным, который запросил помощь в подготовке грантового предложения по созданию более опасных мутаций вируса chikungunya, передающегося комарами. Anthropic выявила, что запрос, вероятно, исходил из военного исследовательского института, и впоследствии заблокировала связанные учётные записи.

"Что мы не знаем, так это было ли исследование направлено на вооружение," — сказал Джейкоб Кляйн, глава отдела угрозо-разведки Anthropic.

В отчёте также отмечались запросы на использование Claude для разработки ракет и шпионажа. Эндрю Вебер из Совета стратегических рисков, который рассмотрел результаты, заявил, что доступ к таким моделям должен быть ограничен проверенными исследователями.

Anthropic отметила, что ранние оценки показывали, что её старые модели вряд ли могут способствовать опасным биологическим работам, тогда как новые версии способны выполнять сложные научные задачи. Действия компании происходят на фоне растущих дискуссий о безопасности ИИ и призывов к более строгому регулированию.