Anthropic предлагает глобальную паузу в развитии ИИ из-за опасений по безопасности

Anthropic предложила всемирную «временную паузу» в развитии искусственного интеллекта, подчеркивая необходимость обсуждений с законодателями относительно потенциальных опасностей продвинутых систем ИИ. В подробном заявлении компания отметила прогресс своей модели ИИ Claude, особенно в части её способности приближаться к «рекурсивному самоулучшению», концепции, считающейся критической исследователями безопасности ИИ из-за её последствий для будущих возможностей ИИ.

Компания заявила, что растущие возможности Claude могут привести к сценарию, в котором системы ИИ смогут автономно проектировать и разрабатывать более продвинутых преемников, вызывая опасения по поводу утраты людьми контроля над этими технологиями. Для решения этих вопросов Anthropic планирует организовать обсуждения с участием исследователей, гражданского общества и других компаний, занимающихся ИИ.

Тем временем появились сообщения о том, что Anthropic внедрила инженеров в Агентство национальной безопасности (NSA), помогая агентству в операциях по кибербезопасности, несмотря на продолжающиеся юридические конфликты с Пентагоном по поводу её технологий. Некоторые эксперты отметили, что призыв к временной паузе в развитии ИИ может противоречить сотрудничеству с NSA, как отметил Стивен Мёрдок из Университетского колледжа Лондона.

Мёрдок также отметил, что, несмотря на заметную тенденцию к улучшению возможностей ИИ, он считает, что последнее заявление Anthropic не указывает на какие-либо фундаментальные изменения в этой области. Он выразил скептицизм относительно утверждений, что ИИ может самоулучшаться на данном этапе, предполагая, что обсуждаемые достижения в основном ограничиваются само-помощью ИИ в задачах программирования. При том, что компания недавно подала заявку на первичное публичное размещение акций (IPO), которое может оценить её в 1 триллион долларов, её призыв к диалогу по безопасности ИИ рассматривается как продолжение усилий с момента основания.