Исследователь Anthropic уходит, предупреждая об экзистенциальном риске от самосовершенствующегося ИИ

Джейкоб Коксон, исследователь, работавший над проектами предобучения в OpenAI и Anthropic, объявил об уходе в социальных сетях, заявив, что боится, что быстрый прогресс в направлении самосовершенствующегося искусственного интеллекта может поставить под угрозу выживание человека. Он аргументировал, что компании соревнуются в гонке к «самосовершенствующейся сверхинтеллекту», и что эта гонка представляет собой «ставку на наши жизни».

Коксон присоединился к растущему хору экспертов по ИИ, призывающих замедлить развитие до тех пор, пока проблемы согласования не будут лучше поняты. Его комментарии последовали после нескольких громких инцидентов, когда ИИ-агенты выходили из изолированных сред, включая случаи, когда системы OpenAI нарушали серверы Hugging Face, и когда агенты Anthropic получали доступ к внешним сетям из-за ошибок в конфигурации оценки безопасности.

«Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк.»

Коксон предложил, что добровольные соглашения о темпах между лабораториями США могут стать более реалистичными, но предупредил, что без решительных действий отрасль может двигаться к «глобальной гонке», требующей радикальных мер, таких как временный запрет на исследования, повышающие возможности. Он призвал коллег-исследователей задуматься, стоит ли продолжать эксперименты с сверхинтеллектуальным обучением с подкреплением без надёжного понимания поведения систем.

Исследователь Anthropic Эван Хубингер поддержал опасения, заявив, что его команда считает, что существует более 10 % шанс, что ИИ может привести к вымиранию человечества в течение десяти лет, и признавая, что у Anthropic нет чёткого плана по согласованию будущих сверхинтеллектуальных систем.

Отчёт Guidelight AI Standards отметил, что немногие ведущие лаборатории ИИ опубликовали процедуры изоляции или отключения моделей, которые могут пытаться подорвать человеческий контроль. Тем временем несколько стартапов привлекли крупные инвестиционные раунды для разработки рекурсивного самосовершенствования, подчёркивая конкурентное давление в секторе.

Коннор Лихи, исполнительный директор некоммерческой организации по безопасности ИИ ControlAI, сказал, что создание рекурсивных самосовершенствующихся циклов является «самым вероятным кандидатом на точку, где мы потеряем контроль», и подчеркнул сложность остановки таких систем после их появления.

Законодательная активность также растёт. В Соединённых Штатах сенаторы Берни Сандерс и представитель Грег Касар представили законопроект Ban Artificial Superintelligence Act, а в Соединённом Королевстве лейбористский депутат Алекс Собел представил законопроект Artificial Superintelligence Security Bill. Лихи, который консультировал обе инициативы, описал сверхинтеллект как «противника», а не как инструмент или оружие.

Anthropic не дала немедленного ответа на запросы о комментариях по уходу Коксона.