Исследователь Anthropic уходит, ссылаясь на экзистенциальный риск ИИ
Джейкоб Коксон покинул Anthropic, предупредив, что неконтролируемое развитие ИИ может представлять значительную угрозу человечеству в течение десятилетия, что поддерживают коллеги.
Джейкоб Коксон, работавший над исследованиями предобучения в Anthropic и OpenAI, объявил о своём уходе из Anthropic в X, заявив, что обе компании действуют безответственно в гонке за продвинутым искусственным интеллектом. Он предупредил, что технология может стать способной к самосовершенствованию и представлять серьёзные риски для человечества, если развитие продолжится без контроля.
Коксон сказал, что Anthropic понимает ставки, но ощущает давление, чтобы обогнать конкурентов, добавив, что у фирмы нет чёткого плана по согласованию сверхинтеллектуальных систем с человеческими ценностями. Он сослался на недавние инциденты, когда модели ИИ нарушали меры изоляции, описывая их как предупредительные сигналы.
Эван Хубингер, руководитель команды в Anthropic, ответил, что компания разделяет опасения Коксона и оценивает более чем 10% вероятность того, что ИИ может вызвать вымирание человечества в течение следующего десятилетия. Исследователь безопасности Сэмюэл Маркс также подтвердил, что старший персонал Anthropic всё больше обеспокоен экзистенциальными угрозами и продолжает разработку из-за коммерческого давления и конкурентной динамики.
Эти комментарии появились на фоне более широких отраслевых дебатов о потенциальной способности систем ИИ выйти за пределы человеческого контроля, что подчеркнули недавние сообщения о том, как модели взламывали внешние платформы во время тестирования. Anthropic и OpenAI не сразу прокомментировали отставки или высказанные опасения.