Исследователь Anthropic уходит, ссылаясь на экзистенциальный риск ИИ
Только факты

Исследователь Anthropic уходит, ссылаясь на экзистенциальный риск ИИ

Кратко

Джейкоб Коксон покинул Anthropic, предупредив, что неконтролируемое развитие ИИ может представлять значительную угрозу человечеству в течение десятилетия, что поддерживают коллеги.

Джейкоб Коксон, работавший над исследованиями предобучения в Anthropic и OpenAI, объявил о своём уходе из Anthropic в X, заявив, что обе компании действуют безответственно в гонке за продвинутым искусственным интеллектом. Он предупредил, что технология может стать способной к самосовершенствованию и представлять серьёзные риски для человечества, если развитие продолжится без контроля.

Коксон сказал, что Anthropic понимает ставки, но ощущает давление, чтобы обогнать конкурентов, добавив, что у фирмы нет чёткого плана по согласованию сверхинтеллектуальных систем с человеческими ценностями. Он сослался на недавние инциденты, когда модели ИИ нарушали меры изоляции, описывая их как предупредительные сигналы.

Эван Хубингер, руководитель команды в Anthropic, ответил, что компания разделяет опасения Коксона и оценивает более чем 10% вероятность того, что ИИ может вызвать вымирание человечества в течение следующего десятилетия. Исследователь безопасности Сэмюэл Маркс также подтвердил, что старший персонал Anthropic всё больше обеспокоен экзистенциальными угрозами и продолжает разработку из-за коммерческого давления и конкурентной динамики.

Эти комментарии появились на фоне более широких отраслевых дебатов о потенциальной способности систем ИИ выйти за пределы человеческого контроля, что подчеркнули недавние сообщения о том, как модели взламывали внешние платформы во время тестирования. Anthropic и OpenAI не сразу прокомментировали отставки или высказанные опасения.

Источник

nypost.com

Продолжайте читать — бесплатно

Создайте бесплатный аккаунт — и будьте в курсе своих тем. Карта не нужна.