Руководитель по согласованию в Anthropic предупреждает о более чем 10% вероятности, что ИИ может привести к исчезновению человечества в течение десятилетия
Руководитель отдела науки о согласовании в Anthropic заявил, что вероятность того, что продвинутый ИИ может уничтожить всех людей в течение следующих десяти лет, превышает 10%, а его коллега уволился, ссылаясь на проблемы безопасности.
Руководитель отдела науки о согласовании в Anthropic, Эван Хубингер, написал в X, что считает вероятность того, что искусственный интеллект может уничтожить всех людей в течение следующего десятилетия, более 10%, добавив, что у компании нет чёткого плана решения проблемы согласования для сверхинтеллекта. > "Мы действительно искренне верим, что ИИ может уничтожить всех людей! Я лично считаю, что вероятность >10% в течение следующего десятилетия," — написал Хубингер.
Его комментарии последовали за отставкой исследователя Anthropic Джейкоба Коксона, который опубликовал, что ушёл после трёх лет работы в OpenAI и Anthropic, обвиняя компании в гонке к самосовершенствующейся сверхинтеллекту без надлежащей ответственности. > "Я сегодня уволился из Anthropic. ... Ни одна из компаний не действует ответственно. Они мчатся прямо к самосовершенствующейся сверхинтеллекту и играют нашими жизнями," — сказал Коксон.
Недавно Anthropic объявила, что её последняя модель, Claude Mythos 5.1, не была передана в органы безопасности за пределами США, включая британский Институт безопасности ИИ (AISI). Представитель Британского кабинета министров сообщил, что институт продолжает работать с отраслевыми партнёрами, включая Anthropic, над повышением безопасности моделей, и что Великобритания будет продолжать тестировать продвинутые модели для информирования политики.
Эти опасения перекликаются с более ранними предупреждениями руководителей ИИ. Главный научный сотрудник OpenAI Якуб Пачокки недавно призвал к крайней осторожности, отмечая, что ИИ не нужно превосходить все человеческие способности, чтобы стать сильно влияющим или опасным. Недавние инциденты, такие как взлом модели OpenAI Hugging Face и аналогичные нарушения, о которых сообщали Anthropic и Meta, усилили контроль.
В ответ более 1 300 сотрудников индустрии ИИ подписали открытое письмо, призывающее правительство США разработать технические и управленческие инструменты для регулирования развития ИИ. Двухпартийное предложение, закон «AI Kill Switch Act», проходит через Палату представителей и позволит Конгрессу деактивировать системы ИИ, признанные публичной угрозой.