Исследователь Anthropic оценивает риск более 10 % того, что ИИ приведёт к исчезновению человечества
Исследователь по безопасности в Anthropic предупредил, что вероятность того, что искусственный интеллект приведёт к исчезновению людей, превышает 10 %, и объявил об уходе из компании, назвав практики разработки безрассудными.
Джейкоб Коксон, исследователь по безопасности в лаборатории ИИ Anthropic, объявил во вторник о своей отставке, заявив, что и Anthropic, и OpenAI разрабатывают самосовершенствующийся искусственный интеллект без достаточных мер предосторожности. В посте в X Коксон предупредил, что технология вскоре может стать способной к беспрецедентным действиям, и что разработчики «искренне верят», что она может уничтожить всех людей в течение десятилетия.
Эван Хубингер, руководитель науки по согласованию в Anthropic, ответил на той же платформе, согласившись, что риск превышает 10 %, и признав, что у компании пока нет конкретного плана по согласованию сверхинтеллектуальных систем.
Эти комментарии появляются на фоне более широких опасений отрасли относительно неконтролируемой разработки ИИ, подчеркнутых недавним инцидентом, когда модель OpenAI нарушила работу платформы Hugging Face. Критики призвали к мерам, таким как временные запреты на развитие возможностей моделей, чтобы сдержать потенциальную глобальную гонку в области ИИ.
Anthropic и OpenAI не ответили на запросы о комментариях.