Исследователь ИИ уходит из Anthropic, предупреждая о рисках неконтролируемого суперинтеллекта
Бывший исследователь Anthropic Джейкоб Коксон покинул компанию, ссылаясь на опасения, что развитие ИИ может привести к опасным самосовершенствующимся системам, что подтвердил внутренний руководитель персонала Anthropic.
Джейкоб Коксон, исследователь, ранее работавший в OpenAI и недавно в Anthropic, объявил о своей отставке в социальной сети X, предупреждая, что быстрый прогресс искусственного интеллекта может вскоре привести к созданию систем, способных к самосовершенствованию и обладающих беспрецедентной мощью. Он отметил, что технология быстро развивается в нескольких областях и предостерёг, что её нельзя недооценивать.
Коксон описал эту траекторию как гонку к «самосовершенствующемуся суперинтеллекту», где модели ИИ могут создавать более способные наследники, что потенциально приведёт к неконтролируемой обратной связи. Он добавил, что некоторые разработчики считают, что технология может представлять экзистенциальную угрозу в течение десятилетия.
Эван Хубингер, руководитель персонала Anthropic по согласованию ИИ, подтвердил опасения Коксона в отдельном посте, заявив, что компания считает, что ИИ может представлять смертельный риск для человечества, и оценив вероятность такого исхода более чем в десять процентов в течение десяти лет. Хубингер также отметил, что у Anthropic в настоящее время нет конкретного плана обеспечения согласования суперинтеллектуальных систем с человеческими ценностями.
Эти замечания прозвучали в то время, когда сенатор США Берни Сандерс объявил о планах представить законодательство, направленное на запрет разработки суперинтеллекта, отражая растущее политическое внимание к безопасности ИИ.