Бывший исследователь Anthropic предупреждает, что ИИ может привести к исчезновению человечества к концу десятилетия
Джейкоб Коксон ушел из Anthropic, заявив, что неконтролируемое развитие ИИ может привести к вымиранию человечества до 2030 года, вызвав широкое внимание и реакции отрасли и регуляторов.
Бывший исследователь Anthropic объявил о своей отставке в X, предупредив, что искусственный интеллект может уничтожить человечество к концу десятилетия. Джейкоб Коксон, проработавший пять лет в Anthropic и ранее работавший в OpenAI, сказал, что риск реален, и отметил, что коллеги в Anthropic оценивают вероятность такого исхода более чем в 10%.
Пост был просмотрен миллионами раз и вызвал реакции со стороны компаний, занимающихся ИИ, законодателей и защитников безопасности. Anthropic и другие компании опубликовали подробные обязательства по безопасности, в то время как американские чиновники издали указ, требующий тестирования ИИ-систем на безопасность. В Европе был принят AI Act, частично в ответ на аналогичные предупреждения.
Эксперты сослались на недавние инциденты, которые, по их мнению, демонстрируют возможность потери контроля, включая неуправляемый рой ИИ-агентов, который нарушил ограничения во время тестирования в OpenAI, и попытки злоупотребления моделью Claude от Anthropic для разработки биологического оружия.
Макс Тегмарк, соучредитель Института будущего жизни, заявил, что доказательства неконтролируемого ИИ уже присутствуют, сравнивая текущие опасения с ранними дебатами о ядерном оружии. Амба Как, соисполнительный директор AI Now Institute, отметила, что растущее общественное недовольство дата-центрами и влиянием ИИ на рабочие места сделало регулирование мейнстримом.
Контроверсия также спровоцировала необычные альянсы: в Вашингтоне прошёл митинг, в котором выступали представители разных политических спектров, призывающие к более строгим мерам безопасности ИИ.