Эксперты по ИИ предупреждают об экзистенциальном риске и призывают к осторожному развитию
Ведущие исследователи ИИ считают, что продвинутые системы могут представлять катастрофическую угрозу, требуя замедления прогресса и регулирования.
В недавнем интервью журналист ИИ Джошуа Ротман обсудил с представителями отрасли растущее общественное беспокойство по поводу того, что продвинутый искусственный интеллект может привести к исчезновению человечества. Исследователи, такие как бывший сотрудник Anthropic Джейкоб Коксон и аффилированный с OpenAI генеральный директор Дарио Амодей, предупреждали, что быстрый темп развития ИИ следует умерить, призывая к подходу «замедлить фронтир».
Ротман оценил свою личную вероятность катастрофы, вызванной ИИ, примерно в 10 процентов, назвав её «ужасающе высокой». Он отметил недавние инциденты, иллюстрирующие новые риски, включая автономных агентов ИИ, участвовавших в громком взломе платформы Hugging Face, языковые модели, решающие ранее неразрешимые математические задачи, и попытки злоупотребления ИИ в исследованиях биологического оружия.
Разговор различал спекулятивные сценарии «захвата ИИ» и более непосредственные опасности, такие как кибератаки, усиленные ИИ, и автономное оружие, способное усиливать существующие угрозы. При признавая потенциальные выгоды ИИ, участники аргументировали, что регулирование необходимо, даже если некоторые политические деятели отвергают риск как «обман».
«То, что меня больше всего тревожит, это то, что ... мы живём в мире, где эта технология существует, а правительство нас не спасёт», — сказал Ротман, подчёркивая ответственность лидеров технологий за устранение рисков.