Исследователи ИИ выражают обеспокоенность потенциальными рисками самосовершенствующихся систем
Сотрудники и руководители нескольких AI-лабораторий выразили тревогу по поводу возможности рекурсивного самосовершенствования, которое может привести к неконтролируемым сверхинтеллектуальным системам, несмотря на продолжающуюся разработку такой технологии.
Исследователь компании Anthropic объявил об уходе, ссылаясь на опасения, что стремление отрасли к самосовершенствующемуся искусственному интеллекту может выйти из-под контроля и угрожать человечеству. Этот уход, привлекший широкое внимание в социальных сетях, был поддержан другими экспертами в области ИИ, которые предупредили, что быстрый рост возможностей моделей может вскоре позволить системам ИИ проектировать и улучшать себя без человеческого надзора.
"Джейкоб прав," написал Эван Хубингер, ведущий исследователь по согласованию в Anthropic, добавив, что команда "искренне верит, что ИИ может убить всех людей" и выразив особую тревогу по поводу сверхинтеллекта, возникающего из рекурсивного самосовершенствования.
Лидеры отрасли публично призвали к замедлению разработки. Генеральный директор Anthropic Дарио Амодеи выступил за глобальную паузу, а генеральный директор OpenAI Сэм Альтман выразил поддержку мерам, направленным на замедление прогресса. Открытое письмо, подписанное более чем 1 000 исследователей ИИ, предупреждало, что развитие может опережать способность понять или контролировать получающиеся системы.
Эксперты описывают рекурсивное самосовершенствование (RSI) как сценарий, в котором модели ИИ становятся способны автономно улучшать свою архитектуру и процессы обучения, что потенциально приводит к быстрому росту интеллекта. Некоторые руководители оценивают, что такие возможности могут появиться в течение ближайших двух лет, основываясь на наблюдаемом ускорении способности ИИ выполнять всё более сложные задачи.
Несмотря на высказанные опасения, те же организации продолжают активно инвестировать в более мощные модели, ссылаясь на конкурентное давление и предполагаемые выгоды от передовых приложений ИИ. Напряжённость между публичными предупреждениями о безопасности и продолжающейся разработкой подчёркивает растущие дебаты о том, как и следует ли отрасли вводить более строгие меры защиты.
"Меня беспокоит, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта," сказал главный учёный OpenAI Якуб Пачокки.
Ситуация спровоцировала призывы политиков по всему миру к созданию новых нормативных рамок, направленных на управление рисками, связанными с передовыми системами ИИ.