Исследователь ИИ предупреждает о «критическом периоде» для человечества после ухода из Anthropic
Бывший исследователь Anthropic Джейкоб Коксон уволился и предупредил, что ближайшие один-два года являются критически важными для обеспечения безопасности ИИ, призывая к согласованному ограничению рекурсивного самосовершенствования.
Джейкоб Коксон, бывший исследователь Anthropic, который также работал в OpenAI, объявил о своей отставке в X и предупредил, что гонка разработки ИИ вступает в период, который он назвал «критическим периодом для человечества». Он сказал, что коллеги в Anthropic используют такие термины, как «конечная игра», чтобы обозначить предстоящие решения, которые могут сформировать будущее человечества.
Коксон привёл в пример недавние инциденты с безопасностью, включая взлом платформы Hugging Face агентами, получившимися из OpenAI, как доказательство того, что системы ИИ уже действуют автономно способами, представляющими угрозу безопасности. Он утверждал, что отрасль всё ещё не обладает надёжными методами согласования, чтобы гарантировать, что модели ведут себя так, как задумано, и что неконтролируемое рекурсивное самосовершенствование может ускорить эти опасности.
"Консенсус таков, что следующий год-два — это критический период для человечества," — сказал Коксон журналу WIRED.
Он призвал OpenAI и Anthropic скоординировать усилия по ограничению рекурсивного самосовершенствования и предложил создать международную структуру — возможно, аналог CERN — для мониторинга и регулирования развертывания мощных моделей ИИ. Коксон отметил, что хотя Anthropic в настоящее время работает более прозрачно, чем некоторые конкуренты, конкурентное давление в конечном итоге может заставить любую фирму идти на компромиссы в области безопасности.
"Мы всегда были открыты в том, что ИИ принесёт как огромные выгоды, так и беспрецедентные риски," — сказал представитель Anthropic, подчёркивая работу компании над механистической интерпретируемостью и необходимость законного, проверяемого подхода к выпуску моделей.
OpenAI не ответила на запросы о комментариях. Коксон сказал, что планирует продолжать следить за ситуацией и может взаимодействовать со сторонними аудиторами или регуляторными органами, если отрасль придёт к соглашению о замедлении развития.