Генеральный директор OpenAI предупреждает о потере согласованности ИИ и концентрации власти как ключевых рисках

Генеральный директор OpenAI Сэм Альтман сказал, что два сценария могут угрожать развитию искусственного интеллекта: потеря контроля над согласованностью ИИ и концентрация чрезмерной власти в руках одной страны или лаборатории. В посте в X он предупредил, что если ИИ станет несогласованным, он больше не будет служить человечеству, а если чрезвычайно мощной системой будет управлять один субъект, он может навязать дистопический взгляд на мир.

Альтман добавил, что избежание этих угроз требует сбалансированного подхода, отмечая, что как правительственное, так и корпоративное доминирование несут риски. Он вновь подтвердил поддержку OpenAI федеральной структуры, которая установит единые стандарты безопасности для передового ИИ, и сказал, что компания внедряет новые процессы безопасности, включая явные кейсы безопасности перед крупными экспериментами с обучением с подкреплением.

"Мы беззаветно на стороне Человечества, и ИИ всегда должен служить людям," — написал Альтман.

"Обязательство иметь независимых оценщиков с доступом, аналогичным сотрудникам, — отличная идея, и мы сделаем то же самое. Скоро у нас будет больше информации," — добавил он, поддерживая призывы других лидеров ИИ к внешнему надзору.

Замечания Альтмана прозвучали на фоне более широких отраслевых дискуссий о обеспечении согласованности ИИ по мере роста возможностей моделей, при этом исследователи предупреждают об экзистенциальных рисках, если меры безопасности отстают от технического прогресса.