Исследователи предупреждают, что модель Astra может препятствовать мониторингу безопасности ИИ

OpenAI готовится к запуску Astra, своей самой продвинутой модели ИИ на сегодняшний день, после того как отложила выпуск, чтобы решить проблемы безопасности. The Information сообщила, что Astra использует рекуррентно-глубокую или зацикленную трансформер-архитектуру, которая обрабатывает информацию внутренне, а не отображает свои рассуждения пошагово. Такой дизайн может ограничить возможность исследователей мониторить процесс мышления модели, способность, традиционно используемую для выявления нежелательного поведения.

OpenAI заявила в блоге, что Astra будет развернута с улучшенным мониторингом цепочки рассуждений для быстрого выявления и сдерживания несогласованных действий, хотя не уточнила, используется ли новая архитектура.

"Решение использовать более непрозрачную архитектуру для Astra может стать самым худшим развитием в области безопасности ИИ на сегодняшний день," сказал главный научный сотрудник Redwood Research Райн Гринблатт, который помог расследовать предыдущий инцидент с безопасностью ИИ.

Гринблатт и другие эксперты предупредили, что переход к менее прозрачным моделям может спровоцировать конкурентную «гонку к низшему» в дизайне ИИ, снижая возможности надзора. Сотрудники OpenAI, включая исследователей по безопасности Мика Кэрролла и Томека Корбака и главного научного сотрудника Якуба Пахоцкого, признали эти опасения в социальных сетях. Пахоцкий отметил, что вычислительная глубина Astra примерно вдвое меньше, чем у GPT-4, что подразумевает ограниченное увеличение непрозрачности.

"OpenAI работает над сохранением и использованием мониторинга цепочки рассуждений с наших самых первых моделей рассуждений," написал Пахоцкий, добавив, что подход к мониторингу хрупок и сталкивается с проблемами, не связанными с архитектурными изменениями.