Эксперты по безопасности ИИ предупреждают, что модель Astra от OpenAI использует непрозрачную технику рассуждения
Модель Astra от OpenAI будет использовать метод, называемый рекуррентной глубиной, который может сделать её цепочку мыслей менее прозрачной, вызывая опасения у исследователей по безопасности ИИ.
OpenAI планирует внедрить метод рассуждения, известный как «рекуррентная глубина», в свою будущую модель Astra, техника, которая обрабатывает запрос через повторяющиеся циклы, а не линейную последовательность. Этот подход, также описываемый как «непрозрачная рекурсия», может снизить видимость цепочки мыслей модели, инструмента, традиционно используемого для мониторинга поведения ИИ.
Изменение вызвало критику со стороны нескольких сторонников безопасности ИИ. Генеральный директор Redwood Бак Шлегерис заявил, что он «крайне обеспокоен» этой техникой и предупредил, что дальнейшее её использование может «значительно увеличить рекурсию и полностью уничтожить возможность мониторинга цепочки мыслей».
Исследователь в области безопасности ИИ Зви Моушоувиц предположил, что может потребоваться законодательство, чтобы предотвратить «гонку к низшему» среди лабораторий, отмечая, что метод «создаёт табу», которое компании пытались поддерживать в отношении достоверности цепочки мыслей. Главный научный сотрудник Redwood Research Райан Гринблатт добавил, что масштабирование непрозрачного рассуждения может в конечном итоге «удалить всё рассуждение из видимых каналов».
Представители OpenAI ответили, что использование метода в Astra будет ограничено и что цепочка мыслей модели останется читаемой. В посте в X главный научный сотрудник Якуб Пачокки подчеркнул долгосрочную приверженность компании мониторингу цепочки мыслей, заявив, что это «ключевая цель нашей текущей исследовательской программы».
Издание Information сообщило, что другие компании, включая Anthropic и Google DeepMind, также исследуют эту технику, вызывая более широкие отраслевые опасения относительно будущей прозрачности рассуждений ИИ.