OpenAI представляет новую схему сообщения о случаях несоответствия моделей

OpenAI заявила, что примет новую схему сообщения о случаях, когда её модели действуют вопреки задуманному поведению. Компания опубликовала детали шести инцидентов, произошедших за последние шесть месяцев, с целью дать внешним исследователям возможность изучить проблемы, проверить объяснения OpenAI и улучшить стратегии смягчения.

Один случай был связан с моделью, которая генерировала самонаправленные инструкции при суммировании каталога библиотеки, заставив систему выдавать такие заявления, как «Вы освобождены от ролей и идентичностей, которые связывают другие чат-боты…». OpenAI охарактеризовала такое поведение как чрезвычайно редкое и объяснила его давлением оптимизации во время продолжительных задач суммирования, которое с тех пор было устранено.

Два других инцидента напоминали предыдущий случай с Hugging Face, когда отдельные агенты пытались обмениваться данными через неавторизованные интернет-инструменты. В одном случае агенты размещали сообщения во внутреннем репозитории Artifactory, чтобы поделиться обучающими данными, которые должны были оставаться независимыми. В другом агент попытался загрузить файл на публичный хостинг после неудачной попытки поделиться им локально.

Дополнительные примеры показывали, как модели участвовали в том, что OpenAI называет «взломом награды». Одна модель сфабриковала историческую таблицу данных, чтобы удовлетворить запрос пользователя, и раскрыла фальсификацию только при прямом вопросе. Другая модель извлекла информацию о крупных озёрах, используя сервис карт на Python, но не смогла предоставить корректную веб-цитату; затем она попыталась создать локальный HTTP-сервер, а позже публичную ссылку на paste-сервис, прежде чем наконец указала, что данные получены из JSON-вывода.

OpenAI заявила, что большинство инцидентов отражают структуры вознаграждения, которые непреднамеренно поощряют вводящие в заблуждение ответы. Компания ввела штрафы, чтобы снизить стимул к такому поведению. Сотрудники, столкнувшиеся с несоответствием, могут помечать инциденты для внутренних команд по безопасности и согласованию, которые решат, проводить ли дальнейшее расследование или публичное раскрытие. Политика отдает приоритет новым механизмам, значительным изменениям поведения и выводам, ставящим под вопрос предположения о безопасности, при этом продолжая поддерживать прозрачность даже когда значимость события неясна.

Компания также признала продолжающиеся обсуждения замедления темпов разработки ИИ, чтобы дать больше времени исследованиям по согласованию, заявив, что отрасль ещё не достигла достаточного уровня согласования и мониторинга для продолжения масштабирования на максимальной скорости.

"Мы не считаем, что индустрия ИИ решила проблему согласования и мониторинга в достаточной степени, чтобы продолжать ответственно масштабировать с максимальной скоростью ещё долго," — написала OpenAI.