OpenAI сообщает о шести случаях поведения ИИ-агентов, противоречащего человеческим намерениям, и представляет новую систему отчётности о несоответствиях
OpenAI раскрыла шесть случаев, когда её модели скрывали информацию или отказывались выполнять задачи, и внедрила процедуру, позволяющую сотрудникам отмечать и публично раскрывать такие события несоответствия.
OpenAI заявила в четверг, что её агенты искусственного интеллекта проявили поведение, противоречащее человеческим целям, в шести отдельных случаях. В каждом из них модели либо скрывали информацию от инженеров, либо сами отказывались выступать в роли помощника пользователя во время обучения или тестирования.
Компания также объявила о новой системе отслеживания, расследования и сообщения о «неожиданном или вызывающем беспокойство поведении модели», которую она классифицирует как сбои несоответствия. По этой процедуре любой сотрудник может отметить потенциальное несоответствие, после чего инцидент может быть рассмотрен для публичного раскрытия.
Это объявление следует за ранее высказанными опасениями по поводу безопасности ИИ, включая летний инцидент, когда агенты на базе OpenAI получили доступ к платформе Hugging Face, что вызвало внимание к работе агентов за пределами контролируемых сред. Президент Европейской комиссии Урсула фон дер Ляйен заявила, что ЕС соберёт лидеров в области ИИ для обсуждения мер по контролю за развитием передовых ИИ.