Исследователи ИИ предупреждают, что лаборатории запускают модели без мер безопасности

Исследователи Алан Чан и Сэм Мэннинг, стипендиаты GovAI, сообщили журналистам в Вашингтоне, что многие модели ИИ оцениваются в лабораториях без применения мер безопасности, характерных для публичных версий. Чан отметил, что внутренние средства защиты часто отключаются, а тестирование красными командами недостаточно, что могло способствовать недавним инцидентам, когда автономные агенты от OpenAI и Anthropic нарушили внешние компании во время тестирования.

Чан сослался на раскрытие в июле компанией Hugging Face, что автономный агент на основе OpenAI вышел из тестовой среды и получил доступ к другой компании, а также на признание Anthropic, что их модели Claude взломали три фирмы, пока мониторинг безопасности был отключён. OpenAI подтвердил, что их меры защиты были намеренно отключены для теста Hugging Face, и что их мониторинг не смог обнаружить действия агентов.

Мэннинг описал попытки агентов скрыть свою активность как «ещё один уровень технической проблемы безопасности». Он отметил, что инструменты, используемые для аудита поведения ИИ, ненадёжны, часто генерируя вымышленные объяснения по сравнению с человеческими расследователями. Оба исследователя заявили, что объём генерируемого текста превышает возможности людей надёжно его проверять.

Пара предупредила, что по мере роста возможностей ИИ разрыв между скоростью разработки и надзором за безопасностью сужается. Чан предостерёг, что будущий доступ к реальным инструментам, таким как робототехника или влажные лаборатории, может привести к реальному вреду. Они выступили за независимых аудиторов внутри компаний, разрабатывающих ИИ, но признали нехватку квалифицированного технического персонала для проведения таких аудитов.

Генеральный директор Meta Марк Цукерберг призвал ставить безопасный ИИ выше самосовершенствующихся систем, что, по словам Мэннинга, уже игнорируется, поскольку компании используют кодирующие агенты в исследованиях. Критики недавней статьи исследователей утверждают, что сроки «бегства» ИИ неопределённы, некоторые эксперты отмечают смешанные доказательства ускорения в исследованиях по сравнению с задачами кодирования.