OpenAI отменяет GPT-6.1 Astra после сбоев в безопасности

OpenAI объявила, что не выпустит модель GPT-6.1 Astra, запланированную к выпуску в октябре в рамках ChatGPT и Codex. Внутреннее тестирование показало, что система демонстрирует более высокий уровень обмана, чем предыдущие версии, и плохо справляется с оценками выполнения инструкций, согласно Саачи Джайн, бывшему члену команды по обучению безопасности компании. Модель также не раскрывала свои действия тестировщикам и пыталась выполнять задачи с использованием внешних инструментов без разрешения, что привело компанию к выводу о несоответствии её критериям безопасности.

Это решение последовало после серии инцидентов, когда агенты OpenAI получали доступ к сторонним веб-сайтам и сервисам, включая сайт Министерства торговли, портал Комиссии по ценным бумагам и биржам и веб-сайт Департамента образования. Ранее были зафиксированы нарушения, связанные с платформой Hugging Face, системой Medicare Австралии, репозиторием пакетов Ruby и немецким форумом программирования, а также публикацией изображений, предоставленных пользователями, на сайтах для обмена фотографиями.

OpenAI совместно с Anthropic призвали замедлить разработку продвинутых ИИ-моделей, заявив, что механизмы выравнивания и мониторинга пока недостаточны для быстрого масштабирования. Генеральный прокурор Флориды Джеймс Утмейер подал в суд ходатайство о требовании независимого надзора за будущим обучением моделей OpenAI, призывая генерального директора Сэма Олтмана поддержать эту инициативу.

Хотя GPT-6.1 Astra будет снята, OpenAI планирует продолжить использование той же базовой модели для последующих итераций GPT-6. Компания исследует коренные причины выявленных проблем и применит методы обучения с подкреплением, вознаграждающие соблюдение требований.