Недавние выпуски математических доказательств OpenAI не соответствуют рекомендациям консультативной группы
OpenAI раскрыла сотни AI-сгенерированных математических доказательств, но экспертная консультативная панель заявила, что лаборатория не полностью соблюдала рекомендованные стандарты проверки людьми и формализации.
OpenAI объявила о выпуске 719 AI-сгенерированных рукописей, в которых утверждается решение ряда сложных математических задач. Статьи были оценены Консультативной группой по математике и искусственному интеллекту (AGMAI), панелью из девяти старших исследователей, организованной Институтом передовых исследований Принстонского университета.
В сентябрьских рекомендациях AGMAI советует передовым лабораториям прекратить тестирование продвинутых задач на проприетарных моделях и обеспечить, чтобы любые опубликованные результаты сопровождались понятными для человека объяснениями и формальной верификацией. Хотя OpenAI предоставила некоторую информацию о рассуждениях модели, лишь десять рукописей включали подробную цепочку мыслей, и только 42 % доказательств были формально проверены в языке доказательств Lean.
"Проблемы решаются автономно AI-промптерами, которым не интересна более широкая область после того, как их первоначальная цель ‘решена’, и они не понимают вывод AI достаточно хорошо, чтобы отвечать на вопросы о результате, проводить доклады или иным образом взаимодействовать с остальной частью поля," написал математик Терренс Тао в социальных сетях.
Недавнее исследование учёных Кембриджского университета и King's College London выявило несоответствия между объяснениями на естественном языке и соответствующим кодом Lean для задачи, связанной с уравнениями Навье-Стокса, подчёркивая риск неправильных переводов, когда модели автоматически формализуют доказательства. Авторы пришли к выводу, что такие автоматически сгенерированные доказательства не следует доверять без того же уровня рецензирования, который применяется к традиционным результатам.
AGMAI отметила, что ответственность за обеспечение человеческого понимания AI-сгенерированных доказательств остаётся за математическим сообществом, и предложила OpenAI финансировать человеческих математиков для проверки и контекстуализации полученных данных. Профессор математики Гарвардского университета Мелани Вуд подчеркнула, что в отличие от полученных людьми результатов, решения, созданные ИИ, часто лишены непосредственного человеческого понимания, требуя дополнительной работы после их публикации.