Новый бенчмарк показывает, что языковые агенты слабы в реальных задачах

Исследователи представили бенчмарк AgentGym2 — новую платформу для оценки агентов на основе больших языковых моделей в шумных и недоопределённых средах, сообщила Sciencecast. Система ставит перед агентами задачи, требующие поиска и использования внешних инструментов при неоднозначных инструкциях. В первых тестах команда проверила ведущие модели, включая Gemini от Google и GPT-5 от OpenAI.

Обе модели продемонстрировали ограниченные результаты, часто не справляясь с выполнением поставленных целей. Эти результаты указывают на значительный разрыв между текущими возможностями языковых агентов и требованиями реальных приложений.