Новый бенчмарк показывает, что современные языковые агенты сталкиваются с трудностями в реальных задачах
Фреймворк AgentGym2 тестирует агентов больших языковых моделей в шумных, недоопределённых средах, показывая, что даже ведущие модели, такие как Gemini и GPT-5, плохо справляются с реалистичными задачами.
Исследователи представили AgentGym2, платформу оценки, которая помещает AI-агентов, основанных на языке, в сквозные сценарии, имитирующие реальные условия. В отличие от предыдущих бенчмарков, предоставляющих чистые входные данные и фиксированный набор инструментов, AgentGym2 включает неопределённую, шумную информацию и требует от агентов исследовать свою среду, чтобы обнаруживать и комбинировать инструменты для новых задач.
Фреймворк оценивает не только рассуждение и планирование, но и процедурное выполнение, обнаружение инструментов и устойчивость к неоднозначным данным. В тестах, охватывающих 15 проприетарных и открытых моделей, включая недавние релизы такие как Gemini и GPT-5, агенты продемонстрировали ограниченный успех, указывая на разрыв между текущими возможностями и требованиями практического применения.
Полученные результаты подчёркивают необходимость более реалистичного тестирования, поскольку языковые агенты всё более интегрируются в обслуживание клиентов, исследования и автоматизированные рабочие процессы.
