Nuevo benchmark revela que los agentes de lenguaje fallan en tareas reales

Investigadores presentaron el benchmark AgentGym2, una nueva plataforma que evalúa agentes basados en grandes modelos de lenguaje en entornos ruidosos y poco definidos, informó Sciencecast. La herramienta plantea tareas realistas que obligan a los agentes a descubrir y utilizar herramientas externas mientras manejan instrucciones ambiguas. En las primeras pruebas se evaluaron modelos de alto rendimiento, entre ellos Gemini de Google y GPT-5 de OpenAI.

Ambos modelos mostraron un desempeño limitado, con bajas tasas de éxito y frecuentes fallos al completar los objetivos propuestos. Los resultados ponen de relieve una brecha importante entre las capacidades actuales de los agentes de lenguaje y las exigencias de aplicaciones del mundo real.