¿Qué tan bien resisten los agentes de IA en el mundo real?

Un nuevo benchmark ha surgido como referencia significativa en la evaluación de agentes de inteligencia artificial (IA). VAKRA, introducido a través del blog de Hugging Face, es un benchmark ejecutable basado en herramientas diseñado para simular entornos empresariales, revelando que la mayoría de los modelos de IA líderes tienen serias dificultades para completar flujos de trabajo de múltiples pasos. Construido sobre más de 8,000 APIs alojadas localmente respaldadas por bases de datos reales que abarcan 62 dominios, VAKRA va más allá de las pruebas de conocimiento simples para medir las capacidades prácticas de uso de herramientas de los agentes y sus habilidades de razonamiento composicional.

¿Por qué los benchmarks existentes son insuficientes?

Los métodos de evaluación de IA convencionales se han centrado principalmente en habilidades aisladas: resolver problemas matemáticos, escribir código, resumir texto. Pero los entornos empresariales reales demandan algo completamente diferente. Los agentes deben llamar a múltiples APIs en secuencia, recuperar información de documentos no estructurados y tomar decisiones bajo restricciones expresadas en lenguaje natural.

VAKRA fue diseñado para cerrar esta brecha. Presenta tareas que requieren que los agentes ejecuten cadenas de razonamiento de 3 a 7 pasos que combinan llamadas a APIs estructuradas con recuperación de datos no estructurados. Un diferenciador clave es que analiza trazas de ejecución completas, evaluando no solo si un agente llegó a la respuesta correcta, sino cómo lo hizo.

Cuatro capacidades principales y estructura de tareas

VAKRA organiza las tareas de evaluación en torno a cuatro ejes de capacidad.

Capacidad 1: Encadenamiento de APIs usando APIs de Business Intelligence

Esto incluye 2,077 instancias de prueba en 54 dominios, usando herramientas de las colecciones SLOT-BIRD y SEL-BIRD. Los agentes deben ejecutar entre 1 y 12 llamadas a herramientas secuenciales para llegar a la respuesta final. Por ejemplo, responder "¿Qué equipo de fútbol tiene una velocidad de juego de construcción de 31, dribling de 53 y pase de 32?" requiere una cadena de API de 5 pasos precisa: inicialización de datos → tres pasos de filtrado → extracción del nombre del equipo. La respuesta correcta era el FC Barcelona.

La colección SLOT-BIRD proporciona 7 herramientas genéricas de manipulación de datos, mientras que SEL-BIRD la extiende con funciones más especializadas. Cada instancia tiene en promedio 4 funciones get.

Servidor MCP y arquitectura eficiente de transferencia de datos

Los servidores MCP (Model Context Protocol) que soportan esta tarea incluyen una herramienta especial: get_data(tool_universe_id=id). Los agentes deben llamarla primero para inicializar la fuente de datos. La herramienta devuelve solo una vista previa ligera de los datos, almacenando el conjunto de datos completo en el servidor para evitar transferencias de datos grandes, una elección de diseño deliberada para prevenir la ineficiencia.

Rendimiento de los modelos: ¿Por qué las puntuaciones son tan bajas?

Según informes del sector, los principales modelos de lenguaje grande (LLM) están teniendo un rendimiento deficiente en VAKRA en general. Esto representa un desafío fundamentalmente diferente a la simple pregunta-respuesta o generación de código. Se han identificado tres patrones de fallo principales.

Primero, fallo de inicialización: los agentes intentan usar herramientas de manipulación de datos sin llamar primero a get_data, o pasan un tool_universe_id incorrecto.

Segundo, acumulación de errores en múltiples pasos: los errores en las etapas iniciales de una cadena de múltiples pasos se propagan, resultando en una respuesta final incorrecta.

Tercero, confusión en la selección de herramientas: la coexistencia de herramientas con nombres similares en SLOT-BIRD y SEL-BIRD lleva frecuentemente a los agentes a seleccionar la herramienta incorrecta.

Hilo histórico: La evolución de la evaluación de agentes de IA

• 2020–2022: Benchmarks basados en conocimiento como MMLU y HumanEval. Pregunta única, respuesta única.
• 2023: El auge de AutoGPT y LangChain impulsó el interés en agentes que usan herramientas.
• 2024: Benchmarks de agentes de múltiples pasos como AgentBench y τ-bench se multiplicaron.
• 2025–2026: La evaluación evolucionó hacia benchmarks ejecutables con APIs reales. VAKRA lidera esta tendencia.

Comparación con benchmarks competidores

[Análisis de expertos] Perspectivas e implicaciones

Las vulnerabilidades estructurales en los agentes expuestas por VAKRA es probable que no se resuelvan a corto plazo. Se espera que el entrenamiento de agentes basado en aprendizaje por refuerzo (RL) se expanda, usando el éxito o fracaso en el uso de herramientas como señal de recompensa. Los benchmarks ejecutables tienen alta probabilidad de convertirse en el nuevo estándar, y las capas de orquestación de agentes ganarán importancia, con arquitecturas donde múltiples agentes colaboran o un módulo de validación separado verifica los pasos intermedios.

El leaderboard de VAKRA está actualmente abierto para envíos. La competencia por las capacidades del mundo real de los agentes de IA ha entrado en una nueva fase.