El mundo no esperará: Evaluar y enseñar agentes bajo un reloj en vivo

Los agentes basados en grandes modelos de lenguaje ya pueden abordar tareas interactivas complejas, pero el proceso de razonamiento y la ejecución de herramientas consumen tiempo. En entornos que cambian de forma constante, una acción correcta puede resultar inútil si llega demasiado tarde. Para medir este problema, los autores presentan RealtimeBench, un conjunto de 180 ejercicios distribuidos en seis tipos de juegos, en el que las partidas continúan mientras el agente genera su respuesta. Los resultados comparativos indican que el modelo GPT‑6.1‑sol supera a Jev cuando se detienen los juegos, pero pierde ventaja cuando la simulación sigue en marcha.

Como solución, proponen un método de mejora llamado TORSI, que separa la fase de aprendizaje lenta de la ejecución rápida. Un agente “maestro” analiza los errores y prueba correcciones en situaciones pausadas, generando instrucciones reutilizables. Un agente “estudiante”, más ágil, actúa durante el juego sin consultar al maestro; sus actualizaciones se aceptan sólo si mejoran la puntuación de validación. Tras dos iteraciones, el puntaje medio de Jev sube de 13,51 a 24,19 en una escala de 0 a 100, y se observa mejora en los seis tipos de juegos. Las mismas instrucciones elevan también el desempeño de tres modelos adicionales sin necesidad de reentrenamiento.

Esta investigación muestra que organizar la deliberación, el aprendizaje y la acción en diferentes ritmos temporales permite que los agentes de IA mantengan su efectividad en entornos que evolucionan en tiempo real, un paso importante hacia una inteligencia verdaderamente operativa en el mundo actual.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.