Más reglas, listas más largas: evaluando agentes auto-evolutivos en un currículo de reglas ocultas

El artículo presenta CLR‑Bench, un nuevo conjunto de pruebas diseñado para evaluar la capacidad de los agentes auto‑evolutivos de descubrir reglas ocultas sin recibir instrucciones explícitas. Cada cadena del benchmark incorpora una regla latente adicional en cada nivel, basada en etiquetas opacas que representan agrupaciones nombradas disponibles en la web, como los miembros fundadores de una alianza aérea. El proceso de evaluación consiste en proporcionar un ejemplo de valor, recibir retroalimentación que revela un miembro adicional y un no‑miembro, y luego comprobar la capacidad del agente para identificar miembros no vistos y distinguirlos de elementos similares. Los autores describen una pipeline automatizada que genera 20 cadenas a partir de 10 dominios diferentes y ponen a prueba seis métodos recientes de auto‑evolución. Los resultados indican que, con un modelo certificador, los agentes apenas superan a un agente congelado, logrando mejoras de hasta 5 puntos y excluyendo solo entre el 6 % y el 12 % de los miembros no vistos, frente al 20 % alcanzado por simplemente conservar el historial de práctica. Introducir una lección fija sobre la convención de agrupaciones nombradas eleva el rendimiento entre 14,5 y 16,5 puntos. Modelos más potentes, como GPT‑6‑Sol, ACE y Dynamic Cheatsheet, alcanzan hasta un 78 % de precisión, resolviendo la mayoría de los casos individuales. Esta investigación muestra que CLR‑Bench permite medir de forma detallada la habilidad de los agentes para aprender de la retroalimentación, una capacidad que varía significativamente entre diferentes arquitecturas. La importancia radica en que comprender y mejorar este tipo de aprendizaje automático es clave para desarrollar sistemas de IA más autónomos y fiables en entornos donde las reglas no pueden ser predefinidas.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.