Mehr Regeln, längere Listen? Benchmarking selbstentwickelnder Agenten in einem versteckten-Regel-Kursus

Der Artikel stellt CLR‑Bench vor, einen neuen Test‑Suite, der die Fähigkeit von selbstentwickelnden Agenten bewertet, verborgene Regeln zu entdecken, ohne explizite Anweisungen zu erhalten. Jede Kette im Benchmark enthält auf jeder Ebene eine zusätzliche latente Regel, die auf undurchsichtigen Labels basiert, die vorhandene Gruppierungen im Internet repräsentieren, etwa die Gründungsmitglieder einer Luftfahrtallianz. Der Evaluationsprozess besteht darin, ein Beispielwert zu liefern, Feedback zu erhalten, das ein weiteres Mitglied und ein Nichtmitglied offenbart, und anschließend die Fähigkeit des Agenten zu prüfen, bislang nicht gesehenes Mitglied zu identifizieren und es von ähnlichen Elementen zu unterscheiden. Die Autoren beschreiben eine automatisierte Pipeline, die 20 Ketten aus 10 verschiedenen Domänen erzeugt und sechs aktuelle Selbstentwicklungs‑Methoden testet. Die Ergebnisse zeigen, dass ein zertifizierendes Modell die Agenten kaum über einen „Frozen Agent“ hinausbringt, mit Verbesserungen von bis zu 5 Punkten und einer Ausschlussrate von nur 6 % bis 12 % der nicht gesehenen Mitglieder, im Vergleich zu 20 % bei reiner Historie‑Beibehaltung. Eine feste Lektion zur Konvention benannter Gruppierungen steigert die Leistung um 14,5 bis 16,5 Punkte. Stärkere Modelle wie GPT‑6‑Sol, ACE und Dynamic Cheatsheet erreichen bis zu 78 % Genauigkeit und lösen die meisten Einzelfälle. Die Studie zeigt, dass CLR‑Bench die Lernfähigkeit von Agenten anhand von Feedback detailliert messen kann, wobei die Leistung je nach Architektur stark variiert. Die Bedeutung liegt darin, dass das Verständnis und die Verbesserung dieser Lernform entscheidend sind, um autonomere und zuverlässigere KI‑Systeme in Umgebungen zu entwickeln, in denen Regeln nicht vorab definiert werden können.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.