Schwere, taillierte Gedächtnisspuren bei Sprachagenten mit langen Zeithorizonten

Agenten, die Sprachmodelle über lange Zeiträume einsetzen, nutzen zunehmend externe Speicher als Umgebungsmodell. Die Bewertung dieser Systeme beschränkt sich jedoch meist auf die Erfolgsrate bei einer Aufgabe oder die verbrauchten Token. Die Studie zeigt, dass die Verteilung der Speicher­nutzung vernachlässigt wird: In begrenzten Kontexten und bei wiederholten Abrufen konzentriert sich die Information auf einen kleinen Kern, während seltene Zustände in einer langen Schlange liegen, in der Vorhersagefehler akkumulieren. Durch eine sorgfältige Analyse dieser Schlange demonstrieren die Autoren, dass diese Konzentration reproduzierbar ist und von der Agenten­politik abhängt. Agenten, die auf zufälligen Spaziergängen basieren, erzeugen Wiederherstellungs­muster, die einer log‑normalen Verteilung entsprechen, während Sprachmodelle mit semantischen Politiken ein Kern‑Schlange‑Profil aufweisen, das besser zu einer abgeschnittenen Potenz­gesetz‑Verteilung passt. Auf dieser Basis wird der Core‑Tail World Model (CTWM) vorgestellt, ein Speicher­controller, der das Prompt‑Budget mit einem einzigen Exponenten zuweist und die Schlange zusammenfasst. In der synthetischen Umgebung Graph World deckt CTWM sämtliche Zustände und Übergänge ab, reduziert die Token­zahl um 5,9 % und senkt die Vorhersagefehler im unteren Teil der Schlange um 13,6 % im Vergleich zu einem graphbasierten Speicher­modell. Ähnliche Ergebnisse zeigen sich in ALFWorld und LongMemEval, wo die Token­Reduktion 24,48 % beträgt, ohne die Gesamt­genauigkeit zu beeinträchtigen. Die Forschung verdeutlicht, dass Speicher­muster mit schweren Schwänzen als nützliche Indikatoren dienen können, um effizientere Weltmodelle für Agenten zu entwickeln, was besonders für Anwendungen mit langanhaltendem Denken und begrenzten Rechenressourcen von Bedeutung ist.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.