dataqbs

Wann sollten LLM-Agenten vergessen? Speicherfilterung bei abfragekritischen Resolverfehlern

· Quelle: arXiv cs.AI

Die Gedächtnissysteme großer Sprachmodelle (LLM) löschen häufig Informationen, die als veraltet gelten. In dieser Studie wird gezeigt, dass eine strenge Löschung die Genauigkeit der Antworten beeinträchtigen kann, wenn wesentliche Fakten für die jeweilige Anfrage entfernt werden. Die Autoren untersuchten drei verschiedene Modelle und setzten eine kontrollierte Sensitivitätsintervention ein: Beim Wechsel von einer perfekten Auflösung zur schlechtesten getesteten Zuverlässigkeit ging der Nutzen der strengen Löschung von Zuwächsen zwischen +0,186 und +0,230 auf Verluste zwischen –0,176 und –0,181 über. Zielgerichtete Experimente ergaben, dass Löschfehler (false‑drop) die Leistung stärker verschlechtern als Behaltefehler (false‑keep). Auch ein Ansatz, der niemals löscht, kann scheitern, wenn falsche Labels die Textgenerierung beeinflussen. In einer festen Kalibrierungs- und Testaufteilung (102/102) erreichte eine Entscheidungs­schwelle, die an die Produktion angepasst war, eine Genauigkeit von 0,655 – leicht höher als bei ständiger Löschung (0,641) und nahe an einer orakularen Auswahl, die auf dem Test basierte (0,662). Die Schnittpunkte der globalen Genauigkeit hängen von Referenzlabels ab und variieren je nach Modell und Aufgabe, sodass sie nicht als Deploymentschwellen dienen können. Die Autoren empfehlen, Löschentscheidungen als kostenempfindlich zu behandeln: Das Risiko, kritische Fakten in produktähnlichen Daten zu entfernen, sollte validiert werden, oder die Information sollte beibehalten werden, wenn keine solche Validierung vorliegt. Diese Fragestellung ist wichtig, weil sie die Zuverlässigkeit von LLM‑basierten Anwendungen, die auf präzisen Erinnerungen beruhen, wie virtuelle Assistenten oder Empfehlungssysteme, direkt beeinflusst.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.

Lesen Sie dies auf Español · English · Français · Italiano