Quand faut-il que les agents LLM oublient ? Filtrage de mémoire face aux erreurs de résolveur critiques de requête
· Source : arXiv cs.AI
Les systèmes de mémoire des grands modèles de langage (LLM) suppriment généralement les informations jugées obsolètes. Cette étude démontre que la suppression stricte peut nuire à la précision des réponses lorsqu’elle élimine des faits essentiels à la requête. Les auteurs ont évalué trois modèles différents et ont appliqué une intervention de sensibilité contrôlée : en passant d’une résolution parfaite à la pire fiabilité testée, l’avantage de la suppression rigoureuse est passé de gains de +0,186 à +0,230 à pertes de –0,176 à –0,181. Les expériences ciblées ont révélé que les erreurs de suppression (false‑drop) entraînent une dégradation bien plus importante que les erreurs de rétention (false‑keep), bien qu’une approche qui ne supprime jamais puisse également échouer si des étiquettes incorrectes influencent la génération de texte. Dans une division calibration‑test figée (102/102), un seuil de décision aligné sur le déploiement a obtenu une exactitude de 0,655, légèrement supérieure à celle de la suppression systématique (0,641) et proche de celle d’une sélection oraculaire informée par le test (0,662). Les points de croisement de précision globale dépendent des étiquettes de référence et varient selon le modèle et la tâche, ce qui les empêche d’être utilisés comme seuils de déploiement. Les auteurs conseillent de traiter la suppression comme une décision sensible au coût : valider le risque de supprimer des faits critiques dans des données proches de l’environnement d’usage, ou bien conserver l’information lorsqu’une telle validation n’est pas disponible. Cette question est cruciale car elle affecte directement la fiabilité des applications basées sur les LLM qui reposent sur des mémoires précises, telles que les assistants virtuels ou les systèmes de recommandation.
Lire l’article original sur arXiv cs.AI
Ce résumé est une synthèse informative réalisée par dataqbs.com. Tous les droits sur le contenu original appartiennent à son auteur et au média cité. Nous agissons uniquement en tant que curateurs d’actualités technologiques et ne revendiquons aucune paternité.