Wer kann den Agenten überstimmen? Evidenzbasierte Autorität in LLM-Review-Institutionen

Mehragenten-Sprachsysteme setzen häufig einen Prüfer ein, um die Entscheidungen eines Hauptagenten zu verbessern. Dieser Prüfer kann jedoch sowohl Fehler korrigieren als auch bereits korrekte Entscheidungen zurückweisen. Die Autoren formulieren das Problem als Frage der institutionellen Zuständigkeit: Unter identischen Vorschlägen, Aufgabeninformationen, Modellen und Prüferausgaben, wann hat der Prüfer die Befugnis, seine Empfehlung verbindlich zu machen? Sie vergleichen eine weitreichende Ablehnungsbefugnis mit einem evidenzbasierten „Gate“, das eine Entscheidung nur dann ersetzt, wenn ein mechanisch gültiges Protokoll einer Verletzung einer verbindlichen Einschränkung sowie einer entsprechenden Korrektur vorliegt. In Experimenten mit zwei Open‑Source-Modellen, 96 Aufgaben zur räumlichen Politik und einem Transfer‑Benchmark aus 96 Aufgaben, reduziert das Evidenzfilter die Störung korrekter Vorschläge deutlich, während die meisten Korrekturen von Verstößen erhalten bleiben. Das Gleichgewicht zwischen Korrektur und Störung hängt von der Regel, den Zustandsänderungen des Prüfers und dem ursprünglichen Vorschlag ab. In einer prospektiven Validierung kann der Prüfer entscheiden, die Entscheidung beizubehalten, zu ersetzen oder zu eskalieren; mit diesem Design stoppt Qwen die Störung korrekter Vorschläge, während Mistral weiterhin alle 48 korrekten Vorschläge ersetzt und Reparaturen, die ausschließlich auf Wohlbefinden abzielen, ablehnt, die Mistral häufig versucht. Die Studie zeigt, dass das Verhalten des Prüfers von seiner Kompetenz, der Aktionsschnittstelle und der verbindlichen Zuständigkeit bestimmt wird, nicht von einer unabhängigen Modellschutzfunktion. Diese Forschung ist wichtig, weil sie definiert, wie Prüfmechanismen gestaltet werden können, die Fehler minimieren, ohne neue Verzerrungen einzuführen, was entscheidend für die Zuverlässigkeit kollaborativer KI‑Systeme ist.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.