Die Welt wartet nicht: Bewertung und Schulung von Agenten unter Echtzeitbedingungen

Agenten, die auf großen Sprachmodellen basieren, können bereits komplexe interaktive Aufgaben bewältigen, doch das Nachdenken und die Ausführung von Werkzeugen kosten viel Zeit. In sich ständig verändernden Umgebungen kann eine korrekte Handlung nutzlos werden, wenn sie zu spät einsetzt. Um dieses Problem zu messen, stellen die Autoren RealtimeBench vor – eine Sammlung von 180 Aufgaben, verteilt auf sechs Spieltypen, bei denen die Spiele weiterlaufen, während der Agent antwortet. Vergleichende Ergebnisse zeigen, dass das Modell GPT‑6.1‑sol Jev bei gestoppten Spielen übertrifft, aber den Vorsprung verliert, wenn die Simulation weiterläuft.

Als Lösung schlagen sie die Methode TORSI vor, die die langsame Lernphase von der schnellen Ausführung trennt. Ein „Meister“-Agent analysiert Fehler und testet Korrekturen in pausierten Situationen, um wiederverwendbare Anweisungen zu generieren. Ein „Student“-Agent, agiler, handelt während des Spiels ohne Rücksprache mit dem Meister; seine Aktualisierungen werden nur akzeptiert, wenn sie die Validierungsbewertung verbessern. Nach zwei Iterationen steigt der durchschnittliche Jev‑Score von 13,51 auf 24,19 (Skala 0–100), und die Leistung verbessert sich in allen sechs Spieltypen. Die gleichen Anweisungen steigern zudem die Leistung von drei weiteren Modellen ohne erneutes Training.

Diese Forschung zeigt, dass die Aufteilung von Überlegung, Lernen und Handlung auf unterschiedliche zeitliche Rhythmen es KI-Agenten ermöglicht, ihre Effektivität in Echtzeit‑umgebungen zu erhalten – ein wichtiger Schritt hin zu wirklich operativer Intelligenz in der heutigen Welt.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.