Verbesserung der OCR-Genauigkeit durch gated und attenuated On-Policy Distillation

Vision‑Text‑Modelle korrigieren automatisch anomale Wörter, die in Bildern erscheinen, und erzeugen Transkriptionen, die zwar natürlich klingen, aber den Originalinhalt nicht exakt wiedergeben. Dies beeinträchtigt die Genauigkeit von OCR. Die Autoren stellen fest, dass die Anleitung eines statischen Lehrers mit zunehmender Trainingsphase an Wirksamkeit verliert – sowohl zwischen verschiedenen Kontrollpunkten als auch zwischen Antwortgruppen mit unterschiedlichen Aufgabenbelohnungen. Auf dieser Beobachtung aufbauend schlagen sie GAD‑RL vor, eine Online‑Destillationsmethode, die die Lehrer‑Überwachung dynamisch an die aktuelle Leistung des Lernenden und die lokale Verteilung seiner Vorhersagen anpasst. Der Lehrer bleibt festgelegt und nutzt sowohl die Referenztranskription als auch die vom Lernenden generierten Präfixe. GAD‑RL deaktiviert die Destillation für Gruppen, deren Ausgabe eine Aufgabenbelohnung von mindestens 0,95 erreicht, und verringert schrittweise die Destillationsintensität, wenn der durchschnittliche Belohnungswert der Gruppe steigt. Zudem gewichtet es die KL‑Divergenz nach vorne mit der Wahrscheinlichkeit, die der Lernende dem Top‑1‑Token des Lehrers zuweist, und begrenzt Hilfsaktualisierungen, wenn der Lernende wenig Vertrauen in diesen Token zeigt. In Tests mit dem Modell Qwen3.5‑2B erzielt GAD‑RL 59,92 % Micro‑Recall auf CHAOS‑Bench, was GRPO um 8,45 % und GRPO+OPD um 4,43 % übertrifft, und erreicht eine Gesamtpunktzahl von 91,18 auf OmniDocBench v1.6. Diese Verbesserung steigert die Text‑Extraktionsgenauigkeit in visuellen Dokumenten und unterstützt damit Anwendungen, die auf zuverlässiges OCR angewiesen sind, wie die Digitalisierung von Archiven und die Informationszugänglichkeit.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.