NEBench R1: ein Bewertungsbenchmark für das nukleare Fachwissen in großen Sprachmodellen
· Quelle: arXiv cs.AI
NEBench R1 ist ein neues Testset, das die Genauigkeit und die Qualität des Denkens großer Sprachmodelle (LLM) im nuklearen Bereich misst. Der Benchmark umfasst 7 546 Multiple‑Choice-Fragen, die aus den Lizenzprüfungen von Reaktorbetreibern der US‑Nuclear Regulatory Commission (NRC) stammen. Die Fragen decken 18 Anlagen ab und sind nach den NRC‑Katalogen für Wissen und Fähigkeiten klassifiziert. Jede Frage enthält die offizielle Erklärung, die als Referenz zur Bewertung des Modellgedankens dient.
Sechs LLM wurden getestet; ihre Genauigkeit lag zwischen 34 % und 73,9 % und wurde in drei Leistungsstufen eingeteilt. Ein LLM‑basierter Gutachter wendete eine multidimensionale Rubrik an, um die Robustheit der korrekten Antworten zu beurteilen. Die Ergebnisse zeigen, dass die Modelle die Aufgaben grundsätzlich verstehen, jedoch Schwächen in der Faktengenauigkeit, der Anwendung von Verfahren und der Analyse von Ablenkungsfragen aufweisen. Das bedeutet, dass korrekte Antworten nicht immer durch valide technische Begründungen gestützt sind.
Weiterhin wurde festgestellt, dass längere Gedankengänge mit geringerer Genauigkeit korrelieren, was darauf hindeutet, dass die Länge des Denkprozesses eher die Schwierigkeit der Frage widerspiegelt als die Problemlösungskompetenz. Der Benchmark liefert damit ein Instrument, um die Kompetenz und Zuverlässigkeit von LLMs bei kritischen Aufgaben der Kerntechnik zu diagnostizieren – ein entscheidender Faktor für ihre sichere Einführung in regulierte Umgebungen.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.