dataqbs

NEBench R1 : un benchmark de raisonnement pour évaluer la compétence en domaine nucléaire des grands modèles de langage

· Source : arXiv cs.AI

NEBench R1 est un nouveau jeu de tests conçu pour mesurer à la fois la précision et la qualité du raisonnement des grands modèles de langage (LLM) dans le domaine nucléaire. Le benchmark comprend 7 546 questions à choix multiples extraites des examens de licence des opérateurs de réacteurs de la Commission de Régulation Nucléaire des États‑Unis, couvrant 18 sites et classées selon les catalogues de connaissances et de compétences de la NRC. Chaque item inclut l’explication officielle, qui sert de référence pour évaluer le raisonnement des modèles. Six LLM ont participé à l’évaluation, leurs taux de précision oscillant entre 34 % et 73,9 %, répartis en trois niveaux de performance. Un juge basé sur un LLM a appliqué une grille multidimensionnelle aux réponses correctes afin d’évaluer la solidité du raisonnement. Les résultats montrent que, bien que les modèles comprennent les problèmes, ils présentent des lacunes en exactitude factuelle, en application de procédures et en analyse des distracteurs, indiquant que les réponses correctes ne sont pas toujours soutenues par des justifications techniques valides. De plus, on a observé que des traces de raisonnement plus longues se corrèlent avec une précision moindre, suggérant que la longueur du raisonnement pourrait refléter la difficulté de la question plutôt qu’une capacité de résolution supérieure. Ce benchmark fournit un outil pour diagnostiquer la compétence et la fiabilité des LLM dans des tâches critiques d’ingénierie nucléaire, information essentielle pour leur adoption sécurisée dans des environnements réglementés.

Lire l’article original sur arXiv cs.AI

Ce résumé est une synthèse informative réalisée par dataqbs.com. Tous les droits sur le contenu original appartiennent à son auteur et au média cité. Nous agissons uniquement en tant que curateurs d’actualités technologiques et ne revendiquons aucune paternité.

Lire cet article en Español · English · Deutsch · Italiano