dataqbs

NEBench R1: un banco de pruebas de razonamiento para evaluar la competencia nuclear en modelos de lenguaje grande

· Fuente: arXiv cs.AI

NEBench R1 es un nuevo conjunto de pruebas diseñado para medir tanto la exactitud como la calidad del razonamiento de los grandes modelos de lenguaje (LLM) en el ámbito nuclear. El benchmark contiene 7 546 preguntas de opción múltiple extraídas de los exámenes de licenciamiento de operadores de reactores de la Comisión Reguladora Nuclear de EE. UU., abarcando 18 instalaciones y clasificadas según los catálogos de conocimientos y habilidades de la NRC. Cada ítem incluye la explicación oficial, que sirve como referencia para evaluar el razonamiento de los modelos. En la evaluación participaron seis LLM, cuyos resultados de precisión oscilaron entre el 34 % y el 73,9 %, distribuidos en tres niveles de desempeño. Un juez basado en LLM aplicó una rúbrica multidimensional a las respuestas correctas para valorar la solidez del razonamiento. Los hallazgos indican que, aunque los modelos comprenden bien los problemas, presentan deficiencias en la exactitud factual, la aplicación de procedimientos y el análisis de distractores, lo que sugiere que las respuestas correctas no siempre están respaldadas por justificaciones técnicas válidas. Además, se observó que trazos de razonamiento más extensos se correlacionan con menor precisión, implicando que la longitud del razonamiento podría reflejar la dificultad de la pregunta más que una mayor capacidad resolutiva. Este benchmark aporta una herramienta para diagnosticar la competencia y la fiabilidad de los LLM en tareas críticas de ingeniería nuclear, información esencial para su adopción segura en entornos regulados.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.

Lee esto en English · Deutsch · Français · Italiano