dataqbs

NEBench R1: un benchmark di ragionamento per valutare la competenza nel dominio nucleare nei modelli linguistici di grandi dimensioni

· Fonte: arXiv cs.AI

NEBench R1 è un nuovo set di test progettato per valutare sia l’accuratezza sia la qualità del ragionamento dei grandi modelli linguistici (LLM) nel settore nucleare. Il benchmark comprende 7 546 domande a scelta multipla estratte dagli esami di licenza per operatori di reattori della Commissione Regolatoria Nucleare degli Stati Uniti, coprendo 18 impianti e classificati secondo i cataloghi di conoscenze e competenze della NRC. Ogni item include la spiegazione ufficiale, che funge da riferimento per valutare il ragionamento dei modelli. Nella valutazione hanno partecipato sei LLM, i cui risultati di precisione sono oscillati tra il 34 % e il 73,9 %, distribuiti in tre livelli di prestazione. Un giudice basato su LLM ha applicato una rubrica multidimensionale alle risposte corrette per valutare la solidità del ragionamento. I risultati indicano che, sebbene i modelli comprendano bene i problemi, presentano carenze in accuratezza fattuale, applicazione di procedure e analisi dei distrattori, suggerendo che le risposte corrette non siano sempre supportate da giustificazioni tecniche valide. Inoltre, si è osservato che tratti di ragionamento più estesi si correlano con minore precisione, implicando che la lunghezza del ragionamento potrebbe riflettere la difficoltà della domanda più che una maggiore capacità risolutiva. Questo benchmark fornisce uno strumento per diagnosticare la competenza e l’affidabilità dei LLM in compiti critici di ingegneria nucleare, informazioni essenziali per la loro adozione sicura in ambienti regolamentati.

Leggi l’articolo originale su arXiv cs.AI

Questo riassunto è una sintesi informativa realizzata da dataqbs.com. Tutti i diritti sul contenuto originale appartengono al suo autore e alla testata citata. Agiamo esclusivamente come curatori di notizie tecnologiche e non rivendichiamo alcuna paternità.

Legga questo articolo in Español · English · Deutsch · Français