dataqbs

Le graphique le plus mal compris en IA vient de recevoir une mise à jour majeure

· Source : MIT Technology Review

Un nouveau rapport de METR, l’organisation à but non lucratif qui évalue les capacités de l’IA, met à jour son célèbre « graphique de l’horizon temporel », qui avait été largement mal interprété par le public. L’étude montre que les modèles de pointe continuent de doubler, tous les quatre mois, la longueur des tâches vérifiables qu’ils peuvent accomplir, confirmant ainsi une tendance exponentielle dans des domaines comme la programmation et les mathématiques, où le succès peut être mesuré automatiquement.

Cependant, la recherche révèle également que les systèmes actuels restent en retard sur les tâches nécessitant jugement ou créativité, telles que la conception de nouvelles évaluations d’IA ou l’évaluation d’arguments philosophiques. Même les modèles les plus avancés, qui surpassent la majorité des humains en ingénierie logicielle, n’ont pas réussi à produire des évaluations utiles pour les chercheurs de METR, et leurs scores en raisonnement philosophique étaient inférieurs à ceux humains.

Certains des modèles les plus récents, comme Opus 5.5, affichent une performance « légèrement au-dessus du seuil » dans la création d’évaluations, une amélioration par rapport à la catégorie « clairement en dessous » enregistrée il y a un an, bien qu’elle reste insuffisante pour des applications pratiques. Les experts s’accordent à dire que, si les progrès sur les tâches vérifiables ne montrent aucun signe de ralentissement, prédire les avancées sur les tâches ouvertes et de jugement demeure complexe.

Cette information est pertinente car le rythme d’amélioration des tâches vérifiables stimule l’adoption de l’IA dans des secteurs tels que le développement logiciel, tandis que la capacité limitée de jugement entrave l’automatisation de la recherche et du développement, un objectif clé pour la prochaine génération de systèmes intelligents.

Lire l’article original sur MIT Technology Review

Ce résumé est une synthèse informative réalisée par dataqbs.com. Tous les droits sur le contenu original appartiennent à son auteur et au média cité. Nous agissons uniquement en tant que curateurs d’actualités technologiques et ne revendiquons aucune paternité.

Lire cet article en Español · English · Deutsch · Italiano