Der erste Test der Künstlichkeit: Ein LLM-verweisendes C-Test für Supraintelligenz

Die Autoren stellen eine neue Methode vor, um die Leistungsfähigkeit von KI-Systemen zu messen, die sowohl Menschen als auch aktuelle Modelle übertreffen. Traditionelle Benchmarks neigen dazu, sich zu stabilisieren, weil sie anhand der Leistung derjenigen kalibriert werden, die sie entwerfen, was sie für die Bewertung potenziell überlegener Intelligenzen wenig nützlich macht. Um diesem Kreislauf zu entgehen, nutzt die Arbeit inverse Probleme der induktiven Inferenz, deren Komplexität vom zugrunde liegenden Mechanismus, der die Beobachtungen erzeugt, und vom verfügbaren Vorwissen abhängt. Dabei wird die Kt‑Maßzahl von Levin verwendet, eine berechenbare Variante der Kolmogorov‑Komplexität, die die minimale Länge der Beschreibung des Mechanismus mit dem Logarithmus der dafür benötigten Ausführungszeit kombiniert. Im Gegensatz zu früheren Tests, die auf sehr einfachen universellen Turingmaschinen basierten, werden hier große Sprachmodelle (LLM) als Referenzmaschinen betrachtet, die bereits eine breite menschliche Kulturbasis besitzen und Anweisungen in natürlicher Sprache verarbeiten können. Der Artikel erläutert die Formalisierung der Metrik, die Entwicklung eines leichtgewichtigen Prozesses zur Erzeugung und Validierung von Items sowie die Auswirkungen der Leistungsfähigkeit der Referenzmaschine und der Differenz zwischen Testersteller und Testteilnehmer. Eine erste, zertifizierte Testreihe wurde auf zwölf LLM angewendet; die Leistungskurven fallen mit zunehmender Schwierigkeit ab und erreichen eine hochkomplexe Zone, die bislang noch nicht von führenden Intelligenzen übertroffen wurde. Diese Forschung liefert ein theoretisches und praktisches Instrument, um den Fortschritt von KI über die aktuellen Grenzen hinaus zu verfolgen und frühzeitig überlegene Fähigkeiten zu erkennen.

Originalartikel lesen auf arXiv cs.AI

Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.