Ein erklärbares, headerzentriertes Framework zur groß angelegten semantischen Tabelleninterpretation und Datenqualitätsbewertung
· Quelle: arXiv cs.AI
Das Papier stellt eine erklärbare Methode vor, die sich auf Tabellenüberschriften konzentriert, um den Spaltentyp zu bestimmen und die Datenqualität zu bewerten, wenn lediglich Metadaten vorliegen. Mithilfe kuratierter Lexikone weist das System jeder Überschrift einen von dreiundneunzig strukturierten Typen zu und verfolgt dabei die Token‑Verantwortlichkeit über Herkunfts‑Schlüsselwörter. Jeder erkannte Typ löst ein Regelwerk aus, das in einer Qualitätsproblem‑Taxonomie organisiert ist und so Fehlwerte, Duplikate, Domänenverletzungen, falsche Datentypen und zeitliche Unstimmigkeiten erkennt. Die Ergebnisse werden in einer leichten Kennzahl namens HeadersIQ zusammengefasst, die eine gewichtungsfreie Bewertung der Datenquelle liefert.
Die Methode wurde an einer Vielzahl von Referenzdatensätzen getestet, darunter akademische Quellen, Wettbewerbe und Open‑Data‑Repos, und umfasste etwa 120 000 Überschriften. Die Ergebnisse zeigen eine breite praktische Abdeckung bei verrauschten, realen Metadaten, und der Prozess bietet einen parallelen Weg, die Resultate mit Ontologien wie DBpedia und Schema.org abzugleichen. In der offiziellen SemTab 2024‑Challenge war die Leistung eher bescheiden; ein blindes Analyseverfahren zeigte jedoch, dass viele Diskrepanzen eher auf die Granularität des Benchmarks, Alias‑Probleme und ontologische Entscheidungen zurückzuführen sind als auf Modellfehler.
Die Forschung ist relevant, weil sie die Fähigkeit verbessert, zuverlässige Wissensgraphen aus unvollständigen Tabellen zu generieren, die Datenintegration erleichtert und frühzeitig Qualitätsprobleme erkennt, die downstream‑Anwendungen beeinträchtigen können.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.