Marco explicable centrado en encabezados para la interpretación semántica de tablas a gran escala y la evaluación de la calidad de datos
· Fuente: arXiv cs.AI
El trabajo propone un método explicable que se centra en los encabezados de tablas para identificar el tipo de columna y evaluar la calidad de los datos cuando solo se dispone de metadatos. Utilizando recursos léxicos curados, el sistema asigna a cada encabezado uno de treinta y nueve tipos estructurados, manteniendo la trazabilidad a nivel de token mediante palabras clave de origen. Cada tipo detectado activa un conjunto de reglas de validación organizadas en una taxonomía de problemas de calidad, lo que permite reconocer ausencias de información, valores duplicados, violaciones de dominio, tipos de dato incorrectos y desajustes temporales. Los hallazgos se consolidan en una métrica ligera llamada HeadersIQ, que ofrece una valoración sin ponderaciones de la calidad del origen de datos.
La propuesta se probó en una variedad de conjuntos de referencia que incluyen fuentes académicas, competiciones y repositorios de datos abiertos, abarcando aproximadamente 120 000 columnas de encabezado. Los resultados demuestran una cobertura práctica amplia frente a metadatos ruidosos y reales, y el proceso incluye una vía paralela para alinear los resultados con ontologías como DBpedia y Schema.org. En la evaluación oficial del reto SemTab 2024, el desempeño fue modesto; sin embargo, un análisis ciego reveló que muchas discrepancias se deben a la granularidad del benchmark, alias y elecciones ontológicas, más que a fallos del modelo.
Esta investigación es relevante porque mejora la capacidad de generar grafos de conocimiento fiables a partir de tablas incompletas, facilitando la integración de datos y la detección temprana de problemas de calidad que pueden afectar a aplicaciones downstream.
Leer artículo original en arXiv cs.AI
Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.