Optimización de poda para arquitecturas neuronales usando distancias de información de Fisher

Un nuevo método para eliminar parámetros de redes neuronales se basa en la distancia geométrica diferencial dentro del espacio de modelos. Cuando se poda un peso, su valor se fija a cero, lo que equivale a desplazar el modelo hacia la superficie donde ese parámetro desaparece. La distancia mínima entre el modelo original y esa superficie se calcula mediante la distancia geodésica definida por la métrica de información de Fisher, lo que permite medir con precisión el impacto real de la poda sobre el rendimiento del modelo.

A partir de aproximaciones sucesivas de esa distancia geodésica, los autores establecen una jerarquía de técnicas de poda, comenzando por la tradicional basada en la magnitud de los pesos y avanzando hacia esquemas más sofisticados que aprovechan la información de Fisher. El enfoque se prueba en redes totalmente conectadas y en Vision Transformers, utilizando los conjuntos de datos MNIST y CIFAR‑10, cubriendo todo el rango de poda del 0 al 100 % y repitiendo los experimentos con cinco semillas aleatorias. En todas las combinaciones de arquitectura y datos, el método supera a la poda por magnitud y a la basada únicamente en la información de Fisher, tanto en precisión como en la métrica de correlación de Matthews.

Además, al considerar niveles intermedios de aproximación geodésica, se obtienen técnicas de poda que requieren menos cálculo pero conservan un rendimiento casi óptimo. Esta propuesta no solo ofrece una herramienta de poda de última generación, sino que también brinda una justificación matemática sólida para los métodos de reducción de parámetros, lo que resulta relevante para desarrollar modelos de IA más eficientes y sostenibles.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.