Optimal Pruning for Neural Architectures using Fisher Information Distances
· Quelle: arXiv cs.AI
Ein neuer Ansatz zur Reduktion von Parametern in neuronalen Netzen nutzt die differenzielle geometrische Distanz im Modellraum. Beim Abschneiden eines Gewichts wird dessen Wert auf Null gesetzt, was dem Verschieben des Modells zur Oberfläche entspricht, auf der dieser Parameter verschwindet. Die minimale Distanz zwischen dem ursprünglichen Modell und dieser Oberfläche wird über die geodätische Distanz bestimmt, die durch die Fisher‑Informationsmetrik definiert ist. Damit lässt sich der tatsächliche Einfluss der Pruning‑Operation auf die Modellleistung exakt messen.
Durch sukzessive Annäherungen an diese geodätische Distanz entwickeln die Autoren eine Hierarchie von Pruning‑Methoden. Beginnend mit dem klassischen Magnituden‑Pruning folgen zunehmend ausgefeiltere Verfahren, die die Fisher‑Information nutzen. Der Ansatz wird auf vollständig verbundene Netze und Vision‑Transformers getestet, wobei die Datensätze MNIST und CIFAR‑10 verwendet werden. Dabei werden sämtliche Pruning‑Raten von 0 % bis 100 % abgedeckt und die Experimente mit fünf zufälligen Seeds wiederholt. In allen Kombinationen von Architektur und Daten übertrifft das neue Verfahren sowohl das Magnituden‑Pruning als auch das reine Fisher‑Information‑Pruning hinsichtlich Genauigkeit und Matthews‑Korrelation.
Zudem führen Zwischenschritte der geodätischen Approximation zu Pruning‑Techniken, die weniger Rechenaufwand erfordern, aber nahezu optimale Leistungen beibehalten. Diese Methode liefert nicht nur ein hochmodernes Pruning‑Werkzeug, sondern bietet auch eine solide mathematische Rechtfertigung für Parameter‑Reduktion, was für die Entwicklung effizienterer und nachhaltigerer KI‑Modelle von Bedeutung ist.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.