LRMoE: Nachfrageorientierte Last-Neukalibrierung für effizientes MoE-Training auf speichereinschränkenden Knoten
· Quelle: arXiv cs.AI
Die Modelle der Expertenmischung (MoE) erhöhen die Kapazität von KI-Systemen, doch die ungleiche Verteilung der Tokens auf die Experten führt zu Engpässen bei Rechenleistung und Kommunikation. Gegenwärtige Ansätze versuchen, die Last durch Umverteilung oder Replikation der Experten auszugleichen, was jedoch um die begrenzte GPU‑Speicherkapazität konkurriert, die für Token‑Puffer benötigt wird. Das neue LRMoE‑System verfolgt eine speichersensible Strategie, die gleichzeitig den Bedarf während des Rückwärtsdurchlaufs anpasst und die Last, die in jedem Knoten verbleibt, ausbalanciert. Im Vorwärtsschritt legt der Algorithmus Aufbewahrungskontingente fest und entscheidet über die Platzierung der Experten unter Beachtung der Ressourcenbeschränkungen, ohne dabei gezielte Operationen zu verlieren. Während des Rückwärtsdurchlaufs bewertet eine Neukalibrierungsmetrik den Beitrag jedes Token‑Experten‑Paares zum Modell‑Update und wählt ausschließlich diejenigen aus, die in die festgelegten Kontingente passen. Anschließend verteilt ein kapazitätsbewusstes Routing die beibehaltenen Paare auf die verfügbaren Kopien des ursprünglichen Experten, und eine physische Kompaktierung erzeugt kleinere Datenpakete sowie GEMM‑Operationen variabler Größe, wodurch der Kommunikationsverkehr und der Druck auf die Puffer reduziert werden. Tests mit den Modellen Qwen3‑30B‑A3B und GLM4.5‑106B‑A12B zeigen, dass LRMoE die Gesamttrainingszeit der MoE‑Schichten um 21 % bis 45 % gegenüber der SYMI‑Lösung verkürzt. Diese Verbesserung ist bedeutsam, weil sie das Training größerer und komplexerer Modelle auf Hardware mit begrenzten Ressourcen ermöglicht und die Einführung fortschrittlicher KI‑Techniken in budgetbeschränkten Umgebungen erleichtert.
Originalartikel lesen auf arXiv cs.AI
Diese Zusammenfassung ist eine informationelle Synthese von dataqbs.com. Alle Rechte am Originalinhalt liegen beim Autor und dem genannten Medienunternehmen. Wir handeln ausschließlich als Kuratoren von Technologie-Nachrichten und beanspruchen keine Urheberschaft.