LRMoE: Recalibración de la carga del lado de la demanda para un entrenamiento eficiente de MoE en nodos con memoria limitada

Los modelos de mezcla de expertos (MoE) permiten ampliar la capacidad de los sistemas de inteligencia artificial, pero la distribución desigual de los tokens entre los expertos genera cuellos de botella tanto en el cálculo como en la comunicación. Los métodos actuales intentan equilibrar la carga mediante la redistribución o la replicación de expertos, lo que a su vez compite por la limitada memoria de la GPU con los búferes necesarios para los tokens. El nuevo sistema LRMoE propone una estrategia consciente de la memoria que ajusta simultáneamente la demanda durante la fase de retropropagación y mantiene equilibrada la carga que permanece en cada nodo. En la etapa de avance, el algoritmo define cuotas de retención y decide la ubicación de los expertos respetando las restricciones de recursos, sin perder ninguna operación dirigida. Durante la retropropagación, una métrica de recalibración evalúa la contribución de cada par token‑experto al ajuste del modelo y selecciona únicamente aquellos que caben dentro de las cuotas establecidas. Posteriormente, un enrutamiento sensible a la capacidad reparte los pares retenidos entre las copias disponibles del experto original, y una compactación física genera paquetes de datos más pequeños y operaciones GEMM de tamaño variable, lo que disminuye el tráfico de comunicación y la presión sobre los búferes. Las pruebas realizadas con los modelos Qwen3‑30B‑A3B y GLM4.5‑106B‑A12B indican que LRMoE acorta el tiempo total de entrenamiento de las capas MoE entre un 21 % y un 45 % respecto a la solución SYMI. Esta mejora es relevante porque permite entrenar modelos más grandes y complejos en hardware con recursos limitados, facilitando la adopción de técnicas avanzadas de IA en entornos con presupuestos de infraestructura restringidos.

Leer artículo original en arXiv cs.AI

Este resumen es una síntesis informativa elaborada por dataqbs.com. Todos los derechos sobre el contenido original pertenecen a su autor y al medio de comunicación citado. Nosotros solo actuamos como curadores de noticias tecnológicas, sin reclamar autoría alguna.