Microsoft entrena un modelo propio de 2,8 billones de parámetros y solo lo compartirá con socios

La noticia

Microsoft AI dijo que completó el preentrenamiento de MAI-Base-2, un modelo de mezcla de expertos con 2,8 billones de parámetros en total y 80.000 millones activos, entrenado en 16.000 GPU GB200 durante 38 días, en agosto y septiembre, sobre 50 billones de tokens. El modelo está ahora en el postentrenamiento, y Microsoft planea licenciar los pesos a socios de confianza a través de Foundry.

Por qué importa

Microsoft ha dependido de OpenAI para sus modelos de frontera. Un modelo base de este tamaño le da una palanca, y compartir los pesos de forma selectiva, no en abierto, lo separa de Meta y de Nvidia.

Los detalles

Microsoft afirma que MAI-Base-2 supera a todos los modelos de pesos abiertos que probó en bits por byte sobre datos reservados, una medida de lo bien que un modelo predice texto que no ha visto, y que en el preentrenamiento es entre 4,2 y 12,3 veces más eficiente en computación que DeepSeek-V4-Pro-Base. Las cifras de eficiencia son estimaciones a partir de leyes de escalado ajustadas, y las da el fabricante.

Alrededor del 18 por ciento de los datos de entrenamiento era material de visión y lenguaje. El corte de conocimiento es marzo de 2026.

Lo que no pudimos comprobar

• Las comparaciones del modelo base no se pueden comprobar hasta que los socios tengan acceso.
• Microsoft comparó a algunos rivales solo como puntos de control ya pasados por el postentrenamiento.