Microsoft entraîne son propre modèle de 2 800 milliards de paramètres, et ne le partagera qu'avec des partenaires
La société qui a financé OpenAI a désormais son propre modèle de base, à l'échelle de la frontière. Elle ne le donne pas.
Par La rédaction, Actualités · · 1 min de lecture
Tags: microsoft · modèles · mai · préentraînement
- L'essentiel
- La société qui a financé OpenAI a désormais son propre modèle de base, à l'échelle de la frontière.
- Pourquoi cela compte
- Elle ne le donne pas.
- Ce qui est établi
- La photographie a été générée pour cet article.
Lié à une source nommée. Non marqué comme vérifié. Microsoft AI news
L'actualité
Microsoft AI a dit avoir achevé le préentraînement de MAI-Base-2, un modèle à mélange d'experts comptant 2 800 milliards de paramètres au total et 80 milliards de paramètres actifs, entraîné sur 16 000 GPU GB200 pendant 38 jours, en août et en septembre, sur 50 000 milliards de tokens. Le modèle est maintenant en post-entraînement, et Microsoft compte licencier les poids à des partenaires de confiance via Foundry.
Pourquoi c'est important
Microsoft a dépendu d'OpenAI pour ses modèles de frontière. Un modèle de base de cette taille lui donne un levier, et le fait de partager les poids de façon sélective, et non en ouvert, le distingue de Meta et de Nvidia.
Les détails
Microsoft affirme que MAI-Base-2 dépasse tous les modèles à poids ouverts qu'il a testés sur le bits-per-byte hors échantillon, une mesure de la qualité avec laquelle un modèle prédit un texte non vu, et qu'il est 4,2 à 12,3 fois plus efficace en calcul au préentraînement que DeepSeek-V4-Pro-Base. Les chiffres d'efficacité sont des estimations tirées de lois d'échelle ajustées, et ils sont déclarés par le fournisseur.
Environ 18 % des données d'entraînement étaient des données de vision et de langage. La date limite des connaissances est mars 2026.
Ce que nous n'avons pas pu vérifier
- Les comparaisons de modèles de base ne pourront pas être vérifiées tant que les partenaires n'auront pas accès.
- Microsoft n'a comparé certains rivaux que sous forme de points de contrôle déjà post-entraînés.
Sources
La photographie a été générée pour cet article. Elle ne montre pas les personnes qui y sont nommées.