Made with AI
Microsoftは自前で2.8兆パラメータのモデルを学習し、パートナーにだけ渡す
OpenAIに資金を出してきた会社が、いまや自前の、フロンティア規模のベースモデルを持っている。ただでは渡さない。
筆者 編集部, ニュース · · 1分で読める
タグ: Microsoft · モデル · MAI · 事前学習
- このニュース
- OpenAIに資金を出してきた会社が、いまや自前の、フロンティア規模のベースモデルを持っている。ただでは渡さない。
- なぜ重要か
- Microsoft AIは、パラメータ総数2.8兆の混合エキスパートモデルMAI-Base-2の事前学習を終え、信頼するパートナーに重みをライセンスする計画だ。
- 確認できたこと
- 写真はこの記事のために生成したものです。本文で名の挙がる人物は写っていません。
名前のある出典に紐づく。検証済みとは記していない。 Microsoft AI news
ニュース
Microsoft AI は、MAI-Base-2 の事前学習を終えたと述べた。パラメータの総数 2.8 兆、活性パラメータ 800 億の混合エキスパートモデルで、8月と9月の 38 日間、16,000 基の GB200 GPU の上で、50 兆トークンを学習した。モデルはいま事後学習に入っており、Microsoft は Foundry を通じて、信頼するパートナーに重みをライセンスする計画だ。
なぜ重要か
Microsoft は、フロンティアのモデルを OpenAI に依存してきた。この規模のベースモデルは同社に交渉力を与える。重みを公開せず、選んで共有することは、Meta や Nvidia と一線を画す。
詳細
Microsoft は、MAI-Base-2 が、未見のテキストをモデルがどれだけよく予測するかの尺度であるホールドアウトの bits-per-byte で、試したすべてのオープンウェイトモデルを上回ったと主張し、事前学習では DeepSeek-V4-Pro-Base より計算効率が 4.2 倍から 12.3 倍高いとしている。効率の数字は、当てはめたスケーリング則からの推定であり、ベンダーが報告したものである。
学習データの約 18% は、視覚と言語の素材だった。知識のカットオフは 2026年3月だ。
確認できなかったこと
- ベースモデルの比較は、パートナーがアクセスを得るまで検証できない。
- Microsoft は一部の競合を、事後学習済みのチェックポイントとしてしか比較していない。