03 MODEL
❯ 微软完成 MAI-Base-2 预训练,总参数 2.8 万亿,称算力效率是 DeepSeek-V4-Pro-Base 的 4 到 12 倍
更大更稀疏的新底座微软 AI 宣布完成新模型 MAI-Base-2 的预训练。这是一个混合专家模型,总参数 2.8 万亿,激活 800 亿。微软称,它在自家未公开的评测上超过所有测试过的开放权重模型,预训练的算力效率是最强开放基座模型 DeepSeek-V4-Pro-Base 的 4 到 12 倍,省下的算力用来训练更大的模型。
38 天、1.6 万块 GB200微软披露,MAI-Base-2 在 8 月和 9 月用 1.6 万块 GB200 GPU 训练了 38 天,训练时间里有 89% 在有效推进。6 月它发布了在上一代基座 MAI-Base-1 上后训练的 MAI-Thinking-1。新模型目前还在后训练阶段,尚不能直接使用。
卖点是数据干净微软强调,模型的预训练数据都是原始数据,没有从其他模型蒸馏,数据来源清楚。它打算通过 Foundry 平台把模型权重授权给可信合作伙伴。微软想把“训练数据可追溯”变成与开放模型竞争的理由,尤其是面对在意版权和合规风险的企业客户。
▮ SIGNAL自研大模型的公司开始把“没有蒸馏别人”当作卖点,企业采购时多了一道“数据从哪来”的考题,开放模型在这一项上并不占优。