❯ 金融时报：字节跳动正预训练最高 10 万亿参数模型，张一鸣要求不走蒸馏

规模据金融时报报道，字节跳动正在预训练一个参数量最高达 10 万亿的模型，由约 2000 人的 Seed 团队负责。这个规模约为月之暗面 Kimi K3 的 3 倍，也超过外界对 Anthropic Mythos 5 约 8 万亿参数的估计。

不抄近道报道称创始人张一鸣明确要求从零预训练、不做蒸馏。模型仍在预训练阶段，这个过程通常要跑三到六个月，最终参数规模会在之后敲定，再决定是否微调与发布。对一家常年被指走捷径的公司来说，从头训一个前沿模型是最贵、也最难被反驳的回答。字节今年已经在视频生成上证明过一次自研路线走得通，这次把同一套打法搬到通用模型上。

算力先动参数竞赛本以为在效率路线下降了温，现在中美两边又同时把它拉回来。先吃紧的是算力排期：一次 10 万亿参数的预训练要占掉的集群时间，等于字节接下来半年在推荐与视频生成上的投入得重新排队。模型能不能发是后话，训练资源的分配已经先动了。

▪ SIGNAL从零训一遍，是眼下唯一无法被「抄袭」二字压住的动作。