06 MODEL
❯ 腾讯开放混元旗舰 Hy4 权重,7700 亿参数模型支持逾百万 Token 上下文
开放的是此前发布的正式版权重腾讯混元 11 月 20 日把 Hy4 正式版权重放到 GitHub、Hugging Face、ModelScope 和 GitCode。正式版在 11 月 4 日已经发布,这次新增的是开发者可下载权重、自行部署。Hy3 preview、Hy3、Hy4 preview、Hy4 和 Hy4 flash 至此都有公开权重。
旗舰与 Flash 的部署差异旗舰 Hy4 总参数 7700 亿,每个 token 激活约 490 亿,支持逾 100 万 token 上下文。此前已开放权重的 Hy4 flash 总参数为 2240 亿,其中 640 亿属于 Engram 模块,每 token 激活约 120 亿,同时支持图文输入和百万 token 上下文。激活量决定每步使用多少权重,部署还要考虑整套权重怎样放入设备以及长上下文占用多少缓存。
缓存、许可和评估腾讯介绍,Flash 在预训练中引入混合注意力、LatentMoE 及 Engram,KV 缓存大小约为旗舰 Hy4 的六分之一。旗舰 Hy4 与 Hy4 preview 的 Apache 2.0 许可允许商业使用和修改;团队同时公开模型安全评估卡,交代评估覆盖的领域。
▮ SIGNAL旗舰权重开放后,部署方可以在同一系列内直接比较 Hy4 和 Flash 的长文档任务表现、权重占用及缓存成本。