02 MODEL
❯ Meta 开放 Muse Spark Open 权重,与苹果合作让 8160 亿参数模型在两台 Mac Studio 上本地运行
美国最强开放模型Meta 10 月 15 日开放 Muse Spark Open 的模型权重,称它是迄今最强的美国开放权重模型。它是原生多模态的混合专家模型,总参数 8160 亿,每次激活 420 亿,上下文窗口 100 万 token,主要面向编程和代理任务。权重可在 Hugging Face 等平台下载,许可证允许有限的商业使用。
两台 Mac 当一台超算用Meta 和苹果合作,让模型可以在两台 M5 Ultra Mac Studio 上运行。Meta 解释,每台机器的 GPU 最多可用 512 GB 统一内存,两台就能装下整个模型。据 CNBC,用户可以把两到四台 Mac Studio 连在一起,用它写代码、分析视频。扎克伯格在 X 上发帖致谢苹果首席执行官特努斯,特努斯也回帖祝贺。
宿敌坐到一起CNBC 提到,苹果 2021 年推出隐私新规后,两家关系一度跌到谷底,Meta 曾估计这项改动让它当年少收 100 亿美元。这次合作谈了几个月,双方没有说是否会进一步扩大。对开发者来说,最大的变化是一个接近前沿水平的模型可以不经云端、在自己桌上跑起来,但需要最高配的 Mac Studio,成本并不低。
▮ SIGNAL开放模型越做越大,能装下它的不再只有数据中心,个人电脑的内存容量开始成为模型公司选择合作伙伴的理由。