❯ 谷歌公布 TPU 8tx 和 8i Max，分别解决机密推理和超长上下文的硬件瓶颈

同一代 TPU 分成四套系统11 月 9 日，Google Cloud公布两套新的 TPU 系统。TPU 是谷歌为 AI 计算设计的加速器，最初供内部使用，如今也通过云服务提供给客户。谷歌 4 月公布了面向大规模训练的 8t 和面向实时推理的 8i，新公布的 8tx 与 8i Max 分别处理敏感数据和长上下文。谷歌 AI 基础设施负责人 Amin Vahdat 告诉彭博社，两套系统将在 2027 年推出。

8tx 把保护扩展到计算过程敏感数据可以在存储和传输时加密，但模型执行任务时仍需访问它。8tx 沿用 8t 的芯片，配第五代 AMD EPYC 主机处理器，在硬件层隔离正在使用的数据和模型权重。受严格合规要求约束的客户可在同一套系统运行专有模型，并用内部资料做小规模微调，减少数据在不同集群之间搬运。

8i Max 把两颗芯片放进一个封装模型读完整套代码、长视频或多智能体的工作记录时，瓶颈往往是把数据及时送到处理器。谷歌称，8i Max 将两颗 8i 放入单一封装，算力、片上静态内存容量和高带宽内存的传输带宽都达到单颗 8i 的两倍。谷歌还称，新方案在现有机架占地内放入更多计算硬件，适合需要处理长输入的推理服务。

谷歌开始按客户的实际任务改硬件谷歌称 TPU 已有近 100 家客户，并开始让客户把 TPU 部署在自己的数据中心。8tx 和 8i Max 的变化分别来自客户对数据隔离和大上下文的需求。复用现有硅片，再更换封装、网络或主机，让谷歌可以更快推出专用系统。

▮ SIGNAL谷歌正在把 TPU 的竞争单位从一颗芯片变成整套系统，客户实际买到的是适合某种工作负载的安全性、内存带宽和机架效率。