Google 推出 TPU 8tx 与 TPU 8i Max:前者做机密推理,后者把两颗 8i 封装在一起,算力、SRAM 与 HBM 带宽都翻倍
第八代 TPU 一年内出到第四套系统,分别针对机密计算和超长上下文。这一条讲两套新系统各解决什么问题。
// 要点
- TPU 8tx 与 8t 同一块硅片,搭配第五代 AMD EPYC 主机,在硬件层保护运行中的数据与模型权重;延迟比 8t 最多低 2 倍,性能损失接近零。
- TPU 8i Max 把两颗 8i 芯片封装到一起,算力、SRAM 与 HBM 带宽都是 8i 的两倍,同一机架空间内放下两倍硅片。
- 这是 Google 第一次在一年内推出四套 TPU 系统;TPU 业务已有近 100 家客户,包括前沿实验室、交易公司与零售商。
开发者视角对大多数做产品的人,这不是要买的硬件,而是一个信号:「数据在用时也加密」开始进入云上推理的标准选项。做 AI 云盘这类处理用户私有文件的产品,可以开始在合规问卷里留出「机密推理」这一栏,等云厂商把它做成按量计费的选项时再评估。