AI&智能硬件

AI 算力争霸：TPU 如何分食英伟达的蛋糕

kevin zheng

14 Mar 2026 — 6 min read

一句话总结

谷歌自研的 TPU 在限定条件下已可挑战英伟达 GPU 的垄断地位，其优势集中在软硬件协同的系统级优化与数据中心成本控制，但受制于供应链、产能与软件生态门槛，短期内难全面替代 GPU。

关键时间戳

03:30 — TPU 与 GPU 架构差异：GPU 的 SIMT 多线程并行 vs TPU 的矩阵计算流水线
09:20 — TPU 在 V4/V5 加入针对 MOE 的 OCS 光纤交换机，解决 all-to-all 通信问题
13:15 — 产能瓶颈：CoWoS 封装（TSMC）与 HBM（SK 海力士、三星、Micron）产能受限
18:40 — 良率问题：TPU 不可阉割降级，废片率高；GPU 有 H100/A100 兜底
25:50 — XLA 编译器作为 TPU 软件栈核心，融合算子与内存管理但调试门槛高
31:10 — Groq 精准踩中三波红利：inference、ASIC、agent 低延迟场景
38:30 — 推理成本对比：Groq 抢尾部延迟，TPU 抢吞吐量，两者适用场景不同
44:20 — TPU 历史起源：2013 年 Jeff Dean 内部演示，GPU 太贵而催生自研芯片

核心要点

架构差异决定利用率

GPU 采用 SIMT 架构，类比多个独立大厨并行做菜，适合通用并行计算但存在数据搬运等待导致的闲置周期；TPU 是针对矩阵计算定制的加速器，类比流水线作业，每个计算单元始终满载，避免调度浪费，软件负责消除硬件复杂度。在预训练从 compute-bound 转向 memory-bound 的趋势下，TPU 的 memory utilization rate 优势明显。

TPU 的核心优势是系统级优化

TPU 主打 TPU pod（数千张卡协同），通过 ICI（芯片间直连铜缆，无需交换机）和 Reedy Towers 拓扑网络，让几千张芯片在用户感知中如同一张卡。V7（Ironwood）在物理参数上已接近 GB200，针对已知 workload 的定制使其 TCO 更低。HBM 软件可充分利用带宽，是算力效率高的另一关键。

供应链与产能是产能爬坡瓶颈

产能受三方面制约：TSMC 的 CoWoS 2.5D 封装产能（台积电按订单量决定分配，英伟达占大头）；HBM 供应被 SK 海力士、三星、Micron 三家垄断，英伟达是最大客户，谷歌是次级客户；良率问题——TPU 强调芯片一致性（不能阉割降级为低端版本），通信密集设计导致失败率高于 GPU，无降级版本可兜底。

软件生态是最大门槛

XLA 是静态编译器，可做全局算子融合与内存管理，但属黑盒，调试门槛极高，需谷歌工程师介入。PyTorch/XLA 的算子支持尚不完整，若不深度迁移至 JAX+XLA，性能可能只跑到峰值的 50-60%。相比之下，CUDA 生态成熟，外部开发者可独立 debug。

ASIC 的赌注：押对方向的先发优势

TPU 从诞生起就针对 transformer 的矩阵计算，V6 开始全力适配大模型预训练，V7 基本压对了方向。ASIC 牺牲通用性换取效率，但代价是设计周期长达 2-2.5 年，而模型迭代以月为单位。一旦范式改变（如非 transformer 架构），TPU 难以快速跟进，这是其结构性风险。

推理场景适用性差异

TPU 适合大规模、模型相对静态的云端推理（高吞吐量、低成本），不适合单用户低延迟场景；Groq 反向定位，精准踩中 agent 时代的低延迟需求，适合高频交易、实时语音等场景。两者未来将共存，分层满足不同市场。

Groq 的差异化路径

Groq 编译器出身（前 TPU 编译团队 Jonathan Ross 创立），硬件为软件服务，每个 cycle 由编译器精准调度，擅长单用户低延迟而非海量共享吞吐量。已被英伟达收购。

重要细节与数据

Gemini 3 — 2025 年登顶 AI 性能排行榜，使用 TPU（非英伟达 GPU）训练
Apple Intelligence — 2024 年苹果发表论文，模型全部使用 TPU 训练
Anthropic — 2024 年签下 100 万颗 TPU 订单（价值数百亿美元），用于训练下一代 Claude；2025 年 4.5 API 价格下降 67%，部分归功于 TPU 训练
Jonathan Ross — 谷歌 TPU 编译团队核心人物，后创立 Groq，现为英伟达 VP（英伟达已收购 Groq）
Jeff Dean — 谷歌首席科学家，TPU 项目早期推动者
David Patterson — 图灵奖获得者，深度参与第一代 TPU 架构设计
SK 海力士 / 三星 / Micron — 全球 HBM 三大供应商，英伟达为最大客户，谷歌为次级客户
TSMC — 负责 CoWoS 2.5D 封装，决定产能分配
Broadcom — 负责 TPU 信号连接与 ICI 物理布局，与谷歌深度定制合作
Groq LPU — 每秒产生 100 个 token，适合单用户低延迟；TPU 适合高吞吐量场景

行动建议

第三方公司使用 TPU 前，必须配备懂 XLA + JAX 的工程师团队，否则性能只能发挥 50-60%，且无法独立 debug
模型相对静态、有大规模推理需求的企业，优先评估 TPU 的 TCO 优势
单用户、低延迟敏感的 agent 类应用，应优先考虑 Groq 类专用芯片而非 TPU
投资决策时关注三个变量：HBM 供应链分配、CoWoS 封装产能、TPU 软件生态扩张速度

术语与人名对照

TPU — Tensor Processing Unit，谷歌自研 AI 加速芯片
GPU — Graphics Processing Unit，图形处理器（英伟达主力 AI 芯片）
ASIC — Application-Specific Integrated Circuit，专用集成电路
SIMT — Single Instruction Multiple Thread，单指令多线程（GPU 架构）
HBM — High Bandwidth Memory，高带宽内存
CoWoS — Chip on Wafer on Substrate，台积电 2.5D 封装技术
ICI — Inter-Chip Interconnect，芯片间直连通信协议
OCS — Optical Circuit Switch，光路交换机（TPU V4 引入，用于 MOE 通信）
MOE — Mixture of Experts，混合专家模型架构
XLA — Accelerated Linear Algebra，谷歌静态编译器（TPU 软件栈核心）
CUDA — 英伟达 GPU 编程框架与生态
JAX — 谷歌高层机器学习框架，配合 XLA 使用
NVLink / NVSwitch — 英伟达 GPU 集群通信协议（成本高）
TCO — Total Cost of Ownership，总拥有成本
Jeff Dean — 谷歌首席科学家，TPU 项目核心推动者
Jonathan Ross — 前 TPU 编译团队核心，Groq 创始人，现任英伟达 VP