推文

@QQ_Timmy · 2026-10-17 10:07

Google 首次提交 TPUv7 Agentic 基準測試：在每美元效能上顯著領先 NVIDIA GB300 與 AMD MI355X SemiAnalysis 於 10 月 16 日發布消息指出，Google 剛提交了首個 TPUv7 的 Agentic 基準測試結果。在外部非 Google 工作負載的成本基礎上，TPUv7 展現出明顯的性價比優勢。 根據 SemiAnalysis InferenceX™ 的數據（以 Qwen3.5 397B 模型為例，基於大型超大規模雲端擁有成本計算），TPUv7 的每美元效能（perf per dollar）比 NVIDIA GB300 NVL72 FP4 高出 1.42 倍，同時也比 AMD MI355X 高出約 2.5 倍。圖表顯示，在不同互動性區間下，TPUv7 的曲線整體處於較有利的位置。 進一步的比較指出，在中高互動性（medium to high interactivity）場景下，TPUv7 FP8 的每美元效能最高可比 NVIDIA GB200 NVL72 FP4 高出 3.16 倍。值得注意的是，這項比較中雙方都啟用了 MTP，且 GB200 採用了 disaggregated serving（分離式服務），而 TPUv7 僅使用 aggregated serving（聚合式服務），條件相對更嚴格。不過，在低互動性區間，GB200 FP4 目前仍保有約 1.2 倍的微弱優勢。 SemiAnalysis 向 Google TPU、TorchTPU、Inferact、RedHat 以及 vLLM 團隊表達肯定，認為這是 AgentX 基準上的首個出色結果。官方也預告，透過 AgentX 平台，TPUv7 未來將在更多模型（而非僅限單一模型）上展示其每 TCO（Total Cost of Ownership）效能，相關結果即將陸續公布。 目前這些數據仍標註為 InferenceX Official Preview，後續隨著驗證與完整發布，數值可能會有所調整。整體而言，這是 Google 首次公開展示 TPUv7 在 Agentic 工作負載上的競爭力，也為目前的 AI 推理硬體格局提供了新的比較基準。

曝光 1728 · 评论 1 · 点赞 8 · 书签 1 · 曝光/时 514.5172843847085