🚨硬核分享！智谱唐杰清华课堂拆解核心逻辑：大模型比拼的本质是成本账！ 唐杰在清华课堂分享Scaling to be used这一理念，他提出，哪怕模型算法设… · @xiax0603 · TwKit

@xiax0603

🚨硬核分享！智谱唐杰清华课堂拆解核心逻辑：大模型比拼的本质是成本账！ 唐杰在清华课堂分享Scaling to be used这一理念，他提出，哪怕模型算法设计再精巧，想要真正走向商用，前提一定是稳定可运行、成本可控。他结合GLM系列的落地经历，完整拆解了推理成本逻辑，以及国产芯片集群背后的工程实践。 首先，GPU的利用率直接决定真实算力单价，一旦显卡闲置空跑，实际使用成本就会大幅抬升。智谱也曾踩过流量带来的算力危机，GLM 5.0发布当天流量爆发，不得不临时停售；后续还出现过算力全部倾斜给推理业务，导致没有空余显卡开展训练的情况。 其次，延迟和并发本身需要取舍。极致低延迟的版本，并发能力很差，一台机器只能服务单人，一年成本高达百万，所以团队权衡之后，把指标调到两三百TPS，平衡响应速度和服务并发量。与此同时，他们在国产芯片上持续打磨优化，单用户TPS从最初底线40提升到70，GLM Flash也已经可以依托国产卡集群承载线上业务。 接着他点明了推理底层瓶颈：限制输出速度的不是算力，而是内存带宽。Decode阶段需要逐token读取数据，算力大部分时间处于等待状态。也正因如此，KV Cache压缩、投机解码成为两大核心降本方向，比如DeepSeek V4.1 Flash就把单token全局KV压缩到890字节。 除此之外，Agent场景属于开销大户，每一轮迭代都要重复传输完整上下文，token消耗速度会急剧上涨。而速度本身就是产品竞争力，同样一套硬件，推理优化做得好坏，性能差距可以达到十倍甚至数十倍。 GLM Flash正是这套成本思路落地的成果，它能够在国产芯片集群稳定承载业务，单token成本对标海外高端显卡。总而言之，大模型竞争早已告别单纯堆砌参数的阶段，速度、成本、工程落地能力，才是下一阶段真正的核心壁垒。

曝光 755 · 评论 6 · 点赞 12 · 书签 2