😱炸了！智谱Zai创始人唐杰在清华课堂硬核算账：大模型尽头是算账！揭秘GLM系列模型跑在纯国产芯片是怎么“玩得起”的？！ 智谱唐杰在清华课上把“Scalin… · @NFT_Chen · TwKit

@NFT_Chen

😱炸了！智谱Zai创始人唐杰在清华课堂硬核算账：大模型尽头是算账！揭秘GLM系列模型跑在纯国产芯片是怎么“玩得起”的？！ 智谱唐杰在清华课上把“Scaling to be used”摊开讲：算法再巧妙，也得跑起来、玩得起，整节课就是一笔经济账，结合GLM真实经历，把推理成本与国产卡实战讲透。 关键细节： 1️⃣GPU按小时收费，利用率10% = 十倍价格
卡再贵，闲着就是浪费，实际成本直接翻倍。 2️⃣GLM 5.0发布当天量超指数、直接停售
过年把训练卡全拿去推理，年后做研究发现一张卡都没有，半年持续缺卡。 3️⃣1000 TPS超快版：一台机器只能服务一个人
有人说多贵都要，唐杰直说那得百万级一年，最后降到两三百TPS换并发。 4️⃣国产卡实战：底线40 TPS/用户，硬优化到70
现在的Flash就跑在国产卡上，从能跑到能打全是工程硬刚。 5️⃣推理贵的本质：Decode卡的是带宽，不是算力
Prefill能打满GPU，Decode一个token一个token蹦，大部分时间在等数据，H100每读1 byte要做约295次计算才不亏，新卡算力涨得比带宽快。 6️⃣降本两大招 ◦压KV Cache：DeepSeek V3每token七万多byte，V4.1 Flash压到890 byte。 ◦投机解码：小模型先猜一串，大模型一次性验证，用闲着的算力白捡。 7️⃣Agent最烧钱
每一步重发全上下文、不做缓存命中，token一下刷完。 8️⃣金句：速度本身就是产品
同样的卡，推理好坏能差十倍，极端四五十倍。 GLM Flash正是把这套账算明白后落地的，国产卡集群扛住生产流量，单token成本对标主流GPU，大模型竞赛早就从“堆参数”转向“谁能真正跑得起、用得起”。 速度 × 成本 × 工程能力，才是下一阶段真正的壁垒。 #人工智能 #大模型 #智谱 #GLM #唐杰 #清华 #国产芯片 #推理优化 #DeepSeek #token #AI智能体 #agent #Scaling #Flash模型

曝光 1512 · 评论 6 · 点赞 13 · 书签 8