训练一个模型很贵，但看了这个视频才知道真正烧钱的是推理。 训练每花 1 份算力，部署服务每年就要花约 6 份。过去十年，光推理这一块就撑起了 2200 亿美… · @slashui · TwKit

@slashui

训练一个模型很贵，但看了这个视频才知道真正烧钱的是推理。 训练每花 1 份算力，部署服务每年就要花约 6 份。过去十年，光推理这一块就撑起了 2200 亿美元以上的市值。 很多人以为推理就是调一下 model.forward。其实一个 token 从发出请求到返回结果，要依次经过路由、缓存、调度、内核、显存和硬件，每一层都要在速度、成本和质量之间取舍。 YC 这期 Paper Club 请来了 Together AI、Ollama、Luminal、SGLang/RadixArk 的研究者和工程师，把整条推理链路从头到尾讲了一遍： 🔹 一个 token 怎样从 API 请求走到 GPU，再回到你手里 🔹 为什么同一个开源模型，换一家服务商，表现就不一样 🔹 新的编译器和缓存方案，怎样让推理更快、更省 111 分钟，信息密度很高。做 AI 产品的、关心成本的、想搞懂"为什么这家 API 比那家快"的，都值得看。 下一波 AI 的竞争，很可能不在谁训练出更大的模型，而在谁能把它跑得更快、更便宜。

曝光 80 · 评论 2 · 点赞 0 · 书签 0