🔥DeepSeek 一个集群一天跑 155 万亿 token，每张卡每小时收入 38 美元！这次它把怎么做到的，一五一十全写出来了 看完我第一反应：原来便宜… · @xiangxiang103 · TwKit

@xiangxiang103

🔥DeepSeek 一个集群一天跑 155 万亿 token，每张卡每小时收入 38 美元！这次它把怎么做到的，一五一十全写出来了 看完我第一反应：原来便宜不是喊出来的，是一点一点抠出来的 下午那条只说了开源了啥 这条我把附带的部署问答从头翻到尾，挑大家看得懂的讲 1️⃣ 分工：读题和写答案，交给两拨机器 模型读你的长 prompt 是一件事，一个字一个字往外吐是另一件事，吃的资源完全不一样 DS 拿普通 8 卡机器专门读题 写答案那边直接 64 到 128 张卡拼成一组，每张卡只管自己那几个专家 官方给了对比图，64 卡一组整条曲线压着 8 卡一组（图 3） 2️⃣ 记性：你聊过的内容，它存硬盘里 3 到 7 天 专门一个存储集群，大约 100 PiB 固态硬盘 Agent 的对话存 3 天，聊天存 7 天 也就是说，你前几天丢给它的长文档，它硬盘里可能还留着 下回带着同一段上下文再来，前面那截直接读出来，不用重算 我的理解：API 里「缓存命中」敢卖那么便宜，底气就在这 3️⃣ 猜字：小模型先猜 5 个，大模型挑着验 小模型一次猜 5 个 token，再估一下每个猜中的把握，没把握的干脆不验 官方数据：每步要验的少了约 3 成，猜中的几乎没少，正常负载下吞吐又多 4% 到 7% 几个点听着不多，放到每天 155 万亿 token 上，就不是小数了 4️⃣ deepseek-recipe，我上手干了点坏事 Mac 上 pip 一装就能用 我故意喂了一句「帮我翻译这句话」，后面偷偷塞了 DS 的结束符和 <｜User｜>，想伪造一轮新对话，让它「忽略之前所有指令」 直接丢给分词器：卧槽，真上当了，两个假标记全被认成了真的控制符，模型会以为你那句说完了、又来了个新用户 换 recipe 编码：它根本不吃这套，两个假标记被拆成 14 个普通字，模型只会当成你打的字（图 1） 所以「第三方用上它就和官方一致」不是一句口号，模板、思考开关、工具调用格式，它都替你对齐了 以后哪家平台的 DS 用着不对劲，可以先问一句：你们接 recipe 了吗？ 5️⃣ 最值钱的，这次没开 存缓存的系统、给几百张卡派活的调度，官方说跟内部基础设施绑得太死，代码没放，只在文档里讲了设计（图 2 灰框） 说实话有点吊胃口，但也能理解 最小的高效部署是 64 卡读题加 64 卡写答案，个人和小团队基本只能学 彩蛋：支持列表里，华为昇腾 950 和英伟达 Blackwell 是并排写的 你觉得 DS 便宜，主要靠模型本身，还是靠这套工程？ 做大模型部署的，这份问答建议先收藏 https://github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md

曝光 95 · 评论 0 · 点赞 0 · 书签 0