Sam Altman 前阵子说，每个人电脑里都放着一堆内存，可能只有 5% 的时间在用，从全球分配的角度看，“挺糟糕的”。 Reddit 上有个哥们接了这个… · @tvytlx · TwKit

@tvytlx

Sam Altman 前阵子说，每个人电脑里都放着一堆内存，可能只有 5% 的时间在用，从全球分配的角度看，“挺糟糕的”。 Reddit 上有个哥们接了这个挑战。 他的配置： RX 9070 XT 16G 游戏显卡 5800X3D 的 CPU 64G DDR4，按现在的内存价格，这几根条子比电脑其他部件加起来还贵 一块 PCIe 3.0 的老 SSD 跑 DeepSeek V4.1 Flash，1M 上下文，1.75 bit 量化，完全离线。 显存、内存、硬盘三层一起放模型。 出字 7 token/s，够用。 难受的是开头：每开一个新的 Agent 编程会话，都要把 3.7 万 token 的系统提示词重读一遍，等 100 秒才出第一个字。 他改了引擎，两刀。 第一刀我觉得最值得讲。 Agent 会把日期、工作目录、项目说明、带随机 ID 的路径，塞进系统提示词。 缓存按前缀匹配，开头变了几个字，后面全部作废。 所以每次新会话都是冷启动，3.7 万 token 从头读。 他让引擎把新提示词和存下来的旧会话逐行对齐，变了的那几行剪掉重读，其余直接复用。 第二刀：MoE 模型哪怕只读一小段输入，也会碰到几乎每层的每个专家。 1200 token 的提示词，从硬盘拉了 58G 数据。这个数字有点离谱。 他改成读提示词时只用已经在显存和内存里的专家，生成回答时照常路由。 结果，Agent 会话启动快了 20 倍。 边界他自己也写清楚了： 只在 AMD 卡上测过，N 卡没试； 剪接是近似做法，没做正式评测； 换专家会让答案略有变化，他的编程测试两种方式都是 12/13，但各只跑了一次。 我觉得这事最有意思的地方是： 家里那几根内存闲着，很大一部分原因在软件。 很多推理软件没按家用机器的约束认真抠过，一个人抠一抠，就是 20 倍。 顺手带走一条：自己写 Agent 提示词，会变的东西（日期、路径这些）尽量往后放，开头保持一字不差，缓存才吃得到。调云端 API 也一样，省的是真钱。 他最后给 Sam 贴了张利用率截图：显存满的，内存满的，SSD 满速在跑。 说整台机器唯一闲着的部件，是他的钱包。 要不我也囤几根内存条，对冲一下 Sam 算了。 https://www.reddit.com/r/LocalLLaMA/comments/1xljdnj/sorry_sam_my_quite_terrible_home_dram_is_at_100/

曝光 355 · 评论 1 · 点赞 1 · 书签 2