推文

@AYi_AInotes · 2026-10-15 00:48

喵个咪，老黄那台 4000 美元的个人超算还没捂热，苏姿丰直接拎出一个 1499 美元的饭盒主机掀了桌子，把本地跑 235B 大模型的门槛砍到了三分之一。 苏姿丰在台上单手托起一台 1499 美元、饭盒大小的迷你主机，正面硬刚老黄那台 4000 美元的 AI 盒子，我觉得这波真正扎心的不是跑分，是咱们每个月交给云端大厂的订阅账单。 没连数据中心，没调云端接口，也没外接显卡，这台塞进 Ryzen AI Max+ 395 的小机器，当场在本地跑起了量化后的 2350 亿参数大模型。 它能越级打怪，靠的是 CPU 和 GPU 共享 128GB 统一内存，Linux 下能直接划出 110GB 给 GPU 当显存用。 要知道 RTX 5090 也才 32GB 显存，4090 只有 24GB，显卡只要显存被撑爆就得走慢速通道，所以 AMD 官方测试里，它跑 DeepSeek R1 蒸馏版能比单买一张 1000 美元的 RTX 5080 快 3 倍以上。 更刺眼的是重度玩家的云端订阅账本：Claude Code Max 每月 200 刀，ChatGPT Pro 200 刀，再加上 Cursor 20 刀和 Gemini 20 刀，一年就是 5280 美元，这笔钱不到三个半月就能直接买断这台机器。 硬件到手之后，本地白嫖的链路其实很清楚： → 装好 Ollama，拉取量化后的 Qwen3 235B 跑在 110GB 显存里 → 搭一层兼容接口的本地转接服务 → 把 Claude Code 的接口地址指向本地，实现零 Token 账单跑代码 但站在另一个更现实的视角来看，这台机器受限于内存带宽，极限吐字速度肯定比不上云端 H100，而且 235B 必须经过较重的量化压缩才能塞进去，它真正适合的是本地脚本、私密代码库和 24 小时挂机任务，不是替代所有云端极限推理。 当三年半的订阅费足够买断一台百 GB 显存的桌面工作站，云端按月收租的订阅制，第一次迎来了买断制桌面硬件的正面狙击。

曝光 418 · 评论 1 · 点赞 4 · 书签 2