推文
@realWeZZard · 2026-10-12 20:25
我目前自己设计的局域网内推理引擎就是永久，因为我可以把 KV Cache 交换到内存和磁盘。我买了 4 个 T 的 SSD 做了 RAID 0 阵列，以及 192GB 的内存，为 KV Cache 交换提供了充足的空间。
曝光 440 · 评论 1 · 点赞 2 · 书签 1 · 曝光/时 131.9237751139303
@realWeZZard · 2026-10-12 20:25
我目前自己设计的局域网内推理引擎就是永久，因为我可以把 KV Cache 交换到内存和磁盘。我买了 4 个 T 的 SSD 做了 RAID 0 阵列，以及 192GB 的内存，为 KV Cache 交换提供了充足的空间。
曝光 440 · 评论 1 · 点赞 2 · 书签 1 · 曝光/时 131.9237751139303