推文
@aigeeknews · 2026-10-14 21:32
显存装不下的模型从 SSD 读 Janas 让 MoE 专家按需从 SSD 载入，48 GB 的模型在 32 GB 内存的笔记本上跑到 37 token/s，llama.cpp 只有 2.8。 https://github.com/prabanta-dev/janas
曝光 4 · 评论 0 · 点赞 0 · 书签 0
@aigeeknews · 2026-10-14 21:32
显存装不下的模型从 SSD 读 Janas 让 MoE 专家按需从 SSD 载入，48 GB 的模型在 32 GB 内存的笔记本上跑到 37 token/s，llama.cpp 只有 2.8。 https://github.com/prabanta-dev/janas
曝光 4 · 评论 0 · 点赞 0 · 书签 0