🔥一张 3090 本地跑千问 3.8-27B，推理写到 78 tok/s？ OpenJet 的专用 CUDA 引擎，跟同卡同模型开了 MTP 的 llama… · @QwenAIFans · TwKit

@QwenAIFans

🔥一张 3090 本地跑千问 3.8-27B，推理写到 78 tok/s？ OpenJet 的专用 CUDA 引擎，跟同卡同模型开了 MTP 的 llama.cpp 对照：思考模式大约 78 vs 51 tok/s。写代码那种贪心解码峰值到过 140。要 Linux、24G 起的 RTX，以及那份 Q4_K_M GGUF。 来源：OpenJet Engine 文档👇 https://www.openjet.dev/engine

曝光 217 · 评论 1 · 点赞 0 · 书签 0