早上我按带宽算过，一台 DGX Spark 跑 Ornith-1.5-122B，decode 上限大约 50 tok/s。 这份配方单路写代码到了 103 … · @wei_wang · TwKit

@wei_wang

早上我按带宽算过，一台 DGX Spark 跑 Ornith-1.5-122B，decode 上限大约 50 tok/s。 这份配方单路写代码到了 103 tok/s，高出一倍，靠的是 DFlash2 草稿模型先猜几个 token，再一次验证。 写散文单路 52，草稿猜中的少，就回到了带宽附近。

曝光 397 · 评论 1 · 点赞 3 · 书签 1