单张 3090 就能把 27B 跑出 64 路并发，这个门槛确实把本地大模型拉近了不少。 不过合计吞吐好看，摊到每一路和长上下文下的延迟才是真正决定能不能用… · @xiaoshan0413 · TwKit

@xiaoshan0413

单张 3090 就能把 27B 跑出 64 路并发，这个门槛确实把本地大模型拉近了不少。 不过合计吞吐好看，摊到每一路和长上下文下的延迟才是真正决定能不能用的地方。 两条命令就能起也很关键，省下的折腾时间比跑分本身更值得关注。

曝光 16 · 评论 1 · 点赞 0 · 书签 0