12GB显卡能跑763B确实把本地部署的门槛拉低了不少，但更值得看的是压缩后在长上下文和实际推理速度上的表现，跑得起来和跑得好用还是两回事。 · @xiaoshan0413 · TwKit

@xiaoshan0413

12GB显卡能跑763B确实把本地部署的门槛拉低了不少，但更值得看的是压缩后在长上下文和实际推理速度上的表现，跑得起来和跑得好用还是两回事。

曝光 3 · 评论 0 · 点赞 1 · 书签 0