763B 的 DeepSeek 能在 12G 显卡上跑了。 DASLab 用 2bit 量化搭 Strata 引擎，在 RTX 3060 上每秒跑 6 到 … · @LanzhiAI · TwKit

@LanzhiAI

763B 的 DeepSeek 能在 12G 显卡上跑了。 DASLab 用 2bit 量化搭 Strata 引擎，在 RTX 3060 上每秒跑 6 到 9 个 token。虽说要吃 46G 内存和 239G 硬盘，但消费级硬件跑千亿大模型的门槛真被砸穿了。 #DeepSeek #开源AI

曝光 189 · 评论 6 · 点赞 1 · 书签 0