428B 大模型通过量化压到更低内存，能在更多普通硬件上本地跑起来，特别提到了不同团队在 2-bit 权重、GPU 内存管理、Apple Silicon 和… · @CrownsGod99 · TwKit

@CrownsGod99

428B 大模型通过量化压到更低内存，能在更多普通硬件上本地跑起来，特别提到了不同团队在 2-bit 权重、GPU 内存管理、Apple Silicon 和 AMD 卡上的具体优化方案。 以及 在RTX 3090 这类卡上跑大模型，还有量化后编码

曝光 116 · 评论 2 · 点赞 2 · 书签 0