想本地跑 24B 大模型，记住一个数：15G。 Liquid AI 刚开源的模型。 M5 Max 上 184 token/s，内存就吃 15G。 16G 的… · @deedee_kon45120 · TwKit

@deedee_kon45120

想本地跑 24B 大模型，记住一个数：15G。 Liquid AI 刚开源的模型。 M5 Max 上 184 token/s，内存就吃 15G。 16G 的机器装不下。 掉到 CPU 上跑，3.6 token/s，卡成 PPT。 买机别光看芯片。 内存才是门票。

曝光 2 · 评论 0 · 点赞 0 · 书签 0