llama.cpp 刚提了一个 PR，专门给 Gemma 4 的两个小模型 E2B、E4B 提速。 简单说：这两个模型上面有好几层，是直接借用前面层存好的内… · @luokelabs · TwKit

@luokelabs

llama.cpp 刚提了一个 PR，专门给 Gemma 4 的两个小模型 E2B、E4B 提速。 简单说：这两个模型上面有好几层，是直接借用前面层存好的内容，自己不往里写东西。可现在 llama.cpp 读长输入时，这几层还是把每个 token 都算一遍，等于白干活。这个 PR 让它们读输入时只算最后一个 token。 作者在 M4 Pro 上用 Metal 跑 Google 官方的 Q4_0 量化： - E2B 读 512 token 的输入，从每秒 1614 个涨到 4603 个，快了差不多 2.9 倍 - E4B 从 806 涨到 1319 - 出字速度基本不变（E2B 约 110 tok/s）；26B 没有变化，因为它每一层都要写。 在 Mac 上跑小模型，最磨人的往往是长输入「先读完、再开口」那几秒，这个改动正好落在这一段。PR 还没合并，作者说文字、图片、音频输入的输出都和原来一致。 https://github.com/ggml-org/llama.cpp/pull/31356

曝光 60 · 评论 1 · 点赞 2 · 书签 0