llama.cpp 发了 v0.9.0，这次更新内容不少 新加了 OCP FP8 E4M3 flash_attn_ext_rows 让统一 KV cache… · @YajunZhu36691 · TwKit

@YajunZhu36691

llama.cpp 发了 v0.9.0，这次更新内容不少 新加了 OCP FP8 E4M3 flash_attn_ext_rows 让统一 KV cache 跑多序列更省 新支持了 4 个架构，Clover、Limite、Metis-1.6 和 Mistral Large 4 音频也扩了，Chatterbox TTS 和 Nemotron 3.5 Transcribe 都接了进来 Gemma 4 E2B 和 E4B 的 prefill 做了大幅优化 底层 ggml 也升到了 v0.29.0 还加了 NCCL 多节点 tensor 并行 server 和界面也做了一轮修修补补 本地跑模型的人，这版可以升一下看看

曝光 20 · 评论 2 · 点赞 3 · 书签 0