Meta 新开源的 Muse Spark Open，总参数 816B、激活参数 42B。 很多人看到可以在 Mac 上本地运行，就想试一下。 但这个模型对内… · @byCanen · TwKit

@byCanen

Meta 新开源的 Muse Spark Open，总参数 816B、激活参数 42B。 很多人看到可以在 Mac 上本地运行，就想试一下。 但这个模型对内存的要求非常高。 Hugging Face 已经提供 MLX 量化版本，例如： mlx-community/Muse-Spark-Open-816B-A42B-oQ3e 这个模型的权重文件就有 300 多 GiB，还需要为推理运行时和 KV Cache 留内存。 如果你有 512GB 统一内存的 Apple Silicon Mac，可以按官方文档尝试： uv tool install mlx-lm 然后： mlx_lm.generate --model mlx-community/Muse-Spark-Open-816B-A42B-oQ3e --prompt "Explain how transformers work" --max-tokens 200 第一次会下载大量模型文件。 另外还有 llama.cpp 的 GGUF 版本，官方给出了 Q2_K 的启动命令： llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K 不过别直接看到 Q2 就认定 256GB 电脑一定能跑。Hugging Face 公布的 512GB Mac 测试中，2-bit 版本实际使用约 304GB 内存。 普通 24GB、32GB、64GB 电脑不适合直接照搬这些命令。 官方说明：https://huggingface.co/blog/meta-muse-spark-open

曝光 49 · 评论 0 · 点赞 0 · 书签 0