DGX Spark 和 Mac 怎么选，先看你的活是读得多还是写得多。 同一个 Qwen3.8-27B Q4 文件，llama.cpp，单路，DGX Spa… · @wei_wang · TwKit

@wei_wang

DGX Spark 和 Mac 怎么选，先看你的活是读得多还是写得多。 同一个 Qwen3.8-27B Q4 文件，llama.cpp，单路，DGX Spark 对 M4 Max 128GB 的 MacBook Pro： 64K 上下文、回答 2K token，Spark 5 分钟、17 kJ，Mac 10 分钟、23 kJ。 4K prompt、回答 8K token，Spark 12 分钟、33 kJ，Mac 7 分钟、19 kJ。 Spark 读得快，prefill 在每个上下文长度都快 2.7 到 6.5 倍。64K 上下文，Spark 88 秒开始出字，Mac 要 7 分半。 Mac 写得快，32K 以内 decode 快 1.7 倍左右。M4 Max 内存带宽 546 GB/s，Spark 是 273 GB/s，decode 主要吃带宽。 两边同时跑完的回答长度，随上下文变长一路往上走。4K 上下文时 457 token，32K 时 4071，128K 时 5.88 万。到 256K，Spark 每个请求都赢。 跑 agent 写代码，每轮带几万 token 上下文、回答几百到几千 token，这是 Spark 的强项。上下文短、生成长的聊天和写作，Mac 更快也更省电。 这组数据只算了芯片功耗，没算插座。Spark 跑的是 llama-server，Mac 跑的是 llama-bench，配平的重测还在排队。

曝光 140 · 评论 1 · 点赞 0 · 书签 0