不过其实让我领悟到 inference stack 应该走向软硬件一体设计的还是之前造 8 卡 170HX 预算的时候。 这个卡在国庆节之前只有破解后 PC… · @realWeZZard · TwKit

@realWeZZard

不过其实让我领悟到 inference stack 应该走向软硬件一体设计的还是之前造 8 卡 170HX 预算的时候。 这个卡在国庆节之前只有破解后 PCIe 2×16 的接口速度，也没有 NVLink，我在和 AI 一起做 8 卡推理集群设计的时候演算出流水线并行会比张量并行更好。 但是这个时候就会在长上下文 cold prefill 的时候出现瓶颈。当时就想到了可以将 KV Cache offload 到内存和 SSD 中，做一个 LRU Cache。这样只有结束了很久的长上下文 session 才可能遭遇 cold prefill。 最后因为性能之外的原因，比如持有成本、流动性、锁定成本，以及很有可能占用我的真实时间来优化单个模型的 inference stack 而放弃了购买。当然这张卡锻炼得太厉害，有部分炒卡的商人也分不清这个卡需要 CPU 供电而使用 GPU 电源接口去进行测试导致市面上有卡成批地烧掉也是另外的原因。 不过目前听说这张卡已经破解了 ECC、PCIe 4.0 ×16 以及 NVLink 并且又解锁了一批计算核心。我看了一下价格又翻倍了。 不过我并不觉得有什么可惜的。因为 Opus 5.5 真的太强了。而且 Opus 5.5 挂到 medium 就强得可怕了。我第一次两个 Claude Max 账号一周都用不完，还让我根本没有时间用 ChatGPT Pro 订阅。 如果是将高价值的线上模型流程替换成本地模型的话 8 卡 T10 + 2x DGX Spark 也已经够了。

曝光 283 · 评论 0 · 点赞 4 · 书签 0