本地跑大模型，总被 Python 环境折腾？ TensorFold 是 Zig 写的推理引擎，单二进制就能跑，Mac 走 Metal、N 卡走 CUDA。 … · @xiaoanlab · TwKit

@xiaoanlab

本地跑大模型，总被 Python 环境折腾？ TensorFold 是 Zig 写的推理引擎，单二进制就能跑，Mac 走 Metal、N 卡走 CUDA。 适合想自搭本地模型服务的，brew 一条命令装上。 你本地跑模型用哪个工具？ #LLM #本地推理 @grok https://github.com/ashhart/TensorFold

曝光 6 · 评论 0 · 点赞 1 · 书签 0