🤯 有人想把 AI 推理的整套技术栈，塞进一个开源项目里。 以前想高性能部署大模型，模型框架、推理引擎、GPU 算子、硬件适配，往往得自己拼一套。 Modu… · @0xKillCoin · TwKit

@0xKillCoin

🤯 有人想把 AI 推理的整套技术栈，塞进一个开源项目里。 以前想高性能部署大模型，模型框架、推理引擎、GPU 算子、硬件适配，往往得自己拼一套。 Modular 想换个思路：从底层计算到模型服务，尽量用同一套技术栈搞定。 它的核心有两块： 🔥 Mojo：面向 AI 的高性能编程语言 语法接近 Python，同时提供更底层的内存和硬件控制能力。开发者可以直接编写 GPU Kernel，不必所有底层优化都依赖 C++、CUDA 或 HIP。 ⚡ MAX：模型推理与部署框架 内置大量优化算子和模型管线，支持通过 OpenAI 兼容接口提供推理服务。现有应用只要使用兼容的 API，就有机会直接接入，不必重写整个客户端。 更关键的是硬件覆盖。 NVIDIA、AMD、Apple Silicon 都在它的支持范围内。同一套技术栈可以面向不同硬件部署，减少针对不同厂商重复适配的工作。 对于需要自托管大模型、优化推理成本，或者自己开发底层算子的团队，这套方案值得研究。 当然，它不是零门槛的 Ollama 替代品。想折腾底层性能、定制模型管线的人会更有收获；只想下载模型直接聊天，没必要上来就研究 Mojo。 它真正想解决的，不是怎么把模型跑起来，而是怎么把从 GPU 算子到推理服务的整条链路掌握在自己手里。 GitHub：https://github.com/modular/modular 详细解读：https://mp.weixin.qq.com/s/-ldOsUP2qLPo7QKWSpQ4-Q

曝光 22 · 评论 1 · 点赞 1 · 书签 0