推文

@Yayoi_no_yume · 2026-10-16 00:45

我有一张孱弱的NV显卡，920MX。 2G显存，最新驱动永远停在了586。 我曾经想在上面运行qwen3-embedding0.6B-q8。 然后发现显存占用最低也要2.3G。 今天我注意到Ollama修复了embeddinggemma2的MLX问题(实际上应该就是官方标签打错了导致命令下载了错误的模型) 果断切换到了EG2，这个上下文8k的多模态嵌入模型，可以动态地加载参数，当处理纯文本时，只占用1.7G显存。 它是我的救星。

曝光 1287 · 评论 1 · 点赞 14 · 书签 2 · 曝光/时 124.92223410483746