🔥哇塞！手机也能跑本地AI模型了！英伟达Nemotron-3.5-Bolt-E4B正式发布，仅需6GB内存本地跑通！ 英伟达开源新小模型 Nemotron-… · @NFT_Chen · TwKit

@NFT_Chen

🔥哇塞！手机也能跑本地AI模型了！英伟达Nemotron-3.5-Bolt-E4B正式发布，仅需6GB内存本地跑通！ 英伟达开源新小模型 Nemotron-3.5-Bolt-E4B，基于Gemma 4 E4B后训练，8B/有效约4B。 核心亮点： 🔹仅6GB内存本地运行，适合手机/边缘设备 🔹64K上下文 + 多轮工具调用 + 可配置推理/对话模式 🔹输出token比同类少约80%，对话质量显著提升 🔹开源（OpenMDW-1.1），GGUF量化即开即用 快速上手： 1️⃣下载GGUF：官方 https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 或Unsloth版 https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 2️⃣用Ollama（ollama run nemotron-3.5-bolt:e4b）、llama.cpp、Unsloth Desktop或LM Studio加载 3️⃣推荐参数：temperature 1.0 + top_p 0.95（可开关推理模式） 4️⃣低内存设备建议从4K-8K上下文起步 本地隐私AI真正下放到手机了！谁先跑起来分享？ 指南：https://unsloth.ai/docs/models/nemotron-3.5-bolt 
官方详情：https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/ #Nemotron #NVIDIA #LocalAI #EdgeAI #开源AI #手机AI #英伟达 #本地部署

曝光 552 · 评论 6 · 点赞 16 · 书签 11