NVIDIA 开源了专为本地语音 Agent、游戏 NPC 与具身机器人设计的轻量端侧大模型 —— Nemotron 3.5 Bolt E4B (4GB)！… · @realfxw · TwKit

@realfxw

NVIDIA 开源了专为本地语音 Agent、游戏 NPC 与具身机器人设计的轻量端侧大模型 —— Nemotron 3.5 Bolt E4B (4GB)！ 以往在边缘设备运行实时对话交互，往往受制于延迟、显存和口语化表达质量，而这次 NVIDIA 针对端侧场景打磨出了一套极具竞争力的开源方案： 🔥 纯 RL 训练与精简架构 训练范式：基于 Google Gemma 4 E4B 底座，采用纯强化学习（RL-only）后训练，完全跳过传统 SFT。模型权重、数据与训练配方均在 OpenMDW-1.1 协议下完全开源。 参数规格：总参数 8B，有效参数 4B，并支持高达 64K 的上下文窗口。 🎙️ 专为语音和 Agent 定制的实用功能 语音就绪输出：内置专用的 conversational_mode 开关，可直接生成适合 TTS 朗读的简短精炼回复，大幅压低语音交互延迟。 延迟可控推理：支持运行时“思考预算”（Thinking Budget）配置，可在复杂推理与快速响应之间自由平衡，防止语音交互发生长时间停顿。 原生工具调用：全面支持多轮工具调用，并提供异步 Tool Calling 引导机制。 ⚡ 亮眼的本地实测数据 基准测试：在与 Gemma 4 E4B、Qwen3.5-4B 和 Nemotron 3 Nano 4B 的对比中，拿下了 21 项测试中的 15 项第一；指令遵循（IHEval）取得 84.8 分的高分（远超 Gemma 4 E4B 的 67.0 与 Qwen3.5-4B 的 60.6）。 RTX 5070 表现：搭配 DFlash 吞吐量高达 272.6 tokens/s；在 Q4_K_M 量化下，首字延迟（TTFT）仅 548 ms，生成速度为 133.4 tokens/s，仅消耗 3.5 GB 显存。 边缘设备实测：在 Jetson Orin Nano 8GB 上仅占用 4.2 GB 显存，即可实现 15.5 tokens/s 的稳定本地推理。 目前该模型可在 GeForce RTX、Jetson、RTX Spark 与 DGX Spark 硬件上运行，并在 Ollama、LM Studio、Unsloth 与 NVIDIA NIM 同步上线。 🔗 核心资源链接： 模型获取：http://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 详细解读：https://www.marktechpost.com/2026/10/23/nvidia-nemotron-3-5-bolt-e4b-4gb/ 论文资料：http://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-Technical-Report.pdf 接入指引：http://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB #AI #NVIDIA #OpenSource #VoiceAI #LLM #EdgeComputing

曝光 35 · 评论 1 · 点赞 1 · 书签 0