英伟达开源了小模型 Nemotron 3.5 Bolt E4B 4GB，在目标场景下约 4GB 显存就能在本地跑对话和工具调用。 它在 Gemma 4 E4… · @Moblacksoil · TwKit

@Moblacksoil

英伟达开源了小模型 Nemotron 3.5 Bolt E4B 4GB，在目标场景下约 4GB 显存就能在本地跑对话和工具调用。 它在 Gemma 4 E4B 基础上做了后训练，总参数 8B、有效 4B，上下文 64K，能在多轮对话里调用工具办事，面向语音助手、游戏 NPC 和机器人。视频里的 Reachy Mini 边聊边动，对话交给 Bolt、视觉交给 NVIDIA Cosmos，两个模型都跑在 8GB 的 Jetson Orin Nano 上。官方实测在 RTX 5070 上、输入 3K 输出 50 个 token 时占 3.5GB 显存，每秒生成约 133 个 token。

曝光 195 · 评论 1 · 点赞 2 · 书签 0