推文

@Jolyne_AI · 2026-10-16 09:03

8GB 显存的游戏本，能否同时跑本地大模型和声音克隆？ gpu-duet 在一块 RTX 4060 笔记本显卡上，让 Gemma 4 E4B 和 Qwen3-TTS 1.7B 轮流用同一张卡，整卡显存占用大概 7.3GB。声音克隆只需要 3 到 10 秒录音，全程离线，一台 Windows 电脑就能跑。 可以当本地 HTTP 服务用，也可以直接给 ESP32 小智板子当离线语音服务端，板子说的话都是现场生成的。 作者优化之后，长回答的第一声从 6.2 秒降到了 2.1 秒，断音时间从 4.22 秒降到了 0.17 秒。 GitHub：https://github.com/korexil/gpu-duet

曝光 35 · 评论 0 · 点赞 0 · 书签 0 · 曝光/时 22.951515974448462