🗣️ Drama 3 能把一段标好角色的文本直接配成整场对话，最多 16 个人轮着说话，声音互不串台。 模型由 Fish Audio 开源，Hugging … · @Ryrenz · TwKit

@Ryrenz

🗣️ Drama 3 能把一段标好角色的文本直接配成整场对话，最多 16 个人轮着说话，声音互不串台。 模型由 Fish Audio 开源，Hugging Face 上 647 个赞，10 月 18 日上了 Hugging Face 的热门趋势。对应技术报告 arXiv 2610.18010，16 位作者，在 Hugging Face 论文页拿了 31 个赞。 以前想做一段多人对白的有声剧，流程特别碎：一个角色一个角色单独合成，导出一堆音频片段，再进剪辑软件排顺序、调间隔、对情绪，中间谁的音色飘了还得回去重做那一段。Drama 3 把这些并成了一件事，文本里用 speaker:0 到 speaker:15 标好谁说哪句，它一次把整场对话生成出来。 长篇内容也不用自己切段，模型会自动分块，还能按块流式输出，一边生成一边往外送。想指定音色，给一段参考音频就能克隆；想让某句话带情绪，在文本里插一个情绪标签；已经出好的片段想往后接，它也能顺着前面的语气续写下去。 它快得起来是因为主干用的是 35B 参数的混合专家结构，每个 token 只激活 3B。官方在一块 NVIDIA H200 上测流式请求，单路并发下首次出声的中位数约 88.9 毫秒；技术报告里还称单流解码能到每秒 271 帧，而参数量只有它七分之一的 Fish Audio S2 是每秒 177 帧。 两点要提前知道：目前能跑它的推理框架只有 SGLang-Omni 和 vLLM-Omni 两套，35B 的体量摆在那儿，本地想跑得准备一张大显存的卡；许可证用的是 Fish Audio Community License，不是 Apache、MIT 那类宽松许可，商用前把条款看清楚。 做有声剧、做长篇播客的人，多角色对白这一步终于不用一条一条拼了。 Hugging Face：https://huggingface.co/fishaudio/drama-3

曝光 124 · 评论 0 · 点赞 1 · 书签 0