Colab运行开源语音模型的体验
AI科技 · 2 篇公开推文 · 2 位作者 · 曝光 63514 · 评论 50 · 点赞 876 · 书签 1034
推文介绍使用Google AI Pro中的高级Colab，在云端运行开源IndexTTS，以及在Mac上进行音频转写的速度表现。
创作角度
- 语音克隆的本地或云端运行速度
- Colab算力和成本门槛
- 开源语音克隆模型的可用性
- 个人数据与声音授权
相关公开推文
有人把谷歌EmbeddingGemma 2改造成了语音识别模型，实现了非常惊人的端侧推理速度，快得离谱 M3 MacBook Air，1小时音频转写约13秒，处理速度288× WER 5%，领先的STT在2%～3%，如果后续reader迭代能把WER压到3%以下，估计专用端侧STT市场要重新洗牌了 传统STT需要专门训练一个声音→文字生成模型，但是今天，EmbeddingGemma 2已经能把文本、图片、音频和视频映射到同一个语义空间，让声音的“你好”和文字的“你好”在向量空间中相互靠近 于是网友在不修改EmbeddingGemma 2参数的情况下，只在上面训练一个轻量Reader，把音频切片编码成向量后，直接在模型的文本空间里检索最近的词，把转录从生成问题变成了检索问题，把它“歪”成了一个语音转文字模型 目前5%的WER，用在容错要求相对较高的比如说会议录音整理、采访转写、语音笔记、视频字幕初稿等场景，有一定的实用潜力 来自 @TslShahir #EmbeddingGemma2 #STT #语音转文字
曝光 33433 · 评论 25 · 点赞 615 · 书签 667
查看原帖Google AI Pro 里包含的高级 Colab 真好用啊，特别适合 Mac 用户 我用 Colab，在云端 L4 上跑通了开源语音克隆 IndexTTS 2.5 🎙️ 实测：34.69 秒音频，合成约 35 秒，接近实时 L4 24G 运行 1小时 花费 1.54 CU Pro 用户有 200 CU，也就是能跑 130 小时（如果你之前没有，查询可能是 400 CU） 如果你是尊贵的 200 刀 Ultra 会员，L4 能跑 1300 小时 最近很火的 YuE2，我也是让它在 Colab 上跑的，非常方便
曝光 33123 · 评论 25 · 点赞 261 · 书签 367
查看原帖