克隆自己的声音并唱歌,克隆自己的声音转ai
下面这篇文章是杰克崔写的。
今天给大家介绍一个算法。
AI算法可以在5秒内克隆出你的声音。你相信吗?
听这个音频,你猜是AI合成音还是真人录音?
答案是:AI合成。
这个人的原声在这里:
你给这个克隆声音的AI算法打多少分?
以上两个音频,是算法运行的效果:
如果录一段音频,5s内可以根据输入的文字自动生成对应的合成音。
突然有个大胆的想法,你说如果我女朋友突然否认说了什么,我就给她抄一份!
兄弟们,我做的对吗?
嘲鸫
该算法基于著名的实时语音克隆。
《知更鸟》是最近开源的中文版。
论文的名字是:
从说话人确认到多说话人文本语音合成的迁移学习
简要介绍:
该算法分为三个模块:编码器模块、合成器模块和声码器模块。
编码器模块将说话人的声音转换成说话人嵌入。
合成模块将文本转换成mel谱图。
声码器模块将mel谱图转换成波形。
具体算法原理,可以先看论文:
https://arxiv.org/pdf/1806.04558.pdf
今天主要讲讲这个算法怎么玩。
项目地址:https://github.com/babysor/MockingBird
如果你有很深的学习基础,这个应该不难。
是部署环境,分为四个步骤:
Anaconda配置Pytorch开发环境
根据项目需求安装第三方库依赖项
下载重量文件
下载训练集,这几十G,有点大
具体配置方法见此:
https://github.com/babysor/MockingBird/blob/main/README-CN.md
环境设置好之后,您就可以运行代码了。
有两种启动模式,Web模式和工具箱模式。
在项目根目录下运行:
PythonWeb.py可以打开Web,打开地址http://localhost:8080即可操作。
这个界面比较简单,建议使用工具箱模式。
python demo _ toolbox . py-d datasets _ root datasets _ root是下载的数据集的地址。
好好享受吧!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。