Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
dcbf67fb
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
dcbf67fb
编写于
5月 20, 2022
作者:
P
pfZhu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
modify readme.txt
上级
2368d3b6
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
10 addition
and
2 deletion
+10
-2
ernie-sat/.meta/framework.png
ernie-sat/.meta/framework.png
+0
-0
ernie-sat/README.md
ernie-sat/README.md
+10
-2
未找到文件。
ernie-sat/.meta/framework.png
0 → 100644
浏览文件 @
dcbf67fb
300.8 KB
ernie-sat/README
_zh
.md
→
ernie-sat/README.md
浏览文件 @
dcbf67fb
ERNIE-SAT是可以同时处理中英文的跨语言的语音-语言跨模态大模型,其在语音编辑、个性化语音合成以及跨语言的语音合成等多个任务取得了领先效果。可以应用于语音编辑、个性化合成、语音克隆、同传翻译等一系列场景,该项目供研究使用。
## 模型框架
ERNIE-SAT中我们提出了两项创新:
在预训练过程中将中英双语对应的音素作为输入,实现了跨语言、个性化的软音素映射;
采用语言和语音的联合掩码学习实现了语言和语音的对齐:
![
framework
](
.meta/framework.png
)
## 使用说明
...
...
@@ -7,7 +15,7 @@
### 2.预训练模型
预训练模型ERNIE-SAT的模型如下所示
(链接暂无)
:
预训练模型ERNIE-SAT的模型如下所示:
-
[
ERNIE-SAT_ZH
](
http://bj.bcebos.com/wenxin-models/model-ernie-sat-base-zh.tar.gz
)
-
[
ERNIE-SAT_EN
](
http://bj.bcebos.com/wenxin-models/model-ernie-sat-base-en.tar.gz
)
-
[
ERNIE-SAT_ZH_and_EN
](
http://bj.bcebos.com/wenxin-models/model-ernie-sat-base-en_zh.tar.gz
)
...
...
@@ -41,7 +49,7 @@ unzip fastspeech2_nosil_ljspeech_ckpt_0.5.zip
### 4.推理
我们目前只开源了语音编辑、个性化语音合成、跨语言语音合成的推理代码,后续会逐步开源。
注:当前采用的声码器版本与
模型训练时版本
(https://github.com/kan-bayashi/ParallelWaveGAN)在英文上存在差异,您可使用模型训练时版本作为您的声码器,模型将在后续更新中升级。
注:当前采用的声码器版本与
[模型训练时版本]
(https://github.com/kan-bayashi/ParallelWaveGAN)在英文上存在差异,您可使用模型训练时版本作为您的声码器,模型将在后续更新中升级。
我们提供特定音频文件, 以及其对应的文本、音素相关文件:
-
prompt_wav: 提供的音频文件
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录