Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
DeepSpeech
提交
382503fc
D
DeepSpeech
项目概览
PaddlePaddle
/
DeepSpeech
大约 1 年 前同步成功
通知
206
Star
8425
Fork
1598
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
245
列表
看板
标记
里程碑
合并请求
3
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
DeepSpeech
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
245
Issue
245
列表
看板
标记
里程碑
合并请求
3
合并请求
3
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
382503fc
编写于
9月 29, 2022
作者:
Y
YangZhou
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update READMe
上级
bf3eb498
变更
5
显示空白变更内容
内联
并排
Showing
5 changed file
with
18 addition
and
18 deletion
+18
-18
examples/tess/README.md
examples/tess/README.md
+14
-14
examples/tess/cls0/conf/panns_logmelspectrogram.yaml
examples/tess/cls0/conf/panns_logmelspectrogram.yaml
+1
-1
examples/tess/cls0/conf/panns_melspectrogram.yaml
examples/tess/cls0/conf/panns_melspectrogram.yaml
+1
-1
examples/tess/cls0/conf/panns_mfcc.yaml
examples/tess/cls0/conf/panns_mfcc.yaml
+1
-1
examples/tess/cls0/conf/panns_spectrogram.yaml
examples/tess/cls0/conf/panns_spectrogram.yaml
+1
-1
未找到文件。
examples/tess/README.md
浏览文件 @
382503fc
# 背景
模型任务与模型间接请参见 examples/esc50, 本目录是为了校验和测试 paddle.audio 的feature, backend等相关模块而建立.
TESS音频情绪分类任务.
从而校验和测试 paddle.audio 的feature, backend等相关模块.
本实验采用了PaddleSpeech提供了PANNs的CNN14的预训练模型进行finetune:
-
CNN14: 该模型主要包含12个卷积层和2个全连接层,模型参数的数量为 79.6M,embbedding维度是 2048。
`PANNs`
(
[
PANNs: Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition
](
https://arxiv.org/pdf/1912.10211.pdf
)
)是基于Audioset数据集训练的声音分类/识别的模型。经过预训练后,模型可以用于提取音频的embbedding。本示例将使用
`PANNs`
的预训练模型Finetune完成声音分类的任务。
## 数据集
...
...
@@ -8,20 +14,14 @@
## 模型指标
根据
`TESS`
提供的fold信息,对数据集进行 5-fold 的 fine-tune 2 epoch 训练和评估,dev准确率如下:
|Model|feat_type|Acc|
|--|--|--|
|CNN14| mfcc | 0.8304 |
|CNN14| logmelspectrogram | 0.9893 |
|CNN14| spectrogram| 0.1304 |
|CNN14| melspectrogram| 0.1339 |
根据
`TESS`
提供的fold信息,对数据集进行 5-fold 的 fine-tune 训练和评估,dev准确率如下:
因为是功能验证,所以只config中训练了 2 个epoch.
log_melspectrogram feature 在迭代 3 个epoch后, acc可以达到0.9983%.
mfcc feature 在迭代3个epoch后, acc可以达到0.9983%.
spectrogram feature 在迭代11个epoch后,acc可达0.95%.
melspectrogram feature 在迭代17个epoch后,acc可到0.9375%.
|Model|feat_type|Acc| note |
|--|--|--| -- |
|CNN14| mfcc | 0.9929 |3 epoch |
|CNN14| logmelspectrogram | 0.9983 | 3 epoch |
|CNN14| spectrogram| 0.95 | 11 epoch |
|CNN14| melspectrogram| 0.9375 | 17 epoch |
### 模型训练
...
...
examples/tess/cls0/conf/panns_logmelspectrogram.yaml
浏览文件 @
382503fc
...
...
@@ -23,7 +23,7 @@ feature:
n_mels
:
64
training
:
epochs
:
2
epochs
:
5
learning_rate
:
0.0005
num_workers
:
2
batch_size
:
128
...
...
examples/tess/cls0/conf/panns_melspectrogram.yaml
浏览文件 @
382503fc
...
...
@@ -23,7 +23,7 @@ feature:
n_mels
:
64
training
:
epochs
:
2
epochs
:
10
learning_rate
:
0.0005
num_workers
:
2
batch_size
:
128
...
...
examples/tess/cls0/conf/panns_mfcc.yaml
浏览文件 @
382503fc
...
...
@@ -24,7 +24,7 @@ feature:
n_mels
:
64
training
:
epochs
:
2
epochs
:
5
learning_rate
:
0.0005
num_workers
:
2
batch_size
:
128
...
...
examples/tess/cls0/conf/panns_spectrogram.yaml
浏览文件 @
382503fc
...
...
@@ -19,7 +19,7 @@ feature:
window
:
'
hann'
training
:
epochs
:
2
epochs
:
10
learning_rate
:
0.0005
num_workers
:
2
batch_size
:
128
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录