Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
6945b910
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
大约 1 年 前同步成功
通知
282
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
6945b910
编写于
4月 14, 2019
作者:
Z
Zeyu Chen
提交者:
GitHub
4月 14, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update README.md
update readme of text-classification
上级
582ecfc9
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
40 addition
and
22 deletion
+40
-22
demo/text-classification/README.md
demo/text-classification/README.md
+40
-22
未找到文件。
demo/text-classification/README.md
浏览文件 @
6945b910
#
ERNIE
Classification
#
Text
Classification
本示例将展示如何使用PaddleHub Finetune API利用ERNIE完成分类任务。
其中分类任务可以分为两大类
本示例将展示如何使用PaddleHub Finetune API借助ERNIE模型完成分类任务。
其中分类任务可以分为两大类:
*
单句分类
-
中文情感分析任务 ChnSentiCorp
*
句对分类
-
语义相似度 LCQMC
-
检索式问答任务 NLPCC-DBQA
## 如何开始Finetune
在完成安装PaddlePaddle与PaddleHub后,通过执行脚本
`sh run_
sentiment_cls
.sh`
即可开始使用ERNIE对ChnSentiCorp数据集进行Finetune。
在完成安装PaddlePaddle与PaddleHub后,通过执行脚本
`sh run_
classifier
.sh`
即可开始使用ERNIE对ChnSentiCorp数据集进行Finetune。
其中脚本参数说明如下:
```
bash
--batch_size
: 批处理大小,请结合显存情况进行调整,若出现显存不足错误,请调低这一参数值
--weight_decay
:
--checkpoint_dir
: 模型保存路径,PaddleHub会自动保存验证集上表现最好的模型
# 模型相关
--batch_size
: 批处理大小,请结合显存情况进行调整,若出现显存不足,请适当调低这一参数
--learning_rate
: Finetune的最大学习率
--weight_decay
: 控制正则项力度的参数,用于防止过拟合,默认为0.01
--warmup_proportion
: 学习率warmup策略的比例,如果0.1,则学习率会在前10%训练step的过程中从0慢慢增长到learning_rate, 而后再缓慢衰减,默认为0
--num_epoch
: Finetune迭代的轮数
--max_seq_len
: ERNIE模型使用的最大序列长度,最大不能超过512, 若出现显存不足错误,请调低这一参数
--max_seq_len
: ERNIE/BERT模型使用的最大序列长度,最大不能超过512, 若出现显存不足,请适当调低这一参数
# 任务相关
--checkpoint_dir
: 模型保存路径,PaddleHub会自动保存验证集上表现最好的模型
--dataset
: 有三个参数可选,分别代表3个不同的分类任务
;
分别是 chnsenticorp, lcqmc, nlpcc_dbqa
```
## 代码步骤
...
...
@@ -52,52 +56,57 @@ BERT-Base, Chinese | `hub.Module(name='bert_chinese_L-12_H-768_A
```
python
# 更换name参数即可无缝切换BERT中文模型
# 更换name参数即可无缝切换BERT中文模型
, 代码示例如下
module
=
hub
.
Module
(
name
=
"bert_chinese_L-12_H-768_A-12"
)
```
### Step2: 准备数据集并使用ClassifyReader读取数据
```
python
dataset
=
hub
.
dataset
.
ChnSentiCorp
()
reader
=
hub
.
reader
.
ClassifyReader
(
dataset
=
hub
.
dataset
.
ChnSentiCorp
()
,
dataset
=
dataset
,
vocab_path
=
module
.
get_vocab_path
(),
max_seq_len
=
128
)
```
`hub.dataset.ChnSentiCorp()`
会自动从网络下载数据集并解压到用户目录下
`$HOME/.paddlehub/dataset`
目录
`module.get_vaocab_path()`
会返回
ERNIE/BERT
模型对应的词表
`module.get_vaocab_path()`
会返回
预训练
模型对应的词表
`max_seq_len`
需要与Step1中context接口传入的序列长度保持一致
`max_seq_len`
需要与Step1中context接口传入的序列长度保持一致
ClassifyReader中的
`data_generator`
会自动按照模型对应词表对数据进行切词,以迭代器的方式返回ERNIE/BERT所需要的Tensor格式,包括
`input_ids`
,
`position_ids`
,
`segment_id`
与序列对应的mask
`input_mask`
.
ClassifyReader中的
`data_generator`
会自动按照模型对应词表对数据进行切词,以迭代器的方式返回ERNIE/BERT所需要的Tensor格式,包括
`input_ids`
,
`position_ids`
,
`segment_id`
与序列对应的mask
`input_mask`
.
**NOTE**
: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```
python
with
fluid
.
program_guard
(
program
):
# NOTE: 必须使用fluid.program_guard接口传入Module返回的预训练模型program
# NOTE: 必须使用fluid.program_guard接口传入Module返回的预训练模型program
with
fluid
.
program_guard
(
program
):
label
=
fluid
.
layers
.
data
(
name
=
"label"
,
shape
=
[
1
],
dtype
=
'int64'
)
pooled_output
=
outputs
[
"pooled_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
label
.
name
]
cls_task
=
hub
.
create_text_cl
assification
_task
(
cls_task
=
hub
.
create_text_cl
s
_task
(
feature
=
pooled_output
,
label
=
label
,
num_classes
=
reader
.
get_num_labels
())
```
**NOTE:**
基于预训练模型的迁移学习网络搭建,必须在
`with fluid.program_gurad()`
作用域内组件网络
1.
`outputs["pooled_output"]`
返回了ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor
,以及labels
顺序,与ClassifyReader返回的结果一致。
3.
`create_text_cl
assification
_task`
通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务
`cls_task`
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor
的
顺序,与ClassifyReader返回的结果一致。
3.
`create_text_cl
s
_task`
通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务
`cls_task`
### Step4:选择优化策略并开始Finetune
```
python
strategy
=
hub
.
AdamWeightDecayStrategy
(
weight_decay
=
0.01
,
learning_rate
=
5e-5
,
weight_decay
=
0.01
,
warmup_proportion
=
0.0
,
warmup_strategy
=
"linear_warmup_decay"
,
)
...
...
@@ -105,7 +114,16 @@ config = hub.RunConfig(use_cuda=True, num_epoch=3, batch_size=32, strategy=strat
hub
.
finetune_and_eval
(
task
=
cls_task
,
data_reader
=
reader
,
feed_list
=
feed_list
,
config
=
config
)
```
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略。用户可以通过配置学习率,权重
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略
`AdamWeightDecayStrategy`
`learning_rate`
: Finetune过程中的最大学习率;
`weight_decay`
: 模型的正则项参数,默认0.01,如果模型有过拟合倾向,可适当调高这一参数;
`warmup_proportion`
: 如果warmup_proportion>0, 例如0.1, 则学习率会在前10%的steps中线性增长至最高值learning_rate;
`warmup_strategy`
: 有两种策略可选(1)
`linear_warmup_decay`
策略学习率会在最高点后以线性方式衰减;
`noam_decay`
策略学习率会在最高点以多项式形式衰减;
#### 运行配置
RunConfig
## 模型预测
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录