Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
Edaker
PaddleHub
提交
5cff9aa3
P
PaddleHub
项目概览
Edaker
/
PaddleHub
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleHub
通知
4
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
未验证
提交
5cff9aa3
编写于
4月 22, 2019
作者:
W
wuzewu
提交者:
GitHub
4月 22, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add readme for sequence-labeling demo
add readme for sequence-labeling demo
上级
d35b798a
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
153 addition
and
0 deletion
+153
-0
demo/sequence-labeling/README.md
demo/sequence-labeling/README.md
+153
-0
未找到文件。
demo/sequence-labeling/README.md
浏览文件 @
5cff9aa3
# PaddleHub 序列标注
## 如何开始Finetune
在完成安装PaddlePaddle与PaddleHub后,通过执行脚本
`sh run_predict.sh`
即可开始使用ERNIE对MSRA_NER数据集进行Finetune。
**由于ERNIE模型计算量较大,建议在GPU上使用,且显存需要大于14GB**
其中脚本参数说明如下:
```
bash
# 模型相关
--use_gpu
: 是否使用GPU,默认为False
--batch_size
: 批处理大小,请结合显存情况进行调整,若出现显存不足,请适当调低这一参数
--learning_rate
: Finetune的最大学习率
--weight_decay
: 控制正则项力度的参数,用于防止过拟合,默认为0.01
--warmup_proportion
: 学习率warmup策略的比例,如果0.1,则学习率会在前10%训练step的过程中从0慢慢增长到learning_rate, 而后再缓慢衰减,默认为0
--num_epoch
: Finetune迭代的轮数
--max_seq_len
: ERNIE/BERT模型使用的最大序列长度,最大不能超过512, 若出现显存不足,请适当调低这一参数
# 任务相关
--checkpoint_dir
: 模型保存路径,PaddleHub会自动保存验证集上表现最好的模型
```
## 代码步骤
使用PaddleHub Finetune API进行Finetune可以分为4个步骤
### Step1: 加载预训练模型
```
python
module
=
hub
.
Module
(
name
=
"ernie"
)
inputs
,
outputs
,
program
=
module
.
context
(
trainable
=
True
,
max_seq_len
=
128
)
```
其中最大序列长度
`max_seq_len`
是可以调整的参数,建议值128,根据任务文本长度不同可以调整该值,但最大不超过512。
如果想尝试BERT模型,只需要更换Module中的
`name`
参数即可.
PaddleHub还提供BERT模型可供选择, 所有模型对应的加载示例如下:
模型名 | PaddleHub Module
---------------------------------- | :------:
ERNIE, Chinese |
`hub.Module(name='ernie')`
BERT-Base, Uncased |
`hub.Module(name='bert_uncased_L-12_H-768_A-12')`
BERT-Large, Uncased |
`hub.Module(name='bert_uncased_L-24_H-1024_A-16')`
BERT-Base, Cased |
`hub.Module(name='bert_cased_L-12_H-768_A-12')`
BERT-Large, Cased |
`hub.Module(name='bert_cased_L-24_H-1024_A-16')`
BERT-Base, Multilingual Cased |
`hub.Module(nane='bert_multi_cased_L-12_H-768_A-12')`
BERT-Base, Chinese |
`hub.Module(name='bert_chinese_L-12_H-768_A-12')`
```
python
# 更换name参数即可无缝切换BERT中文模型, 代码示例如下
module
=
hub
.
Module
(
name
=
"bert_chinese_L-12_H-768_A-12"
)
```
### Step2: 准备数据集并使用ClassifyReader读取数据
```
python
dataset
=
hub
.
dataset
.
MSRA_NER
()
reader
=
hub
.
reader
.
SequenceLabelReader
(
dataset
=
dataset
,
vocab_path
=
module
.
get_vocab_path
(),
max_seq_len
=
128
)
```
其中数据集的准备代码可以参考
[
msra_ner.py
](
https://github.com/PaddlePaddle/PaddleHub/blob/develop/paddlehub/dataset/msra_ner.py
)
`hub.dataset.MSRA_NER()`
会自动从网络下载数据集并解压到用户目录下
`$HOME/.paddlehub/dataset`
目录
`module.get_vaocab_path()`
会返回预训练模型对应的词表
`max_seq_len`
需要与Step1中context接口传入的序列长度保持一致
SequenceLabelReader中的
`data_generator`
会自动按照模型对应词表对数据进行切词,以迭代器的方式返回ERNIE/BERT所需要的Tensor格式,包括
`input_ids`
,
`position_ids`
,
`segment_id`
与序列对应的mask
`input_mask`
.
**NOTE**
: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```
python
sequence_output
=
outputs
[
"sequence_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
label
.
name
]
seq_label_task
=
hub
.
create_seq_label_task
(
feature
=
sequence_output
,
max_seq_len
=
args
.
max_seq_len
,
num_classes
=
dataset
.
num_labels
)
```
**NOTE:**
1.
`outputs["sequence_output"]`
返回了ERNIE/BERT模型输入单词的对应输出,可以用于单词的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与SequenceLabelReader返回的结果一致。
3.
`create_seq_label_task`
通过输入特征,迁移的类别数,可以生成适用于文本分类的迁移任务
`seq_label_task`
### Step4:选择优化策略并开始Finetune
```
python
strategy
=
hub
.
AdamWeightDecayStrategy
(
learning_rate
=
5e-5
,
weight_decay
=
0.01
,
warmup_proportion
=
0.0
,
lr_scheduler
=
"linear_decay"
,
)
config
=
hub
.
RunConfig
(
use_cuda
=
True
,
num_epoch
=
3
,
batch_size
=
32
,
strategy
=
strategy
)
hub
.
finetune_and_eval
(
task
=
cls_task
,
data_reader
=
reader
,
feed_list
=
feed_list
,
config
=
config
)
```
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略
`AdamWeightDecayStrategy`
`learning_rate`
: Finetune过程中的最大学习率;
`weight_decay`
: 模型的正则项参数,默认0.01,如果模型有过拟合倾向,可适当调高这一参数;
`warmup_proportion`
: 如果warmup_proportion>0, 例如0.1, 则学习率会在前10%的steps中线性增长至最高值learning_rate;
`lr_scheduler`
: 有两种策略可选(1)
`linear_decay`
策略学习率会在最高点后以线性方式衰减;
`noam_decay`
策略学习率会在最高点以多项式形式衰减;
#### 运行配置
`RunConfig`
主要控制Finetune的训练,包含以下可控制的参数:
*
`log_interval`
: 进度日志打印间隔,默认每10个step打印一次
*
`eval_interval`
: 模型评估的间隔,默认每100个step评估一次验证集
*
`save_ckpt_interval`
: 模型保存间隔,请根据任务大小配置,默认只保存验证集效果最好的模型和训练结束的模型
*
`use_cuda`
: 是否使用GPU训练,默认为False
*
`checkpoint_dir`
: 模型checkpoint保存路径, 若用户没有指定,程序会自动生成
*
`num_epoch`
: finetune的轮数
*
`batch_size`
: 训练的批大小,如果使用GPU,请根据实际情况调整batch_size
*
`enable_memory_optim`
: 是否使用内存优化, 默认为True
*
`strategy`
: Finetune优化策略
## VisualDL 可视化
Finetune API训练过程中会自动对关键训练指标进行打点,启动程序后执行下面命令
```
bash
$
visualdl
--logdir
$CKPT_DIR
/vdllog
-t
${
HOST_IP
}
```
其中${HOST_IP}为本机IP地址,如本机IP地址为192.168.0.1,用浏览器打开192.168.0.1:8040,其中8040为端口号,即可看到训练过程中指标的变化情况
TODO: 新增截图
## 模型预测
通过Finetune完成模型训练后,在对应的ckpt目录下,会自动保存验证集上效果最好的模型。
配置脚本参数
```
CKPT_DIR=".ckpt_sequence_label/best_model"
python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128
```
其中CKPT_DIR为Finetune API保存最佳模型的路径, max_seq_len是ERNIE模型的最大序列长度,
*请与训练时配置的参数保持一致*
参数配置正确后,请执行脚本
`sh run_predict.sh`
,即可看到以下文本分类预测结果, 以及最终准确率。
如需了解更多预测步骤,请参考
`predict.py`
```
text=它折射出华夏文明的绚丽光环,使这片古老的土地更加异彩纷呈,充满魅力。 label=OOOOB-LOCI-LOCOOOOOOOOOOOOOOOOOOOOOOOOOOOO predict=OOOOOB-LOCI-LOCOOOOOOOOOOOOOOOOOOOOOOOOOOOOO
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录