Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
015941a8
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
1 年多 前同步成功
通知
283
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
015941a8
编写于
6月 21, 2019
作者:
W
wuzewu
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update text-cls and seq-label demo
上级
e93b3b67
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
56 addition
and
69 deletion
+56
-69
demo/sequence-labeling/README.md
demo/sequence-labeling/README.md
+28
-25
demo/text-classification/README.md
demo/text-classification/README.md
+28
-21
demo/text-classification/simple_demo.py
demo/text-classification/simple_demo.py
+0
-23
未找到文件。
demo/sequence-labeling/README.md
浏览文件 @
015941a8
...
...
@@ -72,29 +72,7 @@ SequenceLabelReader中的`data_generator`会自动按照模型对应词表对数
**NOTE**
: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```
python
sequence_output
=
outputs
[
"sequence_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
label
.
name
]
seq_label_task
=
hub
.
create_seq_label_task
(
feature
=
sequence_output
,
max_seq_len
=
args
.
max_seq_len
,
num_classes
=
dataset
.
num_labels
)
```
**NOTE:**
1.
`outputs["sequence_output"]`
返回了ERNIE/BERT模型输入单词的对应输出,可以用于单词的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与SequenceLabelReader返回的结果一致。
3.
`create_seq_label_task`
通过输入特征,迁移的类别数,可以生成适用于文本分类的迁移任务
`seq_label_task`
### Step4:选择优化策略并开始Finetune
### Step3:选择优化策略和运行配置
```
python
strategy
=
hub
.
AdamWeightDecayStrategy
(
...
...
@@ -105,8 +83,6 @@ strategy = hub.AdamWeightDecayStrategy(
)
config
=
hub
.
RunConfig
(
use_cuda
=
True
,
num_epoch
=
3
,
batch_size
=
32
,
strategy
=
strategy
)
hub
.
finetune_and_eval
(
task
=
cls_task
,
data_reader
=
reader
,
feed_list
=
feed_list
,
config
=
config
)
```
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略
`AdamWeightDecayStrategy`
...
...
@@ -129,6 +105,33 @@ hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, co
*
`enable_memory_optim`
: 是否使用内存优化, 默认为True
*
`strategy`
: Finetune优化策略
### Step4: 构建网络并创建序列标注迁移任务进行Finetune
```
python
sequence_output
=
outputs
[
"sequence_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
label
.
name
]
seq_label_task
=
hub
.
SequenceLabelTask
(
data_reader
=
reader
,
feature
=
sequence_output
,
feed_list
=
feed_list
,
max_seq_len
=
args
.
max_seq_len
,
num_classes
=
dataset
.
num_labels
,
config
=
config
)
seq_label_task
.
finetune_and_eval
()
```
**NOTE:**
1.
`outputs["sequence_output"]`
返回了ERNIE/BERT模型输入单词的对应输出,可以用于单词的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与SequenceLabelReader返回的结果一致。
3.
`create_seq_label_task`
通过输入特征,迁移的类别数,可以生成适用于文本分类的迁移任务
`seq_label_task`
## VisualDL 可视化
Finetune API训练过程中会自动对关键训练指标进行打点,启动程序后执行下面命令
...
...
demo/text-classification/README.md
浏览文件 @
015941a8
...
...
@@ -82,25 +82,7 @@ ClassifyReader中的`data_generator`会自动按照模型对应词表对数据
**NOTE**
: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```
python
pooled_output
=
outputs
[
"pooled_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
label
.
name
]
cls_task
=
hub
.
create_text_cls_task
(
feature
=
pooled_output
,
num_classes
=
dataset
.
num_labels
)
```
**NOTE:**
1.
`outputs["pooled_output"]`
返回了ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与ClassifyReader返回的结果一致。
3.
`create_text_cls_task`
通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务
`cls_task`
### Step4:选择优化策略并开始Finetune
### Step3:选择优化策略和运行配置
```
python
strategy
=
hub
.
AdamWeightDecayStrategy
(
...
...
@@ -111,9 +93,8 @@ strategy = hub.AdamWeightDecayStrategy(
)
config
=
hub
.
RunConfig
(
use_cuda
=
True
,
num_epoch
=
3
,
batch_size
=
32
,
strategy
=
strategy
)
hub
.
finetune_and_eval
(
task
=
cls_task
,
data_reader
=
reader
,
feed_list
=
feed_list
,
config
=
config
)
```
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略
`AdamWeightDecayStrategy`
...
...
@@ -135,6 +116,32 @@ hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, co
*
`enable_memory_optim`
: 是否使用内存优化, 默认为True
*
`strategy`
: Finetune优化策略
### Step4: 构建网络并创建分类迁移任务进行Finetune
```
python
pooled_output
=
outputs
[
"pooled_output"
]
# feed_list的Tensor顺序不可以调整
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
]
cls_task
=
hub
.
TextClassifierTask
(
data_reader
=
reader
,
feature
=
pooled_output
,
feed_list
=
feed_list
,
num_classes
=
dataset
.
num_labels
,
config
=
config
)
cls_task
.
finetune_and_eval
()
```
**NOTE:**
1.
`outputs["pooled_output"]`
返回了ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。
2.
`feed_list`
中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与ClassifyReader返回的结果一致。
3.
`create_text_cls_task`
通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务
`cls_task`
## VisualDL 可视化
Finetune API训练过程中会自动对关键训练指标进行打点,启动程序后执行下面命令
...
...
demo/text-classification/simple_demo.py
已删除
100644 → 0
浏览文件 @
e93b3b67
import
paddle.fluid
as
fluid
import
paddlehub
as
hub
module
=
hub
.
Module
(
name
=
"ernie"
)
inputs
,
outputs
,
program
=
module
.
context
(
trainable
=
True
,
max_seq_len
=
128
)
reader
=
hub
.
reader
.
ClassifyReader
(
hub
.
dataset
.
ChnSentiCorp
(),
module
.
get_vocab_path
(),
max_seq_len
=
128
)
task
=
hub
.
create_text_cls_task
(
feature
=
outputs
[
"pooled_output"
],
num_classes
=
2
)
strategy
=
hub
.
AdamWeightDecayStrategy
(
learning_rate
=
5e-5
)
config
=
hub
.
RunConfig
(
use_cuda
=
True
,
num_epoch
=
3
,
batch_size
=
32
,
strategy
=
strategy
)
feed_list
=
[
inputs
[
"input_ids"
].
name
,
inputs
[
"position_ids"
].
name
,
inputs
[
"segment_ids"
].
name
,
inputs
[
"input_mask"
].
name
,
task
.
variable
(
"label"
).
name
]
hub
.
finetune_and_eval
(
task
,
reader
,
feed_list
,
config
)
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录