提交 015941a8 编写于 作者: W wuzewu

Update text-cls and seq-label demo

上级 e93b3b67
......@@ -72,29 +72,7 @@ SequenceLabelReader中的`data_generator`会自动按照模型对应词表对数
**NOTE**: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```python
sequence_output = outputs["sequence_output"]
# feed_list的Tensor顺序不可以调整
feed_list = [
inputs["input_ids"].name, inputs["position_ids"].name,
inputs["segment_ids"].name, inputs["input_mask"].name, label.name
]
seq_label_task = hub.create_seq_label_task(
feature=sequence_output,
max_seq_len=args.max_seq_len,
num_classes=dataset.num_labels)
```
**NOTE:**
1. `outputs["sequence_output"]`返回了ERNIE/BERT模型输入单词的对应输出,可以用于单词的特征表达。
2. `feed_list`中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与SequenceLabelReader返回的结果一致。
3. `create_seq_label_task`通过输入特征,迁移的类别数,可以生成适用于文本分类的迁移任务`seq_label_task`
### Step4:选择优化策略并开始Finetune
### Step3:选择优化策略和运行配置
```python
strategy = hub.AdamWeightDecayStrategy(
......@@ -105,8 +83,6 @@ strategy = hub.AdamWeightDecayStrategy(
)
config = hub.RunConfig(use_cuda=True, num_epoch=3, batch_size=32, strategy=strategy)
hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, config=config)
```
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略`AdamWeightDecayStrategy`
......@@ -129,6 +105,33 @@ hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, co
* `enable_memory_optim`: 是否使用内存优化, 默认为True
* `strategy`: Finetune优化策略
### Step4: 构建网络并创建序列标注迁移任务进行Finetune
```python
sequence_output = outputs["sequence_output"]
# feed_list的Tensor顺序不可以调整
feed_list = [
inputs["input_ids"].name, inputs["position_ids"].name,
inputs["segment_ids"].name, inputs["input_mask"].name, label.name
]
seq_label_task = hub.SequenceLabelTask(
data_reader=reader,
feature=sequence_output,
feed_list=feed_list,
max_seq_len=args.max_seq_len,
num_classes=dataset.num_labels,
config=config)
seq_label_task.finetune_and_eval()
```
**NOTE:**
1. `outputs["sequence_output"]`返回了ERNIE/BERT模型输入单词的对应输出,可以用于单词的特征表达。
2. `feed_list`中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与SequenceLabelReader返回的结果一致。
3. `create_seq_label_task`通过输入特征,迁移的类别数,可以生成适用于文本分类的迁移任务`seq_label_task`
## VisualDL 可视化
Finetune API训练过程中会自动对关键训练指标进行打点,启动程序后执行下面命令
......
......@@ -82,25 +82,7 @@ ClassifyReader中的`data_generator`会自动按照模型对应词表对数据
**NOTE**: Reader返回tensor的顺序是固定的,默认按照input_ids, position_ids, segment_id, input_mask这一顺序返回。
### Step3: 构建网络并创建分类迁移任务
```python
pooled_output = outputs["pooled_output"]
# feed_list的Tensor顺序不可以调整
feed_list = [
inputs["input_ids"].name, inputs["position_ids"].name,
inputs["segment_ids"].name, inputs["input_mask"].name, label.name
]
cls_task = hub.create_text_cls_task(
feature=pooled_output, num_classes=dataset.num_labels)
```
**NOTE:**
1. `outputs["pooled_output"]`返回了ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。
2. `feed_list`中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与ClassifyReader返回的结果一致。
3. `create_text_cls_task`通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务`cls_task`
### Step4:选择优化策略并开始Finetune
### Step3:选择优化策略和运行配置
```python
strategy = hub.AdamWeightDecayStrategy(
......@@ -111,9 +93,8 @@ strategy = hub.AdamWeightDecayStrategy(
)
config = hub.RunConfig(use_cuda=True, num_epoch=3, batch_size=32, strategy=strategy)
hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, config=config)
```
#### 优化策略
针对ERNIE与BERT类任务,PaddleHub封装了适合这一任务的迁移学习优化策略`AdamWeightDecayStrategy`
......@@ -135,6 +116,32 @@ hub.finetune_and_eval(task=cls_task, data_reader=reader, feed_list=feed_list, co
* `enable_memory_optim`: 是否使用内存优化, 默认为True
* `strategy`: Finetune优化策略
### Step4: 构建网络并创建分类迁移任务进行Finetune
```python
pooled_output = outputs["pooled_output"]
# feed_list的Tensor顺序不可以调整
feed_list = [
inputs["input_ids"].name,
inputs["position_ids"].name,
inputs["segment_ids"].name,
inputs["input_mask"].name,
]
cls_task = hub.TextClassifierTask(
data_reader=reader,
feature=pooled_output,
feed_list=feed_list,
num_classes=dataset.num_labels,
config=config)
cls_task.finetune_and_eval()
```
**NOTE:**
1. `outputs["pooled_output"]`返回了ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。
2. `feed_list`中的inputs参数指名了ERNIE/BERT中的输入tensor的顺序,与ClassifyReader返回的结果一致。
3. `create_text_cls_task`通过输入特征,label与迁移的类别数,可以生成适用于文本分类的迁移任务`cls_task`
## VisualDL 可视化
Finetune API训练过程中会自动对关键训练指标进行打点,启动程序后执行下面命令
......
import paddle.fluid as fluid
import paddlehub as hub
module = hub.Module(name="ernie")
inputs, outputs, program = module.context(trainable=True, max_seq_len=128)
reader = hub.reader.ClassifyReader(
hub.dataset.ChnSentiCorp(), module.get_vocab_path(), max_seq_len=128)
task = hub.create_text_cls_task(feature=outputs["pooled_output"], num_classes=2)
strategy = hub.AdamWeightDecayStrategy(learning_rate=5e-5)
config = hub.RunConfig(
use_cuda=True, num_epoch=3, batch_size=32, strategy=strategy)
feed_list = [
inputs["input_ids"].name, inputs["position_ids"].name,
inputs["segment_ids"].name, inputs["input_mask"].name,
task.variable("label").name
]
hub.finetune_and_eval(task, reader, feed_list, config)
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册