From 9e2108398f07c640dbdd18ad3a301c5913d056a0 Mon Sep 17 00:00:00 2001 From: Steffy-zxf <48793257+Steffy-zxf@users.noreply.github.com> Date: Thu, 2 Jan 2020 11:44:15 +0800 Subject: [PATCH] Fix demo docs (#297) * uniform file name convention * update version * update docs * update docs * update aistudio demo * update autodl docs * update autodl docs * update autodl docs * update autodl docs * update autodl docs * update autodl docs --- demo/README.md | 33 ++--- demo/autofinetune/README.md | 28 ---- .../README.md | 66 ++++++++++ .../hparam.yaml | 0 .../img_cls.py | 2 - .../run_autofinetune.sh | 0 .../README.md | 76 +++++++++++ .../hparam.yaml | 21 +++ .../run_autofinetune.sh | 10 ++ .../text_cls.py | 73 ++++------- demo/image_classification/README.md | 21 +-- demo/multi_label_classification/README.md | 21 +-- demo/qa_classification/README.md | 21 +-- demo/reading_comprehension/README.md | 21 +-- demo/regression/README.md | 21 +-- demo/senta/README.md | 21 +-- demo/sequence_labeling/README.md | 20 +-- demo/text_classification/README.md | 21 +-- tutorial/autofinetune-cv.md | 122 ------------------ tutorial/autofinetune.md | 21 +-- 20 files changed, 317 insertions(+), 302 deletions(-) delete mode 100644 demo/autofinetune/README.md create mode 100644 demo/autofinetune_image_classification/README.md rename demo/{autofinetune => autofinetune_image_classification}/hparam.yaml (100%) rename demo/{autofinetune => autofinetune_image_classification}/img_cls.py (99%) rename demo/{autofinetune => autofinetune_image_classification}/run_autofinetune.sh (100%) create mode 100644 demo/autofinetune_text_classification/README.md create mode 100644 demo/autofinetune_text_classification/hparam.yaml create mode 100644 demo/autofinetune_text_classification/run_autofinetune.sh rename tutorial/autofinetune-nlp.md => demo/autofinetune_text_classification/text_cls.py (66%) delete mode 100644 tutorial/autofinetune-cv.md diff --git a/demo/README.md b/demo/README.md index 79c4e0b9..f40843bd 100644 --- a/demo/README.md +++ b/demo/README.md @@ -2,7 +2,7 @@ 目前PaddleHub有以下任务示例: -* [图像分类](./image-classification) +* [图像分类](./image_classification) 该样例展示了PaddleHub如何将ResNet50、ResNet101、ResNet152、MobileNet、NasNet以及PNasNet作为预训练模型在Flowers、DogCat、Indoor67、Food101、StanfordDogs等数据集上进行图像分类的FineTune和预测。 * [中文词法分析](./lac) @@ -11,22 +11,22 @@ * [情感分析](./senta) 该样例展示了PaddleHub如何利用中文情感分析模型Senta进行FineTune和预测。 -* [序列标注](./sequence-labeling) +* [序列标注](./sequence_labeling) 该样例展示了PaddleHub如何将ERNIE/BERT等Transformer类模型作为预训练模型在MSRA_NER数据集上完成序列标注的FineTune和预测。 * [目标检测](./ssd) 该样例展示了PaddleHub如何将SSD作为预训练模型在PascalVOC数据集上完成目标检测的预测。 -* [文本分类](./text-classification) +* [文本分类](./text_classification) 该样例展示了PaddleHub如何将ERNIE/BERT等Transformer类模型作为预训练模型在GLUE、ChnSentiCorp等数据集上完成文本分类的FineTune和预测。 -* [多标签分类](./multi-label-classification) +* [多标签分类](./multi_label_classification) 该样例展示了PaddleHub如何将BERT作为预训练模型在Toxic数据集上完成多标签分类的FineTune和预测。 * [回归任务](./regression) 该样例展示了PaddleHub如何将BERT作为预训练模型在GLUE-STSB数据集上完成回归任务的FineTune和预测。 -* [阅读理解](./reading-comprehension) +* [阅读理解](./reading_comprehension) 该样例展示了PaddleHub如何将BERT作为预训练模型在SQAD数据集上完成阅读理解的FineTune和预测。 * [检索式问答任务](./qa_classfication) @@ -44,22 +44,23 @@ **NOTE:** 以上任务示例均是利用PaddleHub提供的数据集,若您想在自定义数据集上完成相应任务,请查看[PaddleHub适配自定义数据完成FineTune](https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub%E9%80%82%E9%85%8D%E8%87%AA%E5%AE%9A%E4%B9%89%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%88%90FineTune) -## 快速体验 +## 在线体验 我们在AI Studio上提供了IPython NoteBook形式的demo,您可以直接在平台上在线体验,链接如下: |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/autofinetune/README.md b/demo/autofinetune/README.md deleted file mode 100644 index 75caf019..00000000 --- a/demo/autofinetune/README.md +++ /dev/null @@ -1,28 +0,0 @@ -# PaddleHub超参优化——图像分类 - -**确认安装PaddleHub版本在1.3.0以上, 同时PaddleHub AutoDL Finetuner功能要求至少有一张GPU显卡可用。** - -本示例展示如何利用PaddleHub超参优化AutoDL Finetuner,得到一个效果较佳的超参数组合 - -使用PaddleHub AutoDL Finetuner需要准备两个指定格式的文件:待优化的超参数信息yaml文件hparam.yaml和需要Fine-tune的python脚本train.py - -以Fine-tune图像分类任务为例, 其中: - -## hparam.yaml - -hparam给出待搜索的超参名字、类型(int或者float)、搜索范围等信息。 -通过这些信息构建了一个超参空间,PaddleHub将在这个空间内进行超参数的搜索,将搜索到的超参传入train.py获得评估效果,根据评估效果自动调整超参搜索方向,直到满足搜索次数。 - -本示例中待优化超参数为learning_rate和batch_size。 - - -## img_cls.py - -以mobilenet为预训练模型,在flowers数据集上进行Fine-tune。 - -## 如何开始超参优化 - -在完成安装PaddlePaddle与PaddleHub后,通过执行脚本`sh run_autofinetune.sh`即可开始使用超参优化功能。 - - -`NOTE`: 关于PaddleHub超参优化详情参考[教程](https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.2/tutorial/autofinetune.md) diff --git a/demo/autofinetune_image_classification/README.md b/demo/autofinetune_image_classification/README.md new file mode 100644 index 00000000..d14586d9 --- /dev/null +++ b/demo/autofinetune_image_classification/README.md @@ -0,0 +1,66 @@ +# PaddleHub超参优化——图像分类 + +**确认安装PaddleHub版本在1.3.0以上, 同时PaddleHub AutoDL Finetuner功能要求至少有一张GPU显卡可用。** + +本示例展示如何利用PaddleHub超参优化AutoDL Finetuner,得到一个效果较佳的超参数组合。 + +每次执行AutoDL Finetuner,用户只需要定义搜索空间,改动几行代码,就能利用PaddleHub搜索最好的超参组合。 只需要两步即可完成: + +* 定义搜索空间:AutoDL Finetuner会根据搜索空间来取样生成参数和网络架构。搜索空间通过YAML文件来定义。 + +* 改动模型代码:需要首先定义参数组,并更新模型代码。 + +## Step1:定义搜索空间 + +AutoDL Finetuner会根据搜索空间来取样生成参数和网络架构。搜索空间通过YAML文件来定义。 +要定义搜索空间,需要定义变量名称、类型及其搜索范围。通过这些信息构建了一个超参空间, +PaddleHub将在这个空间内进行超参数的搜索,将搜索到的超参传入train.py获得评估效果,根据评估效果自动调整超参搜索方向,直到满足搜索次数。 + +以Fine-tune图像分类任务为例, 以下是待优化超参数的yaml文件hparam.yaml,包含需要搜素的超参名字、类型、范围等信息。目前参数搜索类型只支持float和int类型 +``` +param_list: +- name : learning_rate + init_value : 0.001 + type : float + lower_than : 0.05 + greater_than : 0.00005 +- name : batch_size + init_value : 12 + type : int + lower_than : 20 + greater_than : 10 +``` + +## Step2:改动模型代码 + +img_cls.py以mobilenet为预训练模型,在flowers数据集上进行Fine-tune。PaddleHub如何完成Finetune可以参考[图像分类迁移学习示例](../image_classification) + +* import paddlehub + + 在img_cls.py加上`import paddlehub as hub` + +* 从AutoDL Finetuner获得参数值 + + 1. img_cls.py的选项参数须包含待优化超参数,需要将超参以argparser的方式写在其中,待搜索超参数选项名字和yaml文件中的超参数名字保持一致。 + + 2. img_cls.py须包含选项参数saved_params_dir,优化后的参数将会保存到该路径下。 + + 3. 超参评估策略选择PopulationBased时,img_cls.py须包含选项参数model_path,自动从model_path指定的路径恢复模型 + +* 返回配置的最终效果 + + img_cls.py须反馈模型的评价效果(建议使用验证集或者测试集上的评价效果),通过调用`report_final_result`接口反馈,如 + + ```python + hub.report_final_result(eval_avg_score["acc"]) + ``` + + **NOTE:** 输出的评价效果取值范围应为`(-∞, 1]`,取值越高,表示效果越好。 + + +## 启动AutoDL Finetuner + +在完成安装PaddlePaddle与PaddleHub后,通过执行脚本`sh run_autofinetune.sh`即可开始使用超参优化功能。 + + +**NOTE:** 关于PaddleHub超参优化详情参考[教程](../../tutorial/autofinetune.md) diff --git a/demo/autofinetune/hparam.yaml b/demo/autofinetune_image_classification/hparam.yaml similarity index 100% rename from demo/autofinetune/hparam.yaml rename to demo/autofinetune_image_classification/hparam.yaml diff --git a/demo/autofinetune/img_cls.py b/demo/autofinetune_image_classification/img_cls.py similarity index 99% rename from demo/autofinetune/img_cls.py rename to demo/autofinetune_image_classification/img_cls.py index 2d19f8c7..c1194de2 100644 --- a/demo/autofinetune/img_cls.py +++ b/demo/autofinetune_image_classification/img_cls.py @@ -4,7 +4,6 @@ import os import ast import shutil -import paddle.fluid as fluid import paddlehub as hub from paddlehub.common.logger import logger @@ -58,7 +57,6 @@ def is_path_valid(path): def finetune(args): - # Load Paddlehub pretrained model, default as mobilenet module = hub.Module(name=args.module) input_dict, output_dict, program = module.context(trainable=True) diff --git a/demo/autofinetune/run_autofinetune.sh b/demo/autofinetune_image_classification/run_autofinetune.sh similarity index 100% rename from demo/autofinetune/run_autofinetune.sh rename to demo/autofinetune_image_classification/run_autofinetune.sh diff --git a/demo/autofinetune_text_classification/README.md b/demo/autofinetune_text_classification/README.md new file mode 100644 index 00000000..065bf6d9 --- /dev/null +++ b/demo/autofinetune_text_classification/README.md @@ -0,0 +1,76 @@ +# PaddleHub超参优化——文本分类 + +**确认安装PaddleHub版本在1.3.0以上, 同时PaddleHub AutoDL Finetuner功能要求至少有一张GPU显卡可用。** + +本示例展示如何利用PaddleHub超参优化AutoDL Finetuner,得到一个效果较佳的超参数组合。 + +每次执行AutoDL Finetuner,用户只需要定义搜索空间,改动几行代码,就能利用PaddleHub搜索最好的超参组合。 只需要两步即可完成: + +* 定义搜索空间:AutoDL Finetuner会根据搜索空间来取样生成参数和网络架构。搜索空间通过YAML文件来定义。 + +* 改动模型代码:需要首先定义参数组,并更新模型代码。 + +## Step1:定义搜索空间 + +AutoDL Finetuner会根据搜索空间来取样生成参数和网络架构。搜索空间通过YAML文件来定义。 +要定义搜索空间,需要定义变量名称、类型及其搜索范围。通过这些信息构建了一个超参空间, +PaddleHub将在这个空间内进行超参数的搜索,将搜索到的超参传入train.py获得评估效果,根据评估效果自动调整超参搜索方向,直到满足搜索次数。 + +以Fine-tune文本分类任务为例, 以下是待优化超参数的yaml文件hparam.yaml,包含需要搜素的超参名字、类型、范围等信息。目前参数搜索类型只支持float和int类型 +``` +param_list: +- name : learning_rate + init_value : 0.001 + type : float + lower_than : 0.05 + greater_than : 0.000005 +- name : weight_decay + init_value : 0.1 + type : float + lower_than : 1 + greater_than : 0.0 +- name : batch_size + init_value : 32 + type : int + lower_than : 40 + greater_than : 30 +- name : warmup_prop + init_value : 0.1 + type : float + lower_than : 0.2 + greater_than : 0.0 +``` + +## Step2:改动模型代码 + +text_cls.py以ernie为预训练模型,在ChnSentiCorp数据集上进行Fine-tune。PaddleHub如何完成Finetune可以参考[文本分类迁移学习示例](../text_classification) + +* import paddlehub + + 在text_cls.py加上`import paddlehub as hub` + +* 从AutoDL Finetuner获得参数值 + + 1. text_cls.py的选项参数须包含待优化超参数,需要将超参以argparser的方式写在其中,待搜索超参数选项名字和yaml文件中的超参数名字保持一致。 + + 2. text_cls.py须包含选项参数saved_params_dir,优化后的参数将会保存到该路径下。 + + 3. 超参评估策略选择PopulationBased时,text_cls.py须包含选项参数model_path,自动从model_path指定的路径恢复模型 + +* 返回配置的最终效果 + + text_cls.py须反馈模型的评价效果(建议使用验证集或者测试集上的评价效果),通过调用`report_final_result`接口反馈,如 + + ```python + hub.report_final_result(eval_avg_score["acc"]) + ``` + + **NOTE:** 输出的评价效果取值范围应为`(-∞, 1]`,取值越高,表示效果越好。 + + +## 启动AutoDL Finetuner + +在完成安装PaddlePaddle与PaddleHub后,通过执行脚本`sh run_autofinetune.sh`即可开始使用超参优化功能。 + + +**NOTE:** 关于PaddleHub超参优化详情参考[教程](../../tutorial/autofinetune.md) diff --git a/demo/autofinetune_text_classification/hparam.yaml b/demo/autofinetune_text_classification/hparam.yaml new file mode 100644 index 00000000..38ad992a --- /dev/null +++ b/demo/autofinetune_text_classification/hparam.yaml @@ -0,0 +1,21 @@ +param_list: +- name : learning_rate + init_value : 0.001 + type : float + lower_than : 0.05 + greater_than : 0.000005 +- name : weight_decay + init_value : 0.1 + type : float + lower_than : 1 + greater_than : 0.0 +- name : batch_size + init_value : 32 + type : int + lower_than : 40 + greater_than : 30 +- name : warmup_prop + init_value : 0.1 + type : float + lower_than : 0.2 + greater_than : 0.0 diff --git a/demo/autofinetune_text_classification/run_autofinetune.sh b/demo/autofinetune_text_classification/run_autofinetune.sh new file mode 100644 index 00000000..d418d838 --- /dev/null +++ b/demo/autofinetune_text_classification/run_autofinetune.sh @@ -0,0 +1,10 @@ +OUTPUT=result + +hub autofinetune text_cls.py \ + --param_file=hparam.yaml \ + --gpu=0 \ + --popsize=15 \ + --round=10 \ + --output_dir=${OUTPUT} \ + --evaluator=fulltrail \ + --tuning_strategy=pshe2 diff --git a/tutorial/autofinetune-nlp.md b/demo/autofinetune_text_classification/text_cls.py similarity index 66% rename from tutorial/autofinetune-nlp.md rename to demo/autofinetune_text_classification/text_cls.py index ede63c5b..a08ef35b 100644 --- a/tutorial/autofinetune-nlp.md +++ b/demo/autofinetune_text_classification/text_cls.py @@ -1,45 +1,11 @@ -# PaddleHub 超参优化(AutoDL Finetuner)——NLP情感分类任务 - -使用PaddleHub AutoDL Finetuner需要准备两个指定格式的文件:待优化的超参数信息yaml文件hparam.yaml和需要Fine-tune的python脚本train.py - -以Fine-tune中文情感分类任务为例,展示如何利用PaddleHub AutoDL Finetuner进行超参优化。 - -以下是待优化超参数的yaml文件hparam.yaml,包含需要搜索的超参名字、类型、范围等信息。其中类型只支持float和int -``` -param_list: -- name : learning_rate - init_value : 0.001 - type : float - lower_than : 0.05 - greater_than : 0.000005 -- name : weight_decay - init_value : 0.1 - type : float - lower_than : 1 - greater_than : 0.0 -- name : batch_size - init_value : 32 - type : int - lower_than : 40 - greater_than : 30 -- name : warmup_prop - init_value : 0.1 - type : float - lower_than : 0.2 - greater_than : 0.0 -``` - -以下是中文情感分类的`train.py` - -```python from __future__ import absolute_import from __future__ import division from __future__ import print_function import argparse import ast +import shutil -import paddle.fluid as fluid import paddlehub as hub import os from paddlehub.common.logger import logger @@ -49,16 +15,32 @@ parser.add_argument("--epochs", type=int, default=3, help="epochs.") # the name of hyperparameters to be searched should keep with hparam.py parser.add_argument("--batch_size", type=int, default=32, help="batch_size.") -parser.add_argument("--learning_rate", type=float, default=5e-5, help="learning_rate.") -parser.add_argument("--warmup_prop", type=float, default=0.1, help="warmup_prop.") -parser.add_argument("--weight_decay", type=float, default=0.01, help="weight_decay.") - -parser.add_argument("--max_seq_len", type=int, default=128, help="Number of words of the longest seqence.") -parser.add_argument("--checkpoint_dir", type=str, default=None, help="Directory to model checkpoint") +parser.add_argument( + "--learning_rate", type=float, default=5e-5, help="learning_rate.") +parser.add_argument( + "--warmup_prop", type=float, default=0.1, help="warmup_prop.") +parser.add_argument( + "--weight_decay", type=float, default=0.01, help="weight_decay.") + +parser.add_argument( + "--max_seq_len", + type=int, + default=128, + help="Number of words of the longest seqence.") +parser.add_argument( + "--checkpoint_dir", + type=str, + default=None, + help="Directory to model checkpoint") # saved_params_dir and model_path are needed by auto finetune -parser.add_argument("--saved_params_dir", type=str, default="", help="Directory for saving model during ") -parser.add_argument("--model_path", type=str, default="", help="load model path") +parser.add_argument( + "--saved_params_dir", + type=str, + default="", + help="Directory for saving model during ") +parser.add_argument( + "--model_path", type=str, default="", help="load model path") args = parser.parse_args() @@ -71,6 +53,7 @@ def is_path_valid(path): os.mkdir(dirname) return True + if __name__ == '__main__': # Load Paddlehub ERNIE pretrained model module = hub.Module(name="ernie") @@ -133,7 +116,8 @@ if __name__ == '__main__': cls_task.finetune() run_states = cls_task.eval() - eval_avg_score, eval_avg_loss, eval_run_speed = cls_task._calculate_metrics(run_states) + eval_avg_score, eval_avg_loss, eval_run_speed = cls_task._calculate_metrics( + run_states) # Move ckpt/best_model to the defined saved parameters directory best_model_dir = os.path.join(config.checkpoint_dir, "best_model") @@ -143,4 +127,3 @@ if __name__ == '__main__': # acc on dev will be used by auto finetune hub.report_final_result(eval_avg_score["acc"]) -``` diff --git a/demo/image_classification/README.md b/demo/image_classification/README.md index 9644699c..2686228d 100644 --- a/demo/image_classification/README.md +++ b/demo/image_classification/README.md @@ -158,16 +158,17 @@ $ tensorboard --logdir $CKPT_DIR/visualization --host ${HOST_IP} --port ${PORT_N |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/multi_label_classification/README.md b/demo/multi_label_classification/README.md index 55813acd..8bce5269 100644 --- a/demo/multi_label_classification/README.md +++ b/demo/multi_label_classification/README.md @@ -190,16 +190,17 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/qa_classification/README.md b/demo/qa_classification/README.md index cc9c3e5d..6aaa4ce8 100644 --- a/demo/qa_classification/README.md +++ b/demo/qa_classification/README.md @@ -181,16 +181,17 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/reading_comprehension/README.md b/demo/reading_comprehension/README.md index 2c60792d..4fe974f3 100644 --- a/demo/reading_comprehension/README.md +++ b/demo/reading_comprehension/README.md @@ -197,16 +197,17 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 384 --batch_size=1 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/regression/README.md b/demo/regression/README.md index 37b9da1f..c40750ae 100644 --- a/demo/regression/README.md +++ b/demo/regression/README.md @@ -177,16 +177,17 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/demo/senta/README.md b/demo/senta/README.md index aff04981..2842d4f3 100644 --- a/demo/senta/README.md +++ b/demo/senta/README.md @@ -170,16 +170,17 @@ python predict.py --checkpoint_dir $CKPT_DIR |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + diff --git a/demo/sequence_labeling/README.md b/demo/sequence_labeling/README.md index a834d908..85836035 100644 --- a/demo/sequence_labeling/README.md +++ b/demo/sequence_labeling/README.md @@ -185,16 +185,16 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| ## 超参优化AutoDL Finetuner diff --git a/demo/text_classification/README.md b/demo/text_classification/README.md index 9ff279c5..751b9c9b 100644 --- a/demo/text_classification/README.md +++ b/demo/text_classification/README.md @@ -204,16 +204,17 @@ python predict.py --checkpoint_dir $CKPT_DIR --max_seq_len 128 |预训练模型|任务类型|数据集|AIStudio链接|备注| |-|-|-|-|-| -|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216772)|| -|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216764)|| -|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216649)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| -|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216787)|| -|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216683)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| -|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215599)|| -|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216851)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| -|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216735)|| -|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215641)|| -|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216749)|| +|ResNet|图像分类|猫狗数据集DogCat|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147010)|| +|ERNIE|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147006)|| +|ERNIE|文本分类|中文新闻分类数据集THUNEWS|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221999)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成文本分类迁移学习。| +|ERNIE|序列标注|中文序列标注数据集MSRA_NER|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/147009)|| +|ERNIE|序列标注|中文快递单数据集Express|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/184200)|本教程讲述了如何将自定义数据集加载,并利用Fine-tune API完成序列标注迁移学习。| +|ERNIE Tiny|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/221971)|| +|Senta|文本分类|中文情感分类数据集ChnSentiCorp|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/216846)|本教程讲述了任何利用Senta和Fine-tune API完成情感分类迁移学习。| +|Senta|情感分析预测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215814)|| +|LAC|词法分析|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215711)|| +|Ultra-Light-Fast-Generic-Face-Detector-1MB|人脸检测|N/A|[点击体验](https://aistudio.baidu.com/aistudio/projectdetail/215962)|| + ## 超参优化AutoDL Finetuner diff --git a/tutorial/autofinetune-cv.md b/tutorial/autofinetune-cv.md deleted file mode 100644 index 48c5107c..00000000 --- a/tutorial/autofinetune-cv.md +++ /dev/null @@ -1,122 +0,0 @@ -# PaddleHub AutoDL Finetuner——图像分类任务 - - -使用PaddleHub AutoDL Finetuner需要准备两个指定格式的文件:待优化的超参数信息yaml文件hparam.yaml和需要Fine-tune的python脚本train.py - -以Fine-tune图像分类任务为例,展示如何利用PaddleHub AutoDL Finetuner进行超参优化。 - -以下是待优化超参数的yaml文件hparam.yaml,包含需要搜素的超参名字、类型、范围等信息。目前参数搜索类型只支持float和int类型 -``` -param_list: -- name : learning_rate - init_value : 0.001 - type : float - lower_than : 0.05 - greater_than : 0.00005 -- name : batch_size - init_value : 12 - type : int - lower_than : 20 - greater_than : 10 -``` - -以下是图像分类的`train.py` - -```python -# coding:utf-8 -import argparse -import os -import ast -import shutil - -import paddle.fluid as fluid -import paddlehub as hub -from paddlehub.common.logger import logger - -parser = argparse.ArgumentParser(__doc__) -parser.add_argument("--epochs", type=int, default=1, help="Number of epoches for fine-tuning.") -parser.add_argument("--use_gpu", type=ast.literal_eval, default=True, help="Whether use GPU for fine-tuning.") -parser.add_argument("--checkpoint_dir", type=str, default=None, help="Path to save log data.") - -# the name of hyperparameters to be searched should keep with hparam.py -parser.add_argument("--batch_size", type=int, default=16, help="Total examples' number in batch for training.") -parser.add_argument("--learning_rate", type=float, default=1e-4, help="learning_rate.") - -# saved_params_dir and model_path are needed by auto finetune -parser.add_argument("--saved_params_dir", type=str, default="", help="Directory for saving model") -parser.add_argument("--model_path", type=str, default="", help="load model path") - - -def is_path_valid(path): - if path == "": - return False - path = os.path.abspath(path) - dirname = os.path.dirname(path) - if not os.path.exists(dirname): - os.mkdir(dirname) - return True - -def finetune(args): - # Load Paddlehub resnet50 pretrained model - module = hub.Module(name="resnet_v2_50_imagenet") - input_dict, output_dict, program = module.context(trainable=True) - - # Download dataset and use ImageClassificationReader to read dataset - dataset = hub.dataset.Flowers() - data_reader = hub.reader.ImageClassificationReader( - image_width=module.get_expected_image_width(), - image_height=module.get_expected_image_height(), - images_mean=module.get_pretrained_images_mean(), - images_std=module.get_pretrained_images_std(), - dataset=dataset) - - feature_map = output_dict["feature_map"] - - img = input_dict["image"] - feed_list = [img.name] - - # Select finetune strategy, setup config and finetune - strategy = hub.DefaultFinetuneStrategy( - learning_rate=args.learning_rate) - - config = hub.RunConfig( - use_cuda=True, - num_epoch=args.epochs, - batch_size=args.batch_size, - checkpoint_dir=args.checkpoint_dir, - strategy=strategy) - - # Construct transfer learning network - task = hub.ImageClassifierTask( - data_reader=data_reader, - feed_list=feed_list, - feature=feature_map, - num_classes=dataset.num_labels, - config=config) - - # Load model from the defined model path or not - if args.model_path != "": - with task.phase_guard(phase="train"): - task.init_if_necessary() - task.load_parameters(args.model_path) - logger.info("PaddleHub has loaded model from %s" % args.model_path) - - - task.finetune() - run_states = task.eval() - eval_avg_score, eval_avg_loss, eval_run_speed = task._calculate_metrics(run_states) - - # Move ckpt/best_model to the defined saved parameters directory - best_model_dir = os.path.join(config.checkpoint_dir, "best_model") - if is_path_valid(args.saved_params_dir) and os.path.exists(best_model_dir): - shutil.copytree(best_model_dir, args.saved_params_dir) - shutil.rmtree(config.checkpoint_dir) - - # acc on dev will be used by auto finetune - hub.report_final_result(eval_avg_score["acc"]) - - -if __name__ == "__main__": - args = parser.parse_args() - finetune(args) -``` diff --git a/tutorial/autofinetune.md b/tutorial/autofinetune.md index b2039aaf..91db8eeb 100644 --- a/tutorial/autofinetune.md +++ b/tutorial/autofinetune.md @@ -7,11 +7,14 @@ PaddleHub AutoDL Finetuner提供两种超参优化算法: * **HAZero**: 核心思想是通过对正态分布中协方差矩阵的调整来处理变量之间的依赖关系和scaling。算法基本可以分成以下三步: -1. 采样产生新解 -2. 计算目标函数值 -3. 更新正态分布参数。 -调整参数的基本思路为,调整参数使得产生更优解的概率逐渐增大。优化过程如下图: + 1. 采样产生新解 + + 2. 计算目标函数值 + + 3. 更新正态分布参数。 + + 调整参数的基本思路为,调整参数使得产生更优解的概率逐渐增大。优化过程如下图:
@@ -71,17 +74,17 @@ train.py用于接受PaddleHub搜索到的超参进行一次优化过程,将优
* 超参评估策略选择PopulationBased时,train.py须包含选项参数model_path,自动从model_path指定的路径恢复模型
* train.py须反馈模型的评价效果(建议使用验证集或者测试集上的评价效果),通过调用`report_final_result`接口反馈,如
- ```python
- hub.report_final_result(eval_avg_score["acc"])
- ```
+ ```python
+ hub.report_final_result(eval_avg_score["acc"])
+ ```
* 输出的评价效果取值范围应为`(-∞, 1]`,取值越高,表示效果越好。
### 示例
-[PaddleHub AutoDL Finetuner超参优化--NLP情感分类任务](./autofinetune-nlp.md)
+[PaddleHub AutoDL Finetuner超参优化--NLP情感分类任务](../demo/autofinetune_text_classification)
-[PaddleHub AutoDL Finetuner超参优化--CV图像分类任务](./autofinetune-cv.md)
+[PaddleHub AutoDL Finetuner超参优化--CV图像分类任务](../demo/autofinetune_image_classification)
## 三、启动方式
--
GitLab