diff --git a/docs/imgs/Howtofinetune1.png b/docs/imgs/Howtofinetune1.png new file mode 100644 index 0000000000000000000000000000000000000000..8194bfa22116bd22813cd28c52492df2fdc25eb9 Binary files /dev/null and b/docs/imgs/Howtofinetune1.png differ diff --git a/docs/imgs/humanseg_test.png b/docs/imgs/humanseg_test.png new file mode 100644 index 0000000000000000000000000000000000000000..8e909c46b7eb8e785a4cb53853a92b2439ed8f65 Binary files /dev/null and b/docs/imgs/humanseg_test.png differ diff --git a/docs/imgs/output_12_3.png b/docs/imgs/output_12_3.png new file mode 100644 index 0000000000000000000000000000000000000000..70d30edc56638bf418933de87fbe914d208b7d2f Binary files /dev/null and b/docs/imgs/output_12_3.png differ diff --git a/docs/imgs/output_15_3.png b/docs/imgs/output_15_3.png new file mode 100644 index 0000000000000000000000000000000000000000..891e29815cb669f50ee4c48a3039300e807b1abe Binary files /dev/null and b/docs/imgs/output_15_3.png differ diff --git a/docs/imgs/output_18_2.png b/docs/imgs/output_18_2.png new file mode 100644 index 0000000000000000000000000000000000000000..9eff25bb832afa0af56fe5242e17397e63690749 Binary files /dev/null and b/docs/imgs/output_18_2.png differ diff --git a/docs/imgs/output_4_1.png b/docs/imgs/output_4_1.png new file mode 100644 index 0000000000000000000000000000000000000000..24eef63ecab6fc074e37c16e4f09abd503f558c1 Binary files /dev/null and b/docs/imgs/output_4_1.png differ diff --git a/docs/imgs/output_8_3.png b/docs/imgs/output_8_3.png new file mode 100644 index 0000000000000000000000000000000000000000..24eef63ecab6fc074e37c16e4f09abd503f558c1 Binary files /dev/null and b/docs/imgs/output_8_3.png differ diff --git a/docs/index.rst b/docs/index.rst index de1436d247822062f08bae941025dd9e7ac3ae61..baf3ad8b2131be9bbf165d6d43487845064a1293 100644 --- a/docs/index.rst +++ b/docs/index.rst @@ -8,10 +8,10 @@ PaddleHub 文档 :titlesonly: 概述 - 安装 - 快速体验 + 安装 + 快速体验 教程 API FAQ - 社区贡献 + 社区贡献 更新历史 \ No newline at end of file diff --git a/docs/install.md b/docs/install.md new file mode 100644 index 0000000000000000000000000000000000000000..9f078dbeb9875fbb3bd9123c39954ed650b6191e --- /dev/null +++ b/docs/install.md @@ -0,0 +1,100 @@ +# PaddleHub安装 +## 环境准备 +PaddleHub需要与飞桨一起使用，其硬件和操作系统的适用范围与[飞桨](https://www.paddlepaddle.org.cn/install/quick)相同。 +> 注意：飞桨版本需要>= 1.7.0。 + + +```python +# 查看是否安装飞桨 +$python # 进入python解释器 +import paddle.fluid +paddle.fluid.install_check.run_check() +``` + +> 如果出现`Your Paddle Fluid is installed successfully`，说明飞桨已成功安装。 + + +```python +$pip list | grep paddlepaddle # 查看飞桨版本。pip list查看所有的package版本，grep负责根据关键字筛选。 +``` + +## 安装操作 +根据实际需要，执行以下命令之一进行PaddleHub的安装（推荐使用第一个）。 + +> 1.安装过程中需要网络连接，请确保机器可以正常访问网络。成功安装之后，可以离线使用。 +2.如果已安装PaddleHub，再次执行安装操作将先卸载再安装。安装方式支持：安装指定版本和安装最新版本。 +3.由于国内网速的问题，直接pip安装包通常速度非常慢，而且经常会出现装到一半失败了的问题。使用国内镜像可以节省时间，提高pip安装的效率。 + ``` + 国内镜像源列表： + 清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/ + 百度：https://mirror.baidu.com/pypi/simple + ``` + + +```python +$pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装最新版本，使用清华源 +``` + + +```python +$pip install paddlehub==1.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装指定版本（==1.6.1表示PaddleHub的版本），使用清华源 +``` + + +```python +$pip install paddlehub --upgrade -i https://mirror.baidu.com/pypi/simple # 安装最新版本，使用百度源 +``` + + +```python +$pip install paddlehub==1.6.1 -i https://mirror.baidu.com/pypi/simple # 安装指定版本（==1.6.1表示PaddleHub的版本），使用百度源 +``` + +> 如果出现`Successfully installed paddlehub`，说明PaddleHub安装成功。 + +## 验证安装 +检查PaddleHub是否安装成功。 + + +```python +$pip list | grep paddlehub # pip list查看所有的package版本，grep负责根据关键字筛选 +``` + + +```python +$pip show paddlehub # 查看PaddleHub详细信息 +``` + +PaddleHub详细信息的如下面所示，可以查看显示了PaddleHub的版本、位置等信息。 +``` +Name: paddlehub +Version: 1.7.1 +Summary: A toolkit for managing pretrained models of PaddlePaddle and helping user getting started with transfer learning more efficiently. +Home-page: https://github.com/PaddlePaddle/PaddleHub +Author: PaddlePaddle Author +Author-email: paddle-dev@baidu.com +License: Apache 2.0 +Location: /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages +Requires: pandas, pre-commit, gunicorn, flake8, visualdl, yapf, flask, protobuf, sentencepiece, six, cma, colorlog +Required-by: +``` + +## 如何卸载 +此卸载仅卸载PaddleHub，已下载的模型文件和数据集仍保留。 + + +```python +$pip uninstall paddlehub -y # 卸载PaddleHub +``` + +> 如果出现`Successfully uninstalled paddlehub`,表明PaddleHub卸载成功。 + +## 常见问题 +1. 已安装PaddleHub，可以升级飞桨版本吗？ + 答复：可以。直接正常升级飞桨版本即可。 +2. 已安装PaddleHub，如何升级？ + 答复：执行`pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple`，可以将PaddleHub升级到最新版本。 +3. `upgrade`安装与安装指定版本有什么区别？ + 答复：`upgrade`安装的是最新版本，安装指定版本可以安装任意版本。 +4. 如何设置PaddleHub下载的缓存位置？ + 答复：PaddleHub的Module默认会保存在用户目录下，可以通过修改环境变量`HUB_HOME`更改这个位置。 diff --git a/docs/output_4_1.png b/docs/output_4_1.png new file mode 100644 index 0000000000000000000000000000000000000000..8e909c46b7eb8e785a4cb53853a92b2439ed8f65 Binary files /dev/null and b/docs/output_4_1.png differ diff --git a/docs/quick_experience/cmd_quick_run.md b/docs/quick_experience/cmd_quick_run.md new file mode 100644 index 0000000000000000000000000000000000000000..f9d665c8e87c9af6e448f49a6042d900238604b5 --- /dev/null +++ b/docs/quick_experience/cmd_quick_run.md @@ -0,0 +1,184 @@ +# 通过命令行调用方式使用PaddleHub + +本页面的代码/命令可在[AIStudio](https://aistudio.baidu.com/aistudio/projectdetail/643120)上在线运行，类似notebook的环境，只需通过浏览器即可访问，无需准备环境，非常方便开发者快速体验。 + +PaddleHub在设计时，为模型的管理和使用提供了命令行工具，也提供了通过命令行调用PaddleHub模型完成预测的方式。比如，前面章节中人像分割和文本分词的任务也可以通过命令行调用的方式实现。 + +### 体验前请提前安装好PaddleHub + + +```python +# 指定版本安装PaddleHub，使用清华源更稳定、更迅速 +$ pip install paddlehub==1.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple +#升级到最新版本，使用清华源更稳定、更迅速 +$ pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple +``` + +### 人像扣图 + + +```python +# 下载待测试图片 +$ wget https://paddlehub.bj.bcebos.com/resources/test_image.jpg +# 通过命令行方式实现人像扣图任务 +$ hub run deeplabv3p_xception65_humanseg --input_path test_image.jpg --visualization=True --output_dir="humanseg_output" +``` + + --2020-07-22 12:19:52-- https://paddlehub.bj.bcebos.com/resources/test_image.jpg + Resolving paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)... 182.61.200.195, 182.61.200.229 + Connecting to paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)|182.61.200.195|:443... connected. + HTTP request sent, awaiting response... 200 OK + Length: 967120 (944K) [image/jpeg] + Saving to: ‘test_image.jpg’ + + test_image.jpg 100%[===================>] 944.45K 6.13MB/s in 0.2s + + 2020-07-22 12:19:53 (6.13 MB/s) - ‘test_image.jpg’ saved [967120/967120] + + [{'save_path': 'humanseg_output/test_image.png', 'data': array([[0., 0., 0., ..., 0., 0., 0.], + [0., 0., 0., ..., 0., 0., 0.], + [0., 0., 0., ..., 0., 0., 0.], + ..., + [0., 0., 0., ..., 0., 0., 0.], + [0., 0., 0., ..., 0., 0., 0.], + [0., 0., 0., ..., 0., 0., 0.]], dtype=float32)}] + + + +![png](../imgs/humanseg_test_res.png) + + +### 中文分词 + + +```python +#通过命令行方式实现文本分词任务 +$ hub run lac --input_text "今天是个好日子" +``` + + Install Module lac + Downloading lac + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpjcskpj8x/lac + [==================================================] 100.00% + Successfully installed lac-2.1.1 + [{'word': ['今天', '是', '个', '好日子'], 'tag': ['TIME', 'v', 'q', 'n']}] + + +上面的命令中包含四个部分，分别是： +- hub 表示PaddleHub的命令。 +- run 调用run执行模型的预测。 +- deeplabv3p_xception65_humanseg、lac 表示要调用的算法模型。 +- --input_path/--input_text 表示模型的输入数据，图像和文本的输入方式不同。 + +另外，命令行中`visualization=True`表示将结果可视化输出，`output_dir="humanseg_output"`表示预测结果的保存目录，可以到该路径下查看输出的图片。 + +再看一个文字识别和一个口罩检测的例子。 + +### OCR文字识别 + + +```python +# 下载待测试的图片 +$ wget https://paddlehub.bj.bcebos.com/model/image/ocr/test_ocr.jpg + +# 该Module依赖于第三方库shapely和pyclipper，需提前安装 +$ pip install shapely +$ pip install pyclipper + +# 通过命令行方式实现文字识别任务 +$ hub run chinese_ocr_db_crnn_mobile --input_path test_ocr.jpg --visualization=True --output_dir='ocr_result' +``` + + --2020-07-22 15:00:50-- https://paddlehub.bj.bcebos.com/model/image/ocr/test_ocr.jpg + Resolving paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)... 182.61.200.195, 182.61.200.229 + Connecting to paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)|182.61.200.195|:443... connected. + HTTP request sent, awaiting response... 200 OK + Length: 48680 (48K) [image/jpeg] + Saving to: ‘test_ocr.jpg’ + + test_ocr.jpg 100%[===================>] 47.54K --.-KB/s in 0.02s + + 2020-07-22 15:00:51 (2.88 MB/s) - ‘test_ocr.jpg’ saved [48680/48680] + + Looking in indexes: https://pypi.mirrors.ustc.edu.cn/simple/ + Requirement already satisfied: shapely in /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages (1.7.0) + Looking in indexes: https://pypi.mirrors.ustc.edu.cn/simple/ + Requirement already satisfied: pyclipper in /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages (1.2.0) + [{'save_path': 'ocr_result/ndarray_1595401261.294494.jpg', 'data': [{'text': '纯臻营养护发素', 'confidence': 0.9438689351081848, 'text_box_position': [[24, 36], [304, 34], [304, 72], [24, 74]]}, {'text': '产品信息/参数', 'confidence': 0.9843138456344604, 'text_box_position': [[24, 80], [172, 80], [172, 104], [24, 104]]}, {'text': '（45元/每公斤，100公斤起订）', 'confidence': 0.9210420250892639, 'text_box_position': [[24, 109], [333, 109], [333, 136], [24, 136]]}, {'text': '每瓶22元，1000瓶起订）', 'confidence': 0.9685984253883362, 'text_box_position': [[22, 139], [283, 139], [283, 166], [22, 166]]}, {'text': '【品牌】', 'confidence': 0.9527574181556702, 'text_box_position': [[22, 174], [85, 174], [85, 198], [22, 198]]}, {'text': '：代加工方式/OEMODM', 'confidence': 0.9442129135131836, 'text_box_position': [[90, 176], [301, 176], [301, 196], [90, 196]]}, {'text': '【品名】', 'confidence': 0.8793742060661316, 'text_box_position': [[23, 205], [85, 205], [85, 229], [23, 229]]}, {'text': '：纯臻营养护发素', 'confidence': 0.9230973124504089, 'text_box_position': [[95, 204], [235, 206], [235, 229], [95, 227]]}, {'text': '【产品编号】', 'confidence': 0.9311650395393372, 'text_box_position': [[24, 238], [120, 238], [120, 260], [24, 260]]}, {'text': 'J：YM-X-3011', 'confidence': 0.8866629004478455, 'text_box_position': [[110, 239], [239, 239], [239, 256], [110, 256]]}, {'text': 'ODMOEM', 'confidence': 0.9916308522224426, 'text_box_position': [[414, 233], [430, 233], [430, 304], [414, 304]]}, {'text': '【净含量】：220ml', 'confidence': 0.8709315657615662, 'text_box_position': [[23, 268], [181, 268], [181, 292], [23, 292]]}, {'text': '【适用人群】', 'confidence': 0.9589888453483582, 'text_box_position': [[24, 301], [118, 301], [118, 321], [24, 321]]}, {'text': '：适合所有肤质', 'confidence': 0.935418963432312, 'text_box_position': [[131, 300], [254, 300], [254, 323], [131, 323]]}, {'text': '【主要成分】', 'confidence': 0.9366627335548401, 'text_box_position': [[24, 332], [117, 332], [117, 353], [24, 353]]}, {'text': '鲸蜡硬脂醇', 'confidence': 0.9033458828926086, 'text_box_position': [[138, 331], [235, 331], [235, 351], [138, 351]]}, {'text': '燕麦B-葡聚', 'confidence': 0.8497812747955322, 'text_box_position': [[248, 332], [345, 332], [345, 352], [248, 352]]}, {'text': '椰油酰胺丙基甜菜碱、', 'confidence': 0.8935506939888, 'text_box_position': [[54, 363], [232, 363], [232, 383], [54, 383]]}, {'text': '糖、', 'confidence': 0.8750994205474854, 'text_box_position': [[25, 364], [62, 364], [62, 383], [25, 383]]}, {'text': '泛酯', 'confidence': 0.5581164956092834, 'text_box_position': [[244, 363], [281, 363], [281, 382], [244, 382]]}, {'text': '（成品包材）', 'confidence': 0.9566792845726013, 'text_box_position': [[368, 367], [475, 367], [475, 388], [368, 388]]}, {'text': '【主要功能】', 'confidence': 0.9493741393089294, 'text_box_position': [[24, 395], [119, 395], [119, 416], [24, 416]]}, {'text': '：可紧致头发磷层', 'confidence': 0.9692543745040894, 'text_box_position': [[128, 397], [273, 397], [273, 414], [128, 414]]}, {'text': '美，从而达到', 'confidence': 0.8662520051002502, 'text_box_position': [[265, 395], [361, 395], [361, 415], [265, 415]]}, {'text': '即时持久改善头发光泽的效果，给干燥的头', 'confidence': 0.9690631031990051, 'text_box_position': [[25, 425], [372, 425], [372, 448], [25, 448]]}, {'text': '发足够的滋养', 'confidence': 0.8946213126182556, 'text_box_position': [[26, 457], [136, 457], [136, 477], [26, 477]]}]}] + + + +```python +# 查看预测结果 +``` + + +![png](../imgs/ocr_res.jpg) + + +### 口罩检测 + + +```python +# 下载待测试的图片 +$ wget https://paddlehub.bj.bcebos.com/resources/test_mask_detection.jpg + +# 通过命令行方式实现文字识别任务 +$ hub run pyramidbox_lite_mobile_mask --input_path test_mask_detection.jpg --visualization=True --output_dir='detection_result' +``` + + --2020-07-22 15:08:11-- https://paddlehub.bj.bcebos.com/resources/test_mask_detection.jpg + Resolving paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)... 182.61.200.229, 182.61.200.195 + Connecting to paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)|182.61.200.229|:443... connected. + HTTP request sent, awaiting response... 200 OK + Length: 299133 (292K) [image/jpeg] + Saving to: ‘test_mask_detection.jpg’ + + test_mask_detection 100%[===================>] 292.12K --.-KB/s in 0.06s + + 2020-07-22 15:08:11 (4.55 MB/s) - ‘test_mask_detection.jpg’ saved [299133/299133] + + Install Module pyramidbox_lite_mobile_mask + Downloading pyramidbox_lite_mobile_mask + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmp8oes9jid/pyramidbox_lite_mobile_mask + [==================================================] 100.00% + Successfully installed pyramidbox_lite_mobile_mask-1.3.0 + Downloading pyramidbox_lite_mobile + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpvhjhlr10/pyramidbox_lite_mobile + [==================================================] 100.00% + [{'data': [{'label': 'MASK', 'confidence': 0.9992434978485107, 'top': 181, 'bottom': 440, 'left': 457, 'right': 654}, {'label': 'MASK', 'confidence': 0.9224318265914917, 'top': 340, 'bottom': 578, 'left': 945, 'right': 1125}, {'label': 'NO MASK', 'confidence': 0.9996706247329712, 'top': 292, 'bottom': 500, 'left': 1166, 'right': 1323}], 'path': 'test_mask_detection.jpg'}] + + + +```python +# 查看预测结果 +``` + + +![png](../imgs/test_mask_detection_result.jpg) + + +### PaddleHub命令行工具简介 + +PaddleHub的命令行工具在开发时借鉴了Anaconda和PIP等软件包管理的理念，可以方便快捷的完成模型的搜索、下载、安装、升级、预测等功能。 下面概要介绍一下PaddleHub支持的12个命令，详细介绍可查看[命令行参考](http://)章节。： +* install：用于将Module安装到本地，默认安装在{HUB_HOME}/.paddlehub/modules目录下； +* uninstall：卸载本地Module； +* show：用于查看本地已安装Module的属性或者指定目录下确定的Module的属性，包括其名字、版本、描述、作者等信息； +* download：用于下载百度飞桨PaddleHub提供的Module； +* search：通过关键字在服务端检索匹配的Module，当想要查找某个特定模型的Module时，使用search命令可以快速得到结果，例如hub search ssd命令，会查找所有包含了ssd字样的Module，命令支持正则表达式，例如hub search ^s.\*搜索所有以s开头的资源； +* list：列出本地已经安装的Module； +* run：用于执行Module的预测； +* version：显示PaddleHub版本信息； +* help：显示帮助信息； +* clear：PaddleHub在使用过程中会产生一些缓存数据，这部分数据默认存放在${HUB_HOME}/.paddlehub/cache目录下，用户可以通过clear命令来清空缓存； +* autofinetune：用于自动调整Fine-tune任务的超参数，具体使用详情参考[PaddleHub AutoDL Finetuner](https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md)使用教程； +* config：用于查看和设置Paddlehub相关设置，包括对server地址、日志级别的设置； +* serving：用于一键部署Module预测服务，详细用法见[PaddleHub Serving一键服务部署](https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/serving.md)。 + +## 小结 +PaddleHub的产品理念是模型即软件，通过Python API或命令行实现模型调用，可快速体验或集成飞桨特色预训练模型。 +此外，当用户想用少量数据来优化预训练模型时，PaddleHub也支持迁移学习，通过Fine-tune API，内置多种优化策略，只需少量代码即可完成预训练模型的Fine-tuning。具体可通过后面迁移学习的章节了解。 +>值得注意的是，不是所有的Module都支持通过命令行预测 (例如BERT/ERNIE Transformer类模型，一般需要搭配任务进行Fine-tune)， 也不是所有的Module都可用于Fine-tune（例如一般不建议用户使用词法分析LAC模型Fine-tune）。建议提前阅读[预训练模型的介绍文档](https://www.paddlepaddle.org.cn/hublist)了解使用场景。 diff --git a/docs/quick_experience/more_demos.md b/docs/quick_experience/more_demos.md new file mode 100644 index 0000000000000000000000000000000000000000..086aed269778afd5b7bc5e7ea01e9c5bd9717c98 --- /dev/null +++ b/docs/quick_experience/more_demos.md @@ -0,0 +1,40 @@ +# PaddleHub更多体验Demos + +## PaddleHub官方Demo全集 + +官方Demo在AI Studio中均可在线运行，类似notebook的环境，只需通过浏览器即可访问，无需准备环境，非常方便开发者快速体验。 +并将持续更新，建议收藏。 +[https://aistudio.baidu.com/aistudio/personalcenter/thirdview/79927](https://aistudio.baidu.com/aistudio/personalcenter/thirdview/79927) + +## PaddleHub开发者趣味实践作品 + +1. [布剪刀石头【人脸识别切换本地窗口】](https://aistudio.baidu.com/aistudio/projectdetail/507630) +1. [秋水中的鱼【yesok舞蹈背景抠图转换并动漫风格迁移】](http://aistudio.baidu.com/aistudio/projectdetail/517066) +1. [Ninetailskim【在人脸上玩复古windows弹球】](https://aistudio.baidu.com/aistudio/projectdetail/518861) +1. [乌拉__【监控口罩，语音提醒，后台记录】](https://aistudio.baidu.com/aistudio/projectdetail/506931) +1. [九品炼丹师【影流之绿蛙蔡徐坤，人脸识别加头饰+ 人像分割变分身】](https://aistudio.baidu.com/aistudio/projectdetail/505168) +1. [七年期限【风格迁移以及本地部署】](https://aistudio.baidu.com/aistudio/projectdetail/520453) +1. [Fanas无敌【口红试色项目】](https://aistudio.baidu.com/aistudio/projectdetail/516520) +1. [skywalk163【用paddlehub统计飞桨源代码词频以及词云与人像展示】](https://aistudio.baidu.com/aistudio/projectdetail/519841) +1. [AIStudio261428【人脸识别+漫画表情包】](https://aistudio.baidu.com/aistudio/projectdetail/519616) +1. [土豆芽【六一儿童节邀请卡通人物来做客】](https://aistudio.baidu.com/aistudio/projectdetail/520925) +1. [大熊猫的感觉【变化的口罩】](https://aistudio.baidu.com/aistudio/projectdetail/520996) +1. [kly1997【一键旅游+戴墨镜】](https://aistudio.baidu.com/aistudio/projectdetail/518117) +1. [寞寞_默默【穿越到油画中】](https://aistudio.baidu.com/aistudio/projectdetail/516332) +1. [isse7【创意项目：风格“鬼脸”变换】](https://aistudio.baidu.com/aistudio/projectdetail/515307) +1. [Pda【人脸趣味变】](https://aistudio.baidu.com/aistudio/projectdetail/516306) +1. [Kgkzhiwen【我的新衣】](https://aistudio.baidu.com/aistudio/projectdetail/516663) +1. [哎呀呀好好学习【脸型自动调整】](https://aistudio.baidu.com/aistudio/projectdetail/513640) +1. [Tfboy【证件照换底】](https://aistudio.baidu.com/aistudio/projectdetail/509443) +1. [Leigangblog【我是明星脸】](https://aistudio.baidu.com/aistudio/projectdetail/505537) +1. [wpb3dm【时装模特换装】](https://aistudio.baidu.com/aistudio/projectdetail/519349) +1. [lsvine_bai【女友秒变神秘金发女神】](https://aistudio.baidu.com/aistudio/projectdetail/521784) +1. [Lemonadeqk【简单追星】](https://aistudio.baidu.com/aistudio/projectdetail/520488) +1. [XM1436gr【利用PaddleHub关键点检测实现AI换卡通脸】](https://aistudio.baidu.com/aistudio/projectdetail/514547) +1. [旺仔【人人都是圆眼萌仔】](https://aistudio.baidu.com/aistudio/projectdetail/519222) +1. [Arrowarcher【AI一键换发】](https://aistudio.baidu.com/aistudio/projectdetail/508270) +1. [WHY197598【移物换景基础】](https://aistudio.baidu.com/aistudio/projectdetail/517961) +1. [署名景逸【基于paddlehub人脸关键点检测的疲劳检测】](https://aistudio.baidu.com/aistudio/projectdetail/506024) +1. [thunder95【PaddleHub目光表情投票】](https://aistudio.baidu.com/aistudio/projectdetail/514205) +1. [上弦月C 【坟头蹦迪毕业照】](https://aistudio.baidu.com/aistudio/projectdetail/511253) +1. [如意_鸡蛋【左看像周润发，右看像刘德华】](https://aistudio.baidu.com/aistudio/projectdetail/507231) diff --git a/docs/quick_experience/python_use_hub.md b/docs/quick_experience/python_use_hub.md new file mode 100644 index 0000000000000000000000000000000000000000..cc988343408111f1311808b2a592106e28e9559c --- /dev/null +++ b/docs/quick_experience/python_use_hub.md @@ -0,0 +1,298 @@ +# 通过Python代码调用方式使用PaddleHub + +本页面的代码/命令可在[AIStudio](https://aistudio.baidu.com/aistudio/projectdetail/635335)上在线运行，类似notebook的环境，只需通过浏览器即可访问，无需准备环境，非常方便开发者快速体验。 + +## 计算机视觉任务的PaddleHub示例 +先以计算机视觉任务为例，我们选用一张测试图片test.jpg，分别实现如下四项功能： +* 人像扣图（[deeplabv3p_xception65_humanseg](https://www.paddlepaddle.org.cn/hubdetail?name=deeplabv3p_xception65_humanseg&en_category=ImageSegmentation)） +* 人体部位分割（[ace2p](https://www.paddlepaddle.org.cn/hubdetail?name=ace2p&en_category=ImageSegmentation)） + +* 人脸检测（[ultra_light_fast_generic_face_detector_1mb_640](https://www.paddlepaddle.org.cn/hubdetail?name=ultra_light_fast_generic_face_detector_1mb_640&en_category=FaceDetection)） +* 关键点检测（[human_pose_estimation_resnet50_mpii](https://www.paddlepaddle.org.cn/hubdetail?name=human_pose_estimation_resnet50_mpii&en_category=KeyPointDetection)） + +>注：如果需要查找PaddleHub中可以调用哪些预训练模型，获取模型名称（如deeplabv3p_xception65_humanseg，后续代码中通过该名称调用模型），请参考[官网文档](https://www.paddlepaddle.org.cn/hublist)，文档中已按照模型类别分好类，方便查找，并且提供了详细的模型介绍。 + + +### 体验前请提前安装好PaddleHub + + +```python +# 下载安装paddlehub到最新版本，仅第一次运行项目时执行此命令 +$ pip install paddlehub==1.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple #指定版本安装PaddleHub，使用清华源更稳定、更迅速 +$ pip install paddlehub --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple #升级到最新版本，使用清华源更稳定、更迅速 +``` + +### 原图展示 + + +```python +# 下载待测试图片 +$ wget https://paddlehub.bj.bcebos.com/resources/test_image.jpg +``` + + --2020-07-22 12:22:19-- https://paddlehub.bj.bcebos.com/resources/test_image.jpg + Resolving paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)... 182.61.200.195, 182.61.200.229 + Connecting to paddlehub.bj.bcebos.com (paddlehub.bj.bcebos.com)|182.61.200.195|:443... connected. + HTTP request sent, awaiting response... 200 OK + Length: 967120 (944K) [image/jpeg] + Saving to: ‘test_image.jpg.1’ + + test_image.jpg.1 100%[===================>] 944.45K 5.51MB/s in 0.2s + + 2020-07-22 12:22:19 (5.51 MB/s) - ‘test_image.jpg.1’ saved [967120/967120] + + + + +![png](../imgs/humanseg_test.png) + + +### 人像扣图 + +PaddleHub采用模型即软件的设计理念，所有的预训练模型与Python软件包类似，具备版本的概念，通过`hub install`、`hub uninstall`命令可以便捷地完成模型的安装、升级和卸载。 +> 使用如下命令默认下载最新版本的模型，如果需要指定版本，可在后面接版本号，如`==1.1.1`。 + + +```python +#安装预训练模型，deeplabv3p_xception65_humanseg是模型名称 +$ hub install deeplabv3p_xception65_humanseg +``` + + Downloading deeplabv3p_xception65_humanseg + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpo32jeve0/deeplabv3p_xception65_humanseg + [==================================================] 100.00% + Successfully installed deeplabv3p_xception65_humanseg-1.1.1 + + + +```python +# 导入paddlehub库 +import paddlehub as hub +# 指定模型名称、待预测的图片路径、输出结果的路径，执行并输出预测结果 +module = hub.Module(name="deeplabv3p_xception65_humanseg") +res = module.segmentation(paths = ["./test_image.jpg"], visualization=True, output_dir='humanseg_output') +``` + + [32m[2020-07-22 12:22:49,474] [ INFO] - Installing deeplabv3p_xception65_humanseg module [0m + + + Downloading deeplabv3p_xception65_humanseg + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpzrrl1duq/deeplabv3p_xception65_humanseg + [==================================================] 100.00% + + + [32m[2020-07-22 12:23:11,811] [ INFO] - Successfully installed deeplabv3p_xception65_humanseg-1.1.1 [0m + + + +![png](../imgs/output_8_3.png) + + +可以看到，使用Python代码调用PaddleHub只需要三行代码即可实现： +``` +import paddlehub as hub # 导入PaddleHub代码库 +module = hub.Module(name="deeplabv3p_xception65_humanseg") # 指定模型名称 +res = module.segmentation(paths = ["./test.jpg"], visualization=True, output_dir='humanseg_output') # 指定模型的输入和输出路径，执行并输出预测结果，其中visualization=True表示将结果可视化输出 +``` +* 模型名称均通过`hub.Module` API来指定； +* `module.segmentation`用于执行图像分割类的预测任务，不同类型任务设计了不同的预测API，比如人脸检测任务采用`face_detection`函数执行预测，建议调用预训练模型之前先仔细查阅对应的模型介绍文档。 +* 预测结果保存在`output_dir='humanseg_output'`目录下，可以到该路径下查看输出的图片。 + +其他任务的实现方式，均可参考这个“套路”。看一下接下来几个任务如何实现。 + +### 人体部位分割 + + +```python +#安装预训练模型 +$ hub install ace2p +``` + + /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/sklearn/externals/joblib/externals/cloudpickle/cloudpickle.py:47: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses + import imp + Downloading ace2p + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpfsovt3f8/ace2p + [==================================================] 100.00% + Successfully installed ace2p-1.1.0 + + + +```python +# 导入paddlehub库 +import paddlehub as hub +# 指定模型名称、待预测的图片路径、输出结果的路径，执行并输出预测结果 +module = hub.Module(name="ace2p") +res = module.segmentation(paths = ["./test_image.jpg"], visualization=True, output_dir='ace2p_output') +``` + + [32m[2020-07-22 12:23:58,027] [ INFO] - Installing ace2p module [0m + + + Downloading ace2p + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmptrogpj6j/ace2p + [==================================================] 100.00% + + + [32m[2020-07-22 12:24:22,575] [ INFO] - Successfully installed ace2p-1.1.0 [0m + + + +![png](../imgs/output_12_3.png) + + +### 人脸检测 + + +```python +#安装预训练模型 +$ hub install ultra_light_fast_generic_face_detector_1mb_640 +``` + + Downloading ultra_light_fast_generic_face_detector_1mb_640 + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpz82xnmy6/ultra_light_fast_generic_face_detector_1mb_640 + [==================================================] 100.00% + Successfully installed ultra_light_fast_generic_face_detector_1mb_640-1.1.2 + + + +```python +# 导入paddlehub库 +import paddlehub as hub +# 指定模型名称、待预测的图片路径、输出结果的路径，执行并输出预测结果 +module = hub.Module(name="ultra_light_fast_generic_face_detector_1mb_640") +res = module.face_detection(paths = ["./test_image.jpg"], visualization=True, output_dir='face_detection_output') +``` + + [32m[2020-07-22 12:25:12,948] [ INFO] - Installing ultra_light_fast_generic_face_detector_1mb_640 module [0m + + + Downloading ultra_light_fast_generic_face_detector_1mb_640 + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpw44mo56p/ultra_light_fast_generic_face_detector_1mb_640 + [==================================================] 100.00% + + + [32m[2020-07-22 12:25:14,698] [ INFO] - Successfully installed ultra_light_fast_generic_face_detector_1mb_640-1.1.2 + + + +![png](../imgs/output_15_3.png) + + +### 关键点检测 + + +```python +#安装预训练模型 +$ hub install human_pose_estimation_resnet50_mpii +``` + + /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/sklearn/externals/joblib/externals/cloudpickle/cloudpickle.py:47: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses + import imp + Downloading human_pose_estimation_resnet50_mpii + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmpn_ppwkzq/human_pose_estimation_resnet50_mpii + [======== ] 17.99% + + +```python +# 导入paddlehub库 +import paddlehub as hub +# 指定模型名称、待预测的图片路径、输出结果的路径，执行并输出预测结果 +module = hub.Module(name="human_pose_estimation_resnet50_mpii") +res = module.keypoint_detection(paths = ["./test_image.jpg"], visualization=True, output_dir='keypoint_output') +``` + + [32m[2020-07-23 11:27:33,989] [ INFO] - Installing human_pose_estimation_resnet50_mpii module [0m + [32m[2020-07-23 11:27:33,992] [ INFO] - Module human_pose_estimation_resnet50_mpii already installed in /home/aistudio/.paddlehub/modules/human_pose_estimation_resnet50_mpii [0m + + + image saved in keypoint_output/test_imagetime=1595474855.jpg + + + +![png](../imgs/output_18_2.png) + + +## 自然语言处理任务的PaddleHub示例 + +再看两个自然语言处理任务的示例，下面以中文分词和情感分类的任务为例介绍。 +* 中文分词（[lac](https://www.paddlepaddle.org.cn/hubdetail?name=lac&en_category=LexicalAnalysis)） +* 情感分析（[senta_bilstm](https://www.paddlepaddle.org.cn/hubdetail?name=senta_bilstm&en_category=SentimentAnalysis)） + +### 中文分词 + + +```python +#安装预训练模型 +$ hub install lac +``` + + 2020-07-22 10:03:09,866-INFO: font search path ['/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf', '/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/afm', '/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/pdfcorefonts'] + 2020-07-22 10:03:10,208-INFO: generated new fontManager + Downloading lac + [==================================================] 100.00% + Uncompress /home/aistudio/.paddlehub/tmp/tmp8ukaz690/lac + [==================================================] 100.00% + Successfully installed lac-2.1.1 + + + +```python +# 导入paddlehub库 +import paddlehub as hub +# 指定模型名称、待分词的文本，执行并输出预测结果 +lac = hub.Module(name="lac") +test_text = ["1996年，曾经是微软员工的加布·纽维尔和麦克·哈灵顿一同创建了Valve软件公司。他们在1996年下半年从id software取得了雷神之锤引擎的使用许可，用来开发半条命系列。"] +res = lac.lexical_analysis(texts = test_text) +# 打印预测结果 +print("中文词法分析结果：", res) +``` + + [32m[2020-07-22 10:03:18,439] [ INFO] - Installing lac module[0m + [32m[2020-07-22 10:03:18,531] [ INFO] - Module lac already installed in /home/aistudio/.paddlehub/modules/lac [0m + + + 中文词法分析结果： [{'word': ['1996年', '，', '曾经', '是', '微软', '员工', '的', '加布·纽维尔', '和', '麦克·哈灵顿', '一同', '创建', '了', 'Valve软件公司', '。', '他们', '在', '1996年下半年', '从', 'id', ' ', 'software', '取得', '了', '雷神之锤', '引擎', '的', '使用', '许可', '，', '用来', '开发', '半条命', '系列', '。'], 'tag': ['TIME', 'w', 'd', 'v', 'ORG', 'n', 'u', 'PER', 'c', 'PER', 'd', 'v', 'u', 'ORG', 'w', 'r', 'p', 'TIME', 'p', 'nz', 'w', 'n', 'v', 'u', 'n', 'n', 'u', 'vn', 'vn', 'w', 'v', 'v', 'n', 'n', 'w']}] + + +可以看到，与计算机视觉任务相比，输入和输出接口（这里需要输入文本，以函数参数的形式传入）存在差异，这与任务类型相关，具体可查看对应预训练模型的API介绍。 + +### 情感分类 + + +```python +#安装预训练模型 +$ hub install senta_bilstm +``` + + Module senta_bilstm-1.1.0 already installed in /home/aistudio/.paddlehub/modules/senta_bilstm + + + +```python +import paddlehub as hub +senta = hub.Module(name="senta_bilstm") +test_text = ["味道不错，确实不算太辣，适合不能吃辣的人。就在长江边上，抬头就能看到长江的风景。鸭肠、黄鳝都比较新鲜。"] +res = senta.sentiment_classify(texts = test_text) + +print("情感分析结果：", res) +``` + + [32m[2020-07-22 10:34:06,922] [ INFO] - Installing senta_bilstm module [0m + [32m[2020-07-22 10:34:06,984] [ INFO] - Module senta_bilstm already installed in /home/aistudio/.paddlehub/modules/senta_bilstm + [32m[2020-07-22 10:34:08,937] [ INFO] - Installing lac module[0m + [32m[2020-07-22 10:34:08,939] [ INFO] - Module lac already installed in /home/aistudio/.paddlehub/modules/lac [0m + + + 情感分析结果： [{'text': '味道不错，确实不算太辣，适合不能吃辣的人。就在长江边上，抬头就能看到长江的风景。鸭肠、黄鳝都比较新鲜。', 'sentiment_label': 1, 'sentiment_key': 'positive', 'positive_probs': 0.9771, 'negative_probs': 0.0229}] + + +## 总结 +PaddleHub提供了丰富的预训练模型，包括图像分类、语义模型、视频分类、图像生成、图像分割、文本审核、关键点检测等主流模型，只需要3行Python代码即可快速调用，即时输出预测结果，非常方便。您可以尝试一下，从[预训练模型列表](https://www.paddlepaddle.org.cn/hublist)中选择一些模型体验一下。 + diff --git a/docs/quick_experience/quick_index.rst b/docs/quick_experience/quick_index.rst new file mode 100644 index 0000000000000000000000000000000000000000..12a32b09e55cfa1cd232b61a0745499518113ee9 --- /dev/null +++ b/docs/quick_experience/quick_index.rst @@ -0,0 +1,11 @@ +快速体验 +================== + +安装PaddleHub成功后，可以通过如下几个章节快速体验PaddleHub的推理功能。 + +.. toctree:: + :maxdepth: 1 + + 通过命令行调用方式使用PaddleHub + 通过Python代码调用方式使用PaddleHub + PaddleHub更多体验Demos diff --git a/docs/tutorial/how_to_finetune.md b/docs/tutorial/how_to_finetune.md new file mode 100644 index 0000000000000000000000000000000000000000..3f04513dfd56365e96416a64c9125c08c979b013 --- /dev/null +++ b/docs/tutorial/how_to_finetune.md @@ -0,0 +1,373 @@ +## **迁移学习** + +### **概述** +迁移学习 (Transfer Learning) 是属于深度学习的一个子研究领域，该研究领域的目标在于利用数据、任务、或模型之间的相似性，将在旧领域学习过的知识，迁移应用于新领域中。通俗的来讲，迁移学习就是运用已有的知识来学习新的知识，例如学会了骑自行车的人也能较快的学会骑电动车。较为常用的一种迁移学习方式是利用预训练模型进行微调，即用户基于当前任务的场景从PaddleHub中选择已训练成功的模型进行新任务训练，且该模型曾经使用的数据集与新场景的数据集情况相近，此时仅需要在当前任务场景的训练过程中使用新场景的数据对模型参数进行微调（**Fine-tune**），即可完成训练任务。迁移学习吸引了很多研究者投身其中，因为它能够很好的解决深度学习中的以下几个问题： +* 一些研究领域只有少量标注数据，且数据标注成本较高，不足以训练一个足够鲁棒的神经网络。 +* 大规模神经网络的训练依赖于大量的计算资源，这对于一般用户而言难以实现。 +* 应对于普适化需求的模型，在特定应用上表现不尽如人意。 + + +为了让开发者更便捷地应用迁移学习，飞桨开源了预训练模型管理工具 PaddleHub。开发者仅仅使用十余行的代码，就能完成迁移学习。本文将为读者全面介绍使用PaddleHub完成迁移学习的方法。 + +### **前置条件** +在开始迁移学习之前，用户需要做好如下工作： +* 用户已安装PaddleHub。 +* 准备好用于迁移学习的数据，用户可以选择使用PaddleHub提供的数据集或者自定义数据集，如果是自定义数据，需要参考“自定义数据集如何Fine-tune”对数据集处理。 +* 使用hub install命令安装或更新用于训练的module，以使用ERNIE模型为例，命令格式如下所示。用户可能在之前的任务中已经安装过相关的预训练模型，但是仍然推荐用户在开始训练前执行此步骤，这样可以保证预训练模型是最新版本。 + + +```python +$ hub install ernie==1.2.0 +``` + +### **迁移学习流程** +用户完成迁移学习前需要先编写好用于迁移学习的脚本。用户编写脚本的过程非常简单，仅需要十余行代码即可完成。整个脚本的编写过程，可以分为如下几个步骤： +1. 导入必要的包。 +2. 加载预训练模型（Module），即加载PaddleHub提供的预训练模型。 +3. 加载数据集（Dataset），用户可以选择使用dataset API加载PaddleHub自带的数据集或者自行编写加载数据集的类来加载自定义数据集。 +4. 配置数据读取器（Reader），负责将dataset的数据进行预处理，以特定格式组织并输入给模型进行训练。 +5. 选择优化策略（Strategy），优化策略包含了多种预训练参数，例如使用什么学习率变化策略，使用哪种类型的优化器，使用什么类型的正则化等。 +6. 设置运行配置（RunConfig），RunConfig包含了一些训练相关的配置，包括是否使用GPU、训练的轮数（Epoch）、训练批次大小（batch_size）等。 +7. 组建训练任务（Task），一个迁移学习训练任务中会包含与该任务相关的Program和上面设置好的数据读取器Reader、运行配置等内容。 +8. 启动Fine-tune，使用Finetune_and_eval函数完成训练和评估。 + +### **学会编写迁移学习训练脚本** +PaddleHub提供了Finetune API和预训练模型完成多种不同任务场景的迁移学习，包括图像分类、文本分类、多标签分类、序列标注、检索式问答任务、回归任务、句子语义相似度计算、阅读理解任务等。本文将以文本分类为例介绍迁移学习脚本的编写方法。 +#### **1. 导入必要的包。** + + +```python +import paddlehub as hub +``` + +#### **2. 加载预训练模型** +使用如下代码加载预训练模型，本例使用ERNIE预训练模型来完成文本分类任务。ERNIE（Enhanced Representation through kNowledge IntEgration）是百度提出的语义表示模型，以Transformer Encoder为网络基本组件，其预训练过程利用了更丰富的语义知识和更多的语义任务，用户可以使用该预训练模型随时逐步引入不同的自定义任务，例如命名实体预测、语篇关系识别、句子顺序预测任务、情感分析等。 + + +```python +module = hub.Module(name="ernie") +``` + + +PaddleHub还提供很多了其它可用于迁移学习的预训练模型, 在PaddleHub的官网上，图像分类、语义模型和情感分析几个目录下的预训练模型都支持迁移学习，用户仅需要将name的取值换成预训练模型名称即可，例如右侧红框中的示例。 + +![](../imgs/Howtofinetune1.png) + + + +#### **3. 加载数据集** +在加载好预训练模型后，我们来加载数据集。用于迁移学习的数据集来源可以分为两种，用户自定义数据集和PaddleHub提供的数据集，使用不同类型的数据集加载方式也有所不同。 +##### **加载PaddleHub自带数据集** +如果用户使用的是PaddleHub自带数据集，则可以通过PaddleHub的数据集API编写一行代码完成加载数据集的动作。 + + +```python +dataset = hub.dataset.ChnSentiCorp() +``` + +其中ChnSentiCorp是中文情感分析数据集，其目标是判断一段文本的情感态度。例如文本是“这道菜很好吃”，则对应的标签为“1”，表示正向评价，又例如“房间太小了”，对应标签为“0”，表示负面评价。PaddleHub还提供了其他的文本分类数据集，用户可以自行选择数据集对应的API替换上面代码中dataset的取值，具体信息如下表所示。 + +|数据集|名称|API| +|:--------:|:--------:|:--------:| +|ChnSentiCorp|中文情感分析数据集|hub.dataset.ChnSentiCorp()| +|LCQMC|哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问答匹配中文数据集，其目标是判断两个问题的语义是否相同。|hub.dataset.LCQMC()| +|NLPCC-DPQA|国际自然语言处理和中文计算会议NLPCC于2016年举办的评测任务数据集，，其目标是选择能够回答问题的答案。|hub.dataset.NLPCC_DPQA()| +|MSRA-NER|微软亚研院发布的数据集，其目标是命名实体识别|hub.dataset.MSRA-NER()| +|Toxic|英文多标签分类数据集|hub.dataset.Toxic()| +|SQUAD|英文阅读理解数据集|hub.dataset.SQUAD()| +|GLUE-CoLA|文本分类任务数据集|hub.dataset.GLUE("CoLA")| +|GLUE-SST-2|情感分析任务数据集|hub.dataset.GLUE("SST-2")| +|GLUE-MNLI|文本推理任务数据集|hub.dataset.GLUE("MNLI_m")| +|GLUE-QQP|句子对分类任务数据集|hub.dataset.GLUE("QQP")| +|GLUE-QNLI|问题推理任务数据集|hub.dataset.GLUE("QNLI")| +|GLUE-STS-B|回归任务数据集|hub.dataset.GLUE("STS-B")| +|GLUE-MRPC|句子对分类任务数据集|hub.dataset.GLUE("MRPC")| +|GLUE-RTE|文本蕴含任务数据集|hub.dataset.GLUE("RTE")| +|XNLI|跨语言自然语言推理数据集|hub.dataset.XNLI(language=zh)| +|ChineseGLUE-TNEWS|今日头条中文新闻（短文本）分类数据集|hub.dataset.TNews()| +|ChineseGLUE-INEWS|互联网情感分析任务数据集|hub.dataset.INews()| +|DRCD|台达阅读理解数据集，属于通用领域繁体中文机器阅读理解数据集|hub.dataset.DRCD()| +|CMRC2018|中文机器阅读理解的跨度提取数据集|hub.dataset.CMRC2018()| +|ChinesGLUE-BQ|智能客服中文问句匹配数据集|hub.dataset.BQ()| +|ChineseGLUE-IFLYTEK|中文长文本分类数据集，该数据集共有1.7万多条关于app应用描述的长文本标注数据|hub.dataset.IFLYTEK()| +|ChineseGLUE-THUCNEWS|中文长文本分类数据集，该数据集共有4万多条中文新闻长文本标注数据，共14个类别|hub.dataset.THUCNEWS()| +|DogCatDataset|由Kaggle提供的数据集，用于图像二分类|hub.dataset.DogCatDataset()| +|Food101|由Kaggle提供的食品图片数据集，含有101种类别|hub.dataset.Food101()| +|Indoor67|由麻省理工学院发布的数据集，其包含67种室内场景，其目标是识别一张室内图片的场景类别。|hub.dataset.Indoor67()| +|Flowers|花卉数据集，数据集有5种类型，包括"roses"，"tulips"，"daisy"，"sunflowers"，"dandelion"|hub.dataset.Flowers()| +|StanfordDogs|斯坦福大学发布的数据集，其包含120个种类的狗，用于做图像分类。|hub.dataset.StanfordDogs()| + + +##### **加载自定义数据集** +* 加载文本类自定义数据集。用户仅需要继承基类BaseNLPDatast，修改数据集存放地址以及类别即可，具体可以参考如下代码。 +``` +from paddlehub.dataset.base_nlp_dataset import BaseNLPDataset +# 构建数据集的类 +class DemoDataset(BaseNLPDataset): + def __init__(self): + # 数据集实际路径 + self.dataset_dir = "path/to/dataset" + super(DemoDataset, self).__init__( + base_path=self.dataset_dir, + train_file="train.tsv", # 训练集存放地址 + dev_file="dev.tsv", # 验证集存放地址 + test_file="test.tsv", # 测试集存放地址 + # 如果还有预测数据（不需要文本类别label），可以放在predict.tsv + predict_file="predict.tsv", + train_file_with_header=True, # 训练集文件是否有列说明 + dev_file_with_header=True, # 验证集文件是否有列说明 + test_file_with_header=True, # 测试集文件是否有列说明 + predict_file_with_header=True, # 预测集文件是否有列说明 + # 数据集类别集合 + label_list=["0", "1"]) +# 通过创建Dataset对象加载自定义文本数据集 +dataset = DemoDataset() +``` + +* 加载图像类自定义数据集。用用户仅需要继承基类BaseCVDatast，修改数据集存放地址即可，具体可以参考如下代码。 +``` +from paddlehub.dataset.base_cv_dataset import BaseCVDataset + +class DemoDataset(BaseCVDataset): + def __init__(self): + # 数据集存放位置 + self.dataset_dir = "/test/data" + super(DemoDataset, self).__init__( + base_path=self.dataset_dir, + train_list_file="train_list.txt", # 训练集存放地址 + validate_list_file="validate_list.txt", # 验证集存放地址 + test_list_file="test_list.txt", # 测试集存放地址 + predict_file="predict_list.txt", # 预测集存放地址 + label_list_file="label_list.txt", # 数据集类别文件所在地址 + # 如果您的数据集类别较少，可以不用定义label_list.txt，可以在最后设置label_list=["数据集所有类别"]。 + ) +# 通过创建Dataset对象加载图像类数据集 +dataset = DemoDataset() +``` + +#### **4. 配置数据预处理器** +通过使用PaddleHub的数据预处理器API来读取NLP或CV的数据集数据。 + + + +```python +reader = hub.reader.ClassifyReader( + dataset=dataset, + vocab_path=module.get_vocab_path(), # 返回预训练模型对应的词表 + max_seq_len=128, # 需要与Step1中context接口传入的序列长度保持一致 + sp_model_path=module.get_spm_path(), # 若module为ernie_tiny则返回对应的子词切分模型，否则返回None + word_dict_path=module.get_word_dict_path()) # 若module为ernie_tiny则返回对应的词语切分模型，否则返回None + +``` + +对于不同的任务类型，用户可以选择不同的Reader。 + +|数据读取器|描述|任务类型|API示例| +|:--------:|:--------:|:--------:|:--------| +|ClassifyReader|适用于Transformer预训练模型(ERNIE/BERT)的数据预处理器。|NLP|reader = hub.reader.ClassifyReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path(),
        max_seq_len=128,
        sp_model_path=module.get_spm_path(),
        word_dict_path=module.get_word_dict_path()) | +|LACClassifyReader|以LAC模块为切词器的数据预处理器，适用于Senta、ELMo等需要以词粒度分词的任务。|NLP|reader = hub.reader.LACClassifyReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path())| +|SequenceLabelReader|适用于Transformer类模型(ERNIE/BERT)的序列标注预处理器。|NLP|reader = hub.reader.SequenceLabelReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path(),
        max_seq_len=128,
        sp_model_path=module.get_spm_path(),
        word_dict_path=module.get_word_dict_path())| +|MultiLabelClassifyReader|适用于Transformer类模型(ERNIE/BERT)的多标签分类预处理器。|NLP|reader = hub.reader.MultiLabelClassifyReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path(),
        max_seq_len=128)| +|ReadingComprehensionReader|适用于Transformer类模型(ERNIE/BERT)的阅读理解任务预处理器。|NLP|reader = hub.reader.ReadingComprehensionReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path(),
        max_seq_length=384)| +|RegressionReader|适用于回归任务的数据预处理器。|NLP|reader = hub.reader.RegressionReader(
        dataset=dataset,
        vocab_path=module.get_vocab_path(),
        max_seq_len=args.max_seq_len)| +|ImageClassificationReader|适用于图像分类数据的预处理器。会修改输入图像的尺寸、进行标准化处理、图像增广处理等操作。|CV|reader = hub.reader.ImageClassificationReader(
        image_width=module.get_expected_image_width(),
        image_height=module.get_expected_image_height(),
        images_mean=module.get_pretrained_images_mean(),
        images_std=module.get_pretrained_images_std(),
        dataset=dataset)| + + +#### **5. 选择优化策略** +在PaddleHub中，Strategy类封装了一系列适用于迁移学习的Fine-tuning策略。Strategy包含了对预训练参数使用什么学习率变化策略，使用哪种类型的优化器，使用什么类型的正则化等。在我们要做的文本分类任务中，我们使用AdamWeightDecayStrategy优化策略。具体可以参考如下代码： + + +```python +strategy = hub.AdamWeightDecayStrategy( + learning_rate=5e-5, # Fine-tune过程中的最大学习率 + weight_decay=0.01, # 模型的正则项参数，默认0.01，如果模型有过拟合倾向，可适当调高这一参数 + warmup_proportion=0.1, #如果warmup_proportion>0, 例如0.1, 则学习率会在前10%的steps中线性增长至最高值learning_rate + # 有两种策略可选： + # （1）linear_decay策略学习率会在最高点后以线性方式衰减; + # （2）noam_decay策略学习率会在最高点以多项式形式衰减； + lr_scheduler="linear_decay", +) +``` + +包括AdamWeightDecayStrategy在内，PaddleHub还提供了多种优化策略的API。 + +|优化策略|描述|API示例| +|:--------:|:--------|:--------| +|DefaultFinetuneStrategy|默认的优化策略。其对应参数如下：
* learning_rate: 全局学习率。默认为1e-4。
* optimizer_name: 优化器名称。默认adam。
* regularization_coeff: 正则化的λ参数。默认为1e-3。
在图像分类任务中推荐使用此优化策略。|strategy = hub.DefaultFinetuneStrategy(
        learning_rate=1e-4,
        optimizer_name="adam",
        regularization_coeff=1e-3)| +|AdamWeightDecayStrategy|基于Adam优化器的学习率衰减策略。其对应参数如下：
* learning_rate: 全局学习率，默认为1e-4。
* lr_scheduler: 学习率调度方法，默认为"linear_decay"。
* warmup_proportion: warmup所占比重。
* weight_decay: 学习率衰减率。
* optimizer_name: 优化器名称，默认为adam。
在文本分类、阅读理解等任务中推荐使用此优化策略。|strategy = hub.AdamWeightDecayStrategy(
        learning_rate=1e-4,
        lr_scheduler="linear_decay",
        warmup_proportion=0.0,
        weight_decay=0.01,
        optimizer_name="adam")| +|L2SPFinetuneStrategy|使用L2SP正则作为惩罚因子的Finetune策略。其对应参数如下：
* learning_rate: 全局学习率。默认为1e-4。
* optimizer_name: 优化器名称。默认adam。
* regularization_coeff: 正则化的λ参数。默认为1e-3。|strategy = hub.L2SPFinetuneStrategy(
        learning_rate=1e-4,
        optimizer_name="adam",
        regularization_coeff=1e-3)| +|ULMFiTStrategy|该策略实现了ULMFiT论文中提出的三种策略：
* Slanted triangular learning rates是一种学习率先上升再下降的策略。
* Discriminative fine-tuning是一种学习率逐层递减的策略，通过该策略可以减缓底层的更新速度。
* Gradual unfreezing是一种逐层解冻的策略，通过该策略可以优先更新上层，再慢慢解冻下层参与更新。
其对应参数如下：
* learning_rate: 全局学习率。默认为1e-4。
* optimizer_name: 优化器名称。默认为adam。
* cut_fraction: 设置Slanted triangular learning rates学习率上升的步数在整个训练总步数中的比例。默认为0.1，如果设置为0，则不采用Slanted triangular learning rates。
* ratio: 设置Slanted triangular learning rates下降的最小学习率与上升的最大学习率的比例关系，默认为32，表示最小学习率是最大学习率的1/32。
* dis_blocks: 设置 Discriminative fine-tuning中的块数。默认为3，如果设置为0，则不采用Discriminative fine-tuning。
* factor: 设置Discriminative fine-tuning的衰减率。默认为2.6，表示下一层的学习率是上一层的1/2.6。
* frz_blocks: 设置Gradual unfreezing中的块数。块的概念同“dis_blocks”中介绍的概念。|strategy = hub.ULMFiTStrategy(
        learning_rate=1e-4,
        optimizer_name="adam",
        cut_fraction=0.1,
        ratio=32,
        dis_blocks=3,
        factor=2.6,
        frz_blocks=3)| + + + +#### **6. 设置运行配置。** +在PaddleHub中，用户可以使用Finetune API中的RunConfig配置Task进行Finetune时使用的参数，包括运行的Epoch次数、batch的大小、是否使用GPU训练等。代码示例如下所示。 + + +```python +config = hub.RunConfig(use_cuda=True, num_epoch=3, batch_size=32, strategy=strategy) +``` + +#### **7. 组建训练任务。** +有了合适的预训练模型，并加载好要迁移的数据集后，我们开始组建一个Task。在PaddleHub中，Task代表了一个Fine-tune的任务。任务中包含了执行该任务相关的Program、数据读取器Reader、运行配置等内容。在这里可以找到文本分类任务对应的Task说明[TextClassifierTask](https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.6/docs/reference/task/text_classify_task.md)。具体实现方案如下： +1. 获取module（PaddleHub的预训练模型）的上下文环境，包括输入和输出的变量，以及Paddle Program（可执行的模型格式）。 +2. 从预训练模型的输出变量中找到特征图提取层feature_map，在feature_map后面接入一个全连接层，如下代码中通过hub.TextClassifierTask的pooled_output参数指定。 +3. 网络的输入层保持不变，依然从输入层开始，如下代码中通过hub.TextClassifierTask的参数feed_list变量指定。 +hub.TextClassifierTask就是通过这两个参数明确我们的截取模型网络的要求，按照这样的配置，我们截取的网络是从输入层一直到特征提取的最后一层“pooled_output”，表示我将使用截出的网络来进行迁移学习训练。 + + +```python +# 获取Module的上下文信息，得到输入、输出以及预训练的Paddle Program副本。 +# trainable设置为True时，Module中的参数在Fine-tune时也会随之训练，否则保持不变。 +# 其中最大序列长度max_seq_len为可调整的参数，建议值为128，根据任务文本长度不同可以进行修改，但最大不超过512。 +# 若序列长度不足，会通过padding方式补到max_seq_len, 若序列长度大于该值，则会以截断方式让序列长度为max_seq_len。 +inputs, outputs, program = module.context(trainable=True, max_seq_len=128) +# 返回ERNIE/BERT模型对应的[CLS]向量,可以用于句子或句对的特征表达。 +pooled_output = outputs["pooled_output"] + +# feed_list的Tensor顺序不可以调整 +# 指定ERNIE中的输入tensor的顺序，与ClassifyReader返回的结果一致 +feed_list = [ + inputs["input_ids"].name, + inputs["position_ids"].name, + inputs["segment_ids"].name, + inputs["input_mask"].name, +] +# 通过输入特征，label与迁移的类别数，可以生成适用于文本分类的迁移任务 +cls_task = hub.TextClassifierTask( + data_reader=reader, # 读取数据的reader + feature=pooled_output, # 从预训练提取的特征矩阵 + feed_list=feed_list, # 待feed变量的名字列表 + num_classes=dataset.num_labels, # 数据集的类别数量 + metrics_choices = ["acc"], + config=config) # 运行配置 +``` + +PaddleHub预置了常见任务的Task，每种Task都有特定的应用场景并提供了对应的度量指标，满足用户的不同需求。 + +|Task类型|描述|任务类型| +|:--------:|:--------:|:--------:| +|ImageClassifierTask|该Task基于输入的特征，添加一个或多个全连接层来创建一个分类任务用于Fine-tune，度量指标为准确率，损失函数为交叉熵Loss。|图像分类任务| +|TextClassifierTask|该Task基于输入的特征，添加一个Dropout层，以及一个或多个全连接层来创建一个文本分类任务用于finetune，度量指标为准确率，损失函数为交叉熵Loss。|文本分类任务| +|SequenceLabelTask|该Task基于输入的特征，添加一个全连接层或者一个全连接层和CRF层来创建一个序列标注任务用于Fine-tune，度量指标为F1，损失函数为交叉熵Loss。|序列标注任务| +|MultiLabelClassifierTask|该Task基于输入的特征，添加一个或多个全连接层来创建一个多标签分类任务用于finetune，度量指标为多个标签的平均AUC，损失函数为多个标签的平均交叉熵。|多标签分类任务| +|RegressionTask|该Task基于输入的特征，添加一个Dropout层，以及一个或多个全连接层来创建一个文本回归任务用于finetune，度量指标为准确率，损失函数为均方差损失函数。|文本回归任务| +|ReadingComprehensionTask|该Task基于输入的特征，添加一个全连接层来创建一个阅读理解任务用于Fine-tune，损失函数为交叉熵Loss。|阅读理解任务| + +在设定每个Task前，用户需要提前了解待迁移学习的预训练模型的输入与输出，即对应上面代码中的“feed_list”和“pooled_output”。具体的输入输出代码可以分为如下几类： +* 图像分类模型 +``` +input_dict, output_dict, program = module.context(trainable=True) +feature_map = output_dict["feature_map"] +feed_list = [input_dict["image"].name] +``` +* 自然语言处理模型（不包括word2vec_skipgram、simnet_bow、文本匹配和文本生成几个模型） +``` +inputs, outputs, program = module.context(trainable=True, max_seq_len=128) +pooled_output = outputs["pooled_output"] +feed_list = [ + inputs["input_ids"].name, + inputs["position_ids"].name, + inputs["segment_ids"].name, + inputs["input_mask"].name, +] +``` +* word2vec_skipgram模型 +``` +inputs, outputs, program = module.context(trainable=True) +word_ids = inputs["word_ids"] +embedding = outputs["word_embs"] +``` +* simnet_bow模型 +``` +inputs, outputs, program = module.context(trainable=True, max_seq_len=args.max_seq_len, num_slots=2) +query = outputs["emb"] +title = outputs['emb_2'] +``` +* Pairwise文本匹配模型 +``` +inputs, outputs, program = module.context(trainable=True, max_seq_len=args.max_seq_len, num_slots=3) +query = outputs["emb"] +left = outputs['emb_2'] +right = outputs['emb_3'] +``` +* Pointwise文本匹配 +``` +inputs, outputs, program = module.context(trainable=True, max_seq_len=args.max_seq_len, num_slots=2) +query = outputs["emb"] +title = outputs['emb_2'] +``` +* 文本生成模型 +``` +inputs, outputs, program = module.context(trainable=True, max_seq_len=128) +pooled_output = outputs["pooled_output"] +sequence_output = outputs["sequence_output"] +``` + +#### **8 启动Fine-tune，使用Finetune_and_eval函数完成训练和评估。** + + +```python +cls_task.finetune_and_eval() +``` + +显示信息如下例所示。可以看到训练的评估结果，Loss值和准确率等等。 +``` +[2020-07-28 21:28:21,658] [ TRAIN] - step 810 / 900: loss=0.05022 acc=0.97813 [step/sec: 4.07] +[2020-07-28 21:28:24,115] [ TRAIN] - step 820 / 900: loss=0.04719 acc=0.98125 [step/sec: 4.07] +[2020-07-28 21:28:26,574] [ TRAIN] - step 830 / 900: loss=0.06895 acc=0.98125 [step/sec: 4.07] +[2020-07-28 21:28:29,035] [ TRAIN] - step 840 / 900: loss=0.07830 acc=0.97813 [step/sec: 4.07] +[2020-07-28 21:28:31,490] [ TRAIN] - step 850 / 900: loss=0.07279 acc=0.97500 [step/sec: 4.08] +[2020-07-28 21:28:33,939] [ TRAIN] - step 860 / 900: loss=0.03220 acc=0.99375 [step/sec: 4.09] +[2020-07-28 21:28:36,388] [ TRAIN] - step 870 / 900: loss=0.05016 acc=0.98750 [step/sec: 4.09] +[2020-07-28 21:28:38,840] [ TRAIN] - step 880 / 900: loss=0.05604 acc=0.98750 [step/sec: 4.08] +[2020-07-28 21:28:41,293] [ TRAIN] - step 890 / 900: loss=0.05622 acc=0.98125 [step/sec: 4.08] +[2020-07-28 21:28:43,748] [ TRAIN] - step 900 / 900: loss=0.06642 acc=0.97813 [step/sec: 4.08] +[2020-07-28 21:28:43,750] [ INFO] - Evaluation on dev dataset start +[2020-07-28 21:28:46,654] [ EVAL] - [dev dataset evaluation result] loss=0.17890 acc=0.94079 [step/sec: 13.23] +[2020-07-28 21:28:46,657] [ INFO] - Evaluation on dev dataset start +[2020-07-28 21:28:49,527] [ EVAL] - [dev dataset evaluation result] loss=0.17890 acc=0.94079 [step/sec: 13.39] +[2020-07-28 21:28:49,529] [ INFO] - Load the best model from ckpt_20200728212416/best_model +[2020-07-28 21:28:50,112] [ INFO] - Evaluation on test dataset start +[2020-07-28 21:28:52,987] [ EVAL] - [test dataset evaluation result] loss=0.14264 acc=0.94819 [step/sec: 13.36] +[2020-07-28 21:28:52,988] [ INFO] - Saving model checkpoint to ckpt_20200728212416/step_900 +[2020-07-28 21:28:55,789] [ INFO] - PaddleHub finetune finished. +``` + +通过Fine-tune完成模型训练后，在对应的ckpt目录（CKPT_DIR）下，PaddleHub会自动保存验证集上效果最好的模型。用户可以参考如下代码进行预测，其中推理出的标签值0表示负向评价，1表示正向评价。。 + + +```python +import numpy as np + + +# 待预测数据 +data = [ + ["这个宾馆比较陈旧了，特价的房间也很一般。总体来说一般"], + ["交通方便；环境很好；服务态度很好 房间较小"], + ["19天硬盘就罢工了，算上运来的一周都没用上15天，可就是不能换了。唉，你说这算什么事呀！"] +] + +index = 0 +run_states = cls_task.predict(data=data) +results = [run_state.run_results for run_state in run_states] +for batch_result in results: + # 预测类别取最大分类概率值 + batch_result = np.argmax(batch_result[0], axis=1) + for result in batch_result: + print("%s\tpredict=%s" % (data[index][0], result)) + index += 1 +``` + +预测结果如下所示。 +``` +[2020-07-28 18:06:45,441] [ INFO] - PaddleHub predict start +[2020-07-28 18:06:45,442] [ INFO] - The best model has been loaded +[2020-07-28 18:06:48,406] [ INFO] - PaddleHub predict finished. + +这个宾馆比较陈旧了，特价的房间也很一般。总体来说一般 predict=0 +交通方便；环境很好；服务态度很好 房间较小 predict=1 +19天硬盘就罢工了，算上运来的一周都没用上15天，可就是不能换了。唉，你说这算什么事呀！ predict=0 +``` + + diff --git a/docs/tutorial/tutorial_index.rst b/docs/tutorial/tutorial_index.rst index 44295eccbad69c55772f6606062bf6ca64f39f45..d6548d6f4a5f5876a6d01cd7cf4edc28f9b14643 100644 --- a/docs/tutorial/tutorial_index.rst +++ b/docs/tutorial/tutorial_index.rst @@ -12,9 +12,10 @@ 命令行工具 自定义数据 Fine-tune模型转化为PaddleHub Module - 自定义任务 + 迁移学习 服务化部署 文本Embedding服务 + 自定义任务 语义相似度计算 ULMFit优化策略 超参优化