diff --git a/docs/FAQ.md b/docs/FAQ.md new file mode 100755 index 0000000000000000000000000000000000000000..e25faab5ad9e230f34f1790db0dcf24fba3328e6 --- /dev/null +++ b/docs/FAQ.md @@ -0,0 +1,68 @@ +# 常见问题 + +## 1. 训练参数如何调整 +> 参考[参数调整文档](appendix/parameters.md) + +## 2. 训练过程因显存不够出错 + +> 通过使用在终端`nvidia-smi`命令，查看GPU是否被其它任务占用，尝试清除其它任务； +> 调低训练时的`batch_size`参数，从而降低显存的要求，注意需等比例调低`learning_rate`等参数； +> 选用更小的模型或backbone。 + +## 3. 是否有更小的模型，适用于更低配置的设备上运行 +> 可以使用模型裁剪，参考文档[模型裁剪使用教程](slim/prune.md)，通过调整裁剪参数，可以控制模型裁剪后的大小，在实际实验中，如VOC检测数据，使用yolov3-mobilenet，原模型大小为XXM，裁剪后为XX M，精度基本保持不变 + +## 4. 如何配置训练时GPU的卡数 +> 通过在终端export环境变量，或在Python代码中设置，可参考文档[CPU/多卡GPU训练](appendix/gpu_configure.md) + +## 5. 想将之前训练的模型参数上继续训练 +> 在训练调用`train`接口时，将`pretrain_weights`设为之前的模型保存路径即可 + + +## 6. PaddleX保存的模型分为正常训练过程中产生、裁剪训练产生、导出为部署模型和量化保存这么多种，有什么差别，怎么区分 + +**不同模型的功能差异** + +>1.正常模型训练保存 +> +>>模型在正常训练过程，每间隔n个epoch保存的模型目录，模型可作为预训练模型参数，可使用PaddleX加载预测、或导出部署模型 + +>2.裁剪训练保存 +> +>>模型在裁剪训练过程，每间隔n个epoch保存的模型目录，模型不可作为预训练模型参数，可使用PaddleX加载预测、或导出部署模型 + +>3.导出部署模型 +> +>>为了模型在服务端部署，导出的模型目录，不可作为预训练模型参数，可使用PaddleX加载预测 + +>4.量化保存模型 +> +>>为了提升模型预测速度，将模型参数进行量化保存的模型目录，模型不可作为预训练模型参数，可使用PaddleX加载预测 + +**区分方法** +>> 通过模型目录下model.yml文件中`status`字段来区别不同的模型类型, 'Normal'、'Prune'、'Infer'、'Quant'分别表示正常模型训练保存、裁剪训练保存、导出的部署模型、量化保存模型 + + +## 7. 模型训练需要太久时间，或者训练速度太慢，怎么提速 +> 1.模型训练速度与用户选定的模型大小，和设定的`batch_size`相关，模型大小可直接参考[模型库](model_zoo.md)中的指标，一般而言，模型越大，训练速度就越慢； + +> 2.在模型速度之外，模型训练完成所需的时间又与用户设定的`num_epochs`迭代轮数相关，用户可以通过观察模型在验证集上的指标来决定是否提示结束掉训练进程（训练时设定`save_interval_epochs`参数，训练过程会每间隔`save_interval_epochs`轮数在验证集上计算指标，并保存模型）； + +## 8. 如何设定迭代的轮数 +> 1. 用户自行训练时，如不确定迭代的轮数，可以将轮数设高一些，同时注意设置`save_interval_epochs`，这样模型迭代每间隔相应轮数就会在验证集上进行评估和保存，可以根据不同轮数模型在验证集上的评估指标，判断模型是否已经收敛，若模型已收敛，可以自行结束训练进程 +> +## 9. 只有CPU，没有GPU，如何提升训练速度 +> 当没有GPU时，可以根据自己的CPU配置，选择是否使用多CPU进行训练，具体配置方式可以参考文档[多卡CPU/GPU训练](appendix/gpu_configure.md) +> +## 10. 电脑不能联网，训练时因为下载预训练模型失败，如何解决 +> 可以预先通过其它方式准备好预训练模型，然后训练时自定义`pretrain_weights`即可，可参考文档[无联网模型训练](how_to_offline_run.md) + +## 11. 每次训练新的模型，都需要重新下载预训练模型，怎样可以下载一次就搞定 +> 1.可以按照9的方式来解决这个问题 +> 2.每次训练前都设定`paddlex.pretrain_dir`路径，如设定`paddlex.pretrain_dir='/usrname/paddlex`，如此下载完的预训练模型会存放至`/usrname/paddlex`目录下，而已经下载在该目录的模型也不会再次重复下载 + +## 12. PaddleX GUI启动时提示"Failed to execute script PaddleX"，如何解决？ +> 1. 请检查目标机器上PaddleX程序所在路径是否包含中文。目前暂不支持中文路径，请尝试将程序移动到英文目录。 +> 2. 如果您的系统是Windows 7或者Windows Server 2012时，原因是缺少MFPlat.DLL/MF.dll/MFReadWrite.dll等OpenCV依赖的DLL，请按如下方式安装桌面体验：通过“我的电脑”-->“属性”-->"管理"打开服务器管理器，点击右上角“管理”选择“添加角色和功能”。点击“服务器选择”-->“功能”，拖动滚动条到最下端，点开“用户界面和基础结构”，勾选“桌面体验”后点击“安装”，等安装完成尝试再次运行PaddleX。 +> 3. 请检查目标机器上是否有其他的PaddleX程序或者进程在运行中，如有请退出或者重启机器看是否解决 +> 4. 请确认运行程序的用户是否有管理员权限，如非管理员权限用户请尝试使用管理员运行看是否成功 diff --git a/docs/README.md b/docs/README.md new file mode 100755 index 0000000000000000000000000000000000000000..df45f14400cac1d6816e9a55ad92dc59ba141650 --- /dev/null +++ b/docs/README.md @@ -0,0 +1,11 @@ +# PaddleX文档 + +PaddleX的使用文档均在本目录结构下。文档采用Read the Docs方式组织，您可以直接访问[在线文档](https://paddlex.readthedocs.io/zh_CN/latest/index.html)进行查阅。 + +## 编译文档 +在本目录下按如下步骤进行文档编译 + +- 安装依赖: `pip install -r requirements.txt` +- 编译: `make html` + +编译完成后，编译文件在`_build`目录下，直接打开`_build/html/index.html`即可查阅。 diff --git a/docs/apis/deploy.md b/docs/apis/deploy.md new file mode 100755 index 0000000000000000000000000000000000000000..4ddc0d90a5a2ac17ab9c9154bddf2421489fd8a7 --- /dev/null +++ b/docs/apis/deploy.md @@ -0,0 +1,38 @@ +# 预测部署-paddlex.deploy + +使用Paddle Inference进行高性能的Python预测部署。更多关于Paddle Inference信息请参考[Paddle Inference文档](https://paddle-inference.readthedocs.io/en/latest/#) + +## Predictor类 + +``` +paddlex.deploy.Predictor(model_dir, use_gpu=False, gpu_id=0, use_mkl=False, use_trt=False, use_glog=False, memory_optimize=True) +``` + +> **参数** + +> > * **model_dir**: 训练过程中保存的模型路径, 注意需要使用导出的inference模型 +> > * **use_gpu**: 是否使用GPU进行预测 +> > * **gpu_id**: 使用的GPU序列号 +> > * **use_mkl**: 是否使用mkldnn加速库 +> > * **use_trt**: 是否使用TensorRT预测引擎 +> > * **use_glog**: 是否打印中间日志 +> > * **memory_optimize**: 是否优化内存使用 + +> > ### 示例 +> > +> > ``` +> > import paddlex +> > +> > model = paddlex.deploy.Predictor(model_dir, use_gpu=True) +> > result = model.predict(image_file) +> > ``` + +### predict 接口 +> ``` +> predict(image, topk=1) +> ``` + +> **参数 + +* **image(str|np.ndarray)**: 待预测的图片路径或np.ndarray，若为后者需注意为BGR格式 +* **topk(int)**: 图像分类时使用的参数，表示预测前topk个可能的分类 diff --git a/docs/apis/index.rst b/docs/apis/index.rst index 9a7b553ff010d713ef3abf233ffc83cc2e58ee22..d58e90d93fd0e5ae78476f9ce0841ca190675f11 100755 --- a/docs/apis/index.rst +++ b/docs/apis/index.rst @@ -1,4 +1,4 @@ -API接口说明 +PaddleX API说明文档 ============================ .. toctree:: @@ -10,3 +10,4 @@ API接口说明 slim.md load_model.md visualize.md + deploy.md diff --git a/docs/change_log.md b/docs/change_log.md deleted file mode 100644 index 25c0c75441c98ca3b141cc392a6c1dfeb38543ca..0000000000000000000000000000000000000000 --- a/docs/change_log.md +++ /dev/null @@ -1,12 +0,0 @@ -# 更新日志 - -## 2020.05.20 - -### PaddleX v1.0.0发布 -- 新增XXX -- 新增XXX - -### PaddleX-GUI V1.0.0发布 -- 新增XXX -- 新增XXX - diff --git a/docs/cv_solutions.md b/docs/cv_solutions.md new file mode 100755 index 0000000000000000000000000000000000000000..4d8482da94423ba5cc4f0695bf3f9669ef5f732a --- /dev/null +++ b/docs/cv_solutions.md @@ -0,0 +1,132 @@ +# PaddleX视觉方案介绍 + +PaddleX针对图像分类、目标检测、实例分割和语义分割4种视觉任务提供了包含模型选择、压缩策略选择、部署方案选择在内的解决方案。用户根据自己的需求选择合适的模型，选择合适的压缩策略来减小模型的计算量和存储体积、加速模型预测推理，最后选择合适的部署方案将模型部署在移动端或者服务器端。 + +## 模型选择 + +### 图像分类 +图像分类任务指的是输入一张图片，模型预测图片的类别，如识别为风景、动物、车等。 + +![](./images/image_classification.png) + +对于图像分类任务，针对不同的应用场景，PaddleX提供了百度改进的模型，见下表所示: +> 表中GPU预测速度是使用PaddlePaddle Python预测接口测试得到（测试GPU型号为Nvidia Tesla P40）。 +> 表中CPU预测速度 (测试CPU型号为)。 +> 表中骁龙855预测速度是使用处理器为骁龙855的手机测试得到。 +> 测速时模型输入大小为224 x 224，Top1准确率为ImageNet-1000数据集上评估所得。 + +| 模型 | 模型特点 | 存储体积 | GPU预测速度（毫秒） | CPU(x86)预测速度（毫秒） | 骁龙855(ARM)预测速度 （毫秒）| Top1准确率 | +| :--------- | :------ | :---------- | :-----------| :------------- | :------------- |:--- | +| MobileNetV3_small_ssld | 轻量高速，适用于追求高速的实时移动端场景 | 12.5MB | 7.08837 | - | 6.546 | 71.3.0% | +| ShuffleNetV2 | 轻量级模型，精度相对偏低，适用于要求更小存储体积的实时移动端场景 | 10.2MB | 15.40 | - | 10.941 | 68.8% | +| MobileNetV3_large_ssld | 轻量级模型，在存储方面优势不大，在速度和精度上表现适中，适合于移动端场景 | 22.8MB | 8.06651 | - | 19.803 | 79.0% | +| MobileNetV2 | 轻量级模型，适用于使用GPU预测的移动端场景 | 15.0MB | 5.92667 | - | 23.318| 72.2 % | +| ResNet50_vd_ssld | 高精度模型，预测时间较短，适用于大多数的服务器端场景 | 103.5MB | 7.79264 | - | - | 82.4% | +| ResNet101_vd_ssld | 超高精度模型，预测时间相对较长，适用于有大数据量时的服务器端场景 | 180.5MB | 13.34580 | - | -| 83.7% | +| Xception65 | 超高精度模型，预测时间更长，在处理较大数据量时有较高的精度，适用于服务器端场景 | 161.6MB | 13.87017 | - | - | 80.3% | + +包括上述模型，PaddleX支持近20种图像分类模型，其余模型可参考[PaddleX模型库](../appendix/model_zoo.md) + + +### 目标检测 +目标检测任务指的是输入图像，模型识别出图像中物体的位置（用矩形框框出来，并给出框的位置），和物体的类别，如在手机等零件质检中，用于检测外观上的瑕疵等。 + +![](./images/object_detection.png) + +对于目标检测，针对不同的应用场景，PaddleX提供了主流的YOLOv3模型和Faster-RCNN模型，见下表所示 +> 表中GPU预测速度是使用PaddlePaddle Python预测接口测试得到（测试GPU型号为Nvidia Tesla P40）。 +> 表中CPU预测速度 (测试CPU型号为)。 +> 表中骁龙855预测速度是使用处理器为骁龙855的手机测试得到。 +> 测速时YOLOv3的输入大小为608 x 608，FasterRCNN的输入大小为800 x 1333，Box mmAP为COCO2017数据集上评估所得。 + +| 模型 | 模型特点 | 存储体积 | GPU预测速度 | CPU(x86)预测速度（毫秒） | 骁龙855(ARM)预测速度 （毫秒）| Box mmAP | +| :------- | :------- | :--------- | :---------- | :------------- | :------------- |:--- | +| YOLOv3-MobileNetV3_larget | 适用于追求高速预测的移动端场景 | 100.7MB | 143.322 | - | - | 31.6 | +| YOLOv3-MobileNetV1 | 精度相对偏低，适用于追求高速预测的服务器端场景 | 99.2MB| 15.422 | - | - | 29.3 | +| YOLOv3-DarkNet53 | 在预测速度和模型精度上都有较好的表现，适用于大多数的服务器端场景| 249.2MB | 42.672 | - | - | 38.9 | +| FasterRCNN-ResNet50-FPN | 经典的二阶段检测器，预测速度相对较慢，适用于重视模型精度的服务器端场景 | 167.MB | 83.189 | - | -| 37.2 | +| FasterRCNN-HRNet_W18-FPN | 适用于对图像分辨率较为敏感、对目标细节预测要求更高的服务器端场景 | 115.5MB | 81.592 | - | - | 36 | +| FasterRCNN-ResNet101_vd-FPN | 超高精度模型，预测时间更长，在处理较大数据量时有较高的精度，适用于服务器端场景 | 244.3MB | 156.097 | - | - | 40.5 | + +除上述模型外，YOLOv3和Faster RCNN还支持其他backbone，详情可参考[PaddleX模型库](../appendix/model_zoo.md) + +### 实例分割 +在目标检测中，模型识别出图像中物体的位置和物体的类别。而实例分割则是在目标检测的基础上，做了像素级的分类，将框内的属于目标物体的像素识别出来。 + +![](./images/instance_segmentation.png) + +PaddleX目前提供了实例分割MaskRCNN模型，支持5种不同的backbone网络，详情可参考[PaddleX模型库](../appendix/model_zoo.md) +> 表中GPU预测速度是使用PaddlePaddle Python预测接口测试得到（测试GPU型号为Nvidia Tesla P40）。 +> 表中CPU预测速度 (测试CPU型号为)。 +> 表中骁龙855预测速度是使用处理器为骁龙855的手机测试得到。 +> 测速时MaskRCNN的输入大小为800 x 1333，Box mmAP和Seg mmAP为COCO2017数据集上评估所得。 + +| 模型 | 模型特点 | 存储体积 | GPU预测速度 | CPU(x86)预测速度（毫秒） | 骁龙855(ARM)预测速度 （毫秒）| Box mmAP | Seg mmAP | +| :---- | :------- | :---------- | :---------- | :----- | :----- | :--- |:--- | +| MaskRCNN-HRNet_W18-FPN | 适用于对图像分辨率较为敏感、对目标细节预测要求更高的服务器端场景 | - | - | - | - | 37.0 | 33.4 | +| MaskRCNN-ResNet50-FPN | 精度较高，适合大多数的服务器端场景| 185.5M | - | - | - | 37.9 | 34.2 | +| MaskRCNN-ResNet101_vd-FPN | 高精度但预测时间更长，在处理较大数据量时有较高的精度，适用于服务器端场景 | 268.6M | - | - | - | 41.4 | 36.8 | + +### 语义分割 +语义分割用于对图像做像素级的分类，应用在人像分类、遥感图像识别等场景。 + +![](./images/semantic_segmentation.png) + +对于语义分割，PaddleX也针对不同的应用场景，提供了不同的模型选择，如下表所示 +> 表中GPU预测速度是使用PaddlePaddle Python预测接口测试得到（测试GPU型号为Nvidia Tesla P40）。 +> 表中CPU预测速度 (测试CPU型号为)。 +> 表中骁龙855预测速度是使用处理器为骁龙855的手机测试得到。 +> 测速时模型的输入大小为1024 x 2048，mIOU为Cityscapes数据集上评估所得。 + +| 模型 | 模型特点 | 存储体积 | GPU预测速度 | CPU(x86)预测速度（毫秒） | 骁龙855(ARM)预测速度 （毫秒）| mIOU | +| :---- | :------- | :---------- | :---------- | :----- | :----- |:--- | +| DeepLabv3p-MobileNetV2_x1.0 | 轻量级模型，适用于移动端场景| - | - | - | 69.8% | +| HRNet_W18_Small_v1 | 轻量高速，适用于移动端场景 | - | - | - | - | +| FastSCNN | 轻量高速，适用于追求高速预测的移动端或服务器端场景 | - | - | - | 69.64 | +| HRNet_W18 | 高精度模型，适用于对图像分辨率较为敏感、对目标细节预测要求更高的服务器端场景| - | - | - | 79.36 | +| DeepLabv3p-Xception65 | 高精度但预测时间更长，在处理较大数据量时有较高的精度，适用于服务器且背景复杂的场景| - | - | - | 79.3% | + +## 压缩策略选择 + +PaddleX提供包含模型剪裁、定点量化的模型压缩策略来减小模型的计算量和存储体积，加快模型部署后的预测速度。使用不同压缩策略在图像分类、目标检测和语义分割模型上的模型精度和预测速度详见以下内容，用户可以选择根据自己的需求选择合适的压缩策略，进一步优化模型的性能。 + +| 压缩策略 | 策略特点 | +| :---- | :------- | +| 量化 | 较为显著地减少模型的存储体积，适用于移动端或服务期端TensorRT部署，在移动端对于MobileNet系列模型有明显的加速效果 | +| 剪裁 | 能够去除冗余的参数，达到显著减少参数计算量和模型体积的效果，提升模型的预测性能，适用于CPU部署或移动端部署（GPU上无明显加速效果） | +| 先剪裁后量化 | 可以进一步提升模型的预测性能，适用于移动端或服务器端TensorRT部署 | + +### 性能对比 + +* 表中各指标的格式为XXX/YYY，XXX表示未采取压缩策略时的指标，YYY表示压缩后的指标 +* 分类模型的准确率指的是ImageNet-1000数据集上的Top1准确率(模型输入大小为224x224)，检测模型的准确率指的是COCO2017数据集上的mmAP(模型输入大小为608x608)，分割模型的准确率指的是Cityscapes数据集上mIOU(模型输入大小为769x769) +* 量化策略中，PaddleLiter推理环境为Qualcomm SnapDragon 855 + armv8，速度指标为Thread4耗时 +* 剪裁策略中，PaddleLiter推理环境为Qualcomm SnapDragon 845 + armv8，速度指标为Thread4耗时 + + +| 模型 | 压缩策略 | 存储体积(MB) | 准确率(%) | PaddleLite推理耗时(ms) | +| :--: | :------: | :------: | :----: | :----------------: | +| MobileNetV1 | 量化 | 17/4.4 | 70.99/70.18 | 10.0811/4.2934 | +| MobileNetV1 | 剪裁 -30% | 17/12 | 70.99/70.4 | 19.5762/13.6982 | +| YOLOv3-MobileNetV1 | 量化 | 95/25 | 29.3/27.9 | - | +| YOLOv3-MobileNetV1 | 剪裁 -51.77% | 95/25 | 29.3/26 | - | +| Deeplabv3-MobileNetV2 | 量化 | 7.4/1.8 | 63.26/62.03 | 593.4522/484.0018 | +| FastSCNN | 剪裁 -47.60% | 11/5.7 | 69.64/66.68 | 415.664/291.748 | + +更多模型在不同设备上压缩前后的指标对比详见[PaddleX压缩模型库](appendix/slim_model_zoo.md) + +压缩策略的具体使用流程详见[模型压缩](tutorials/compress) + +**注意：PaddleX中全部图像分类模型和语义分割模型都支持量化和剪裁操作，目标检测仅有YOLOv3支持量化和剪裁操作。** + +## 模型部署 + +PaddleX提供服务器端python部署、服务器端c++部署、服务器端加密部署、OpenVINO部署、移动端部署共5种部署方案，用户可以根据自己的需求选择合适的部署方案，点击以下链接了解部署的具体流程。 + +| 部署方案 | 部署流程 | +| :------: | :------: | +| 服务器端python部署 | [部署流程](tutorials/deploy/deploy_server/deploy_python.html)| +| 服务器端c++部署 | [部署流程](tutorials/deploy/deploy_server/deploy_cpp/) | +| 服务器端加密部署 | [部署流程](tutorials/deploy/deploy_server/encryption.html) | +| OpenVINO部署 | [部署流程](tutorials/deploy/deploy_openvino.html) | +| 移动端部署 | [部署流程](tutorials/deploy/deploy_lite.html) | diff --git a/docs/data/annotation/classification.md b/docs/data/annotation/classification.md deleted file mode 100644 index d6f03649ec0f0e19a2a018c147e4643170bd7dd3..0000000000000000000000000000000000000000 --- a/docs/data/annotation/classification.md +++ /dev/null @@ -1 +0,0 @@ -# 图像分类数据准备 diff --git a/docs/data/annotation/conversion.md b/docs/data/annotation/conversion.md deleted file mode 100644 index 368061a6e07a3ac664e6bf475e2b65d07eaa8dc6..0000000000000000000000000000000000000000 --- a/docs/data/annotation/conversion.md +++ /dev/null @@ -1 +0,0 @@ -# 标注数据格式转换 diff --git a/docs/data/annotation/index.rst b/docs/data/annotation/index.rst deleted file mode 100755 index 27eee50ecab85e3e090f96e492c9bcb9b7bae2bd..0000000000000000000000000000000000000000 --- a/docs/data/annotation/index.rst +++ /dev/null @@ -1,13 +0,0 @@ -数据标注 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - classification.md - object_detection.md - instance_segmentation.md - semantic_segmentation.md - conversion.md diff --git a/docs/data/annotation/instance_segmentation.md b/docs/data/annotation/instance_segmentation.md deleted file mode 100644 index 86d1597d385021fbfac799bd9952836a068caaa6..0000000000000000000000000000000000000000 --- a/docs/data/annotation/instance_segmentation.md +++ /dev/null @@ -1 +0,0 @@ -# 实例分割数据标注 diff --git a/docs/data/annotation/object_detection.md b/docs/data/annotation/object_detection.md deleted file mode 100644 index 0472b4e37403f16a74f2826f48418e647d9862fa..0000000000000000000000000000000000000000 --- a/docs/data/annotation/object_detection.md +++ /dev/null @@ -1 +0,0 @@ -# 目标检测数据标注 diff --git a/docs/data/annotation/semantic_segmentation.md b/docs/data/annotation/semantic_segmentation.md deleted file mode 100644 index c87407888e213d2effc8630545e87e8315aa3500..0000000000000000000000000000000000000000 --- a/docs/data/annotation/semantic_segmentation.md +++ /dev/null @@ -1 +0,0 @@ -# 语义分割数据标注 diff --git a/docs/data/format/classification.md b/docs/data/format/classification.md deleted file mode 100644 index b0e756aea5155b88218d5cfddbd785f28b33362d..0000000000000000000000000000000000000000 --- a/docs/data/format/classification.md +++ /dev/null @@ -1 +0,0 @@ -# 图像分类 diff --git a/docs/data/format/detection.md b/docs/data/format/detection.md deleted file mode 100644 index 1659d9cad37505bc829e5fe2c6d2adca8055f63a..0000000000000000000000000000000000000000 --- a/docs/data/format/detection.md +++ /dev/null @@ -1 +0,0 @@ -# 目标检测和实例分割 diff --git a/docs/data/format/index.rst b/docs/data/format/index.rst deleted file mode 100755 index a89ba94739f3b59d9ed889f245b58f6541816bd7..0000000000000000000000000000000000000000 --- a/docs/data/format/index.rst +++ /dev/null @@ -1,11 +0,0 @@ -PaddleX数据格式说明 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - classification.md - detection.md - segmentation.md diff --git a/docs/data/format/segmentation.md b/docs/data/format/segmentation.md deleted file mode 100644 index ea2f90de05f3d7ddcf4aca6b6eded7e8ab6369c9..0000000000000000000000000000000000000000 --- a/docs/data/format/segmentation.md +++ /dev/null @@ -1 +0,0 @@ -# 语义分割 diff --git a/docs/data/index.rst b/docs/data/index.rst deleted file mode 100755 index aa7350873494aec0bb0f5cc74fd1b1ee2cc99ba4..0000000000000000000000000000000000000000 --- a/docs/data/index.rst +++ /dev/null @@ -1,10 +0,0 @@ -数据准备 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - annotation/index - format/index diff --git a/docs/datasets.md b/docs/datasets.md new file mode 100644 index 0000000000000000000000000000000000000000..060756fd062332c49cc7adcc6958926a555ed895 --- /dev/null +++ b/docs/datasets.md @@ -0,0 +1,2 @@ +# 数据集格式说明 +该部分内容已迁移至[附录](./appendix/datasets.md) diff --git a/docs/deploy/index.rst b/docs/deploy/index.rst deleted file mode 100755 index d2c963a0f2063dd83ae4810438914950941cf608..0000000000000000000000000000000000000000 --- a/docs/deploy/index.rst +++ /dev/null @@ -1,12 +0,0 @@ -模型部署 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - server/index - nvidia-jetson.md - openvino/index - paddlelite/index diff --git a/docs/deploy/nvidia-jetson.md b/docs/deploy/nvidia-jetson.md deleted file mode 100644 index 4eac7ee453bdb71bb3de3035692d07dec2d30e9c..0000000000000000000000000000000000000000 --- a/docs/deploy/nvidia-jetson.md +++ /dev/null @@ -1 +0,0 @@ -# Nvidia-Jetson开发板 diff --git a/docs/deploy/openvino/index.rst b/docs/deploy/openvino/index.rst deleted file mode 100755 index 3f3ee83919b3c7e7e7c2d03cbd3d451803042a14..0000000000000000000000000000000000000000 --- a/docs/deploy/openvino/index.rst +++ /dev/null @@ -1,11 +0,0 @@ -OpenVINO部署 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - windows.md - linux.md - intel_movidius.md diff --git a/docs/deploy/openvino/intel_movidius.md b/docs/deploy/openvino/intel_movidius.md deleted file mode 100644 index ec514562b7738abe86654e08af044b22ec450f6c..0000000000000000000000000000000000000000 --- a/docs/deploy/openvino/intel_movidius.md +++ /dev/null @@ -1 +0,0 @@ -# Intel计算棒 diff --git a/docs/deploy/openvino/linux.md b/docs/deploy/openvino/linux.md deleted file mode 100644 index 4825da6366435f098145e42ca7b88fc6d4f84255..0000000000000000000000000000000000000000 --- a/docs/deploy/openvino/linux.md +++ /dev/null @@ -1 +0,0 @@ -# Linux平台 diff --git a/docs/deploy/openvino/windows.md b/docs/deploy/openvino/windows.md deleted file mode 100644 index 30cdf17ded910bfda9286e5f700525c9b1bb777b..0000000000000000000000000000000000000000 --- a/docs/deploy/openvino/windows.md +++ /dev/null @@ -1 +0,0 @@ -# Windows平台 diff --git a/docs/deploy/paddlelite/android.md b/docs/deploy/paddlelite/android.md deleted file mode 100644 index 738a3ac7127950e1e1ab235538f0d427534bbe15..0000000000000000000000000000000000000000 --- a/docs/deploy/paddlelite/android.md +++ /dev/null @@ -1 +0,0 @@ -# Android平台 diff --git a/docs/deploy/paddlelite/index.rst b/docs/deploy/paddlelite/index.rst deleted file mode 100755 index f10931a72b57774630f5aaf1b3dbea4ec3be0acf..0000000000000000000000000000000000000000 --- a/docs/deploy/paddlelite/index.rst +++ /dev/null @@ -1,10 +0,0 @@ -PaddleLite移动端部署 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - slim/index - android.md diff --git a/docs/deploy/paddlelite/slim/prune.md b/docs/deploy/paddlelite/slim/prune.md deleted file mode 100644 index d6dce828e2a25d1242f9f3aecaa8b8dc1d04e5b9..0000000000000000000000000000000000000000 --- a/docs/deploy/paddlelite/slim/prune.md +++ /dev/null @@ -1 +0,0 @@ -# 模型裁剪 diff --git a/docs/deploy/paddlelite/slim/quant.md b/docs/deploy/paddlelite/slim/quant.md deleted file mode 100644 index 19de6a8251c8bb22e60ad812a430ed4af83957e4..0000000000000000000000000000000000000000 --- a/docs/deploy/paddlelite/slim/quant.md +++ /dev/null @@ -1 +0,0 @@ -# 模型量化 diff --git a/docs/deploy/server/encrytion.md b/docs/deploy/server/encrytion.md deleted file mode 100644 index c5c6b54076761c7e15a6e0b661f3e6eb6485a947..0000000000000000000000000000000000000000 --- a/docs/deploy/server/encrytion.md +++ /dev/null @@ -1 +0,0 @@ -# 模型加密部署 diff --git a/docs/deploy/server/index.rst b/docs/deploy/server/index.rst deleted file mode 100755 index 0fc4985f0277897ca39de06d031520a139052643..0000000000000000000000000000000000000000 --- a/docs/deploy/server/index.rst +++ /dev/null @@ -1,11 +0,0 @@ -服务端部署 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - windows.md - linux.md - encryption.md diff --git a/docs/deploy/server/linux.md b/docs/deploy/server/linux.md deleted file mode 100644 index 345abeee1b8c41a835479eca02f7d48473a9ee7f..0000000000000000000000000000000000000000 --- a/docs/deploy/server/linux.md +++ /dev/null @@ -1 +0,0 @@ -# Linux服务端部署 diff --git a/docs/deploy/server/windows.md b/docs/deploy/server/windows.md deleted file mode 100644 index 06bcee7d4f96a60505476ff0cf0dc5f2740c6d28..0000000000000000000000000000000000000000 --- a/docs/deploy/server/windows.md +++ /dev/null @@ -1 +0,0 @@ -# Windows服务端部署 diff --git a/docs/examples/human_segmentation/index.rst b/docs/examples/human_segmentation/index.rst deleted file mode 100755 index ea4d395da595431a291dbd05c857f97f70793380..0000000000000000000000000000000000000000 --- a/docs/examples/human_segmentation/index.rst +++ /dev/null @@ -1,5 +0,0 @@ -人像分割案例 -======================================= - - -这里面写人像分割案例，可根据需求拆分为多个文档 diff --git a/docs/examples/index.rst b/docs/examples/index.rst deleted file mode 100755 index f01fded9bf32d45b02856ac1f582eebc7029ff05..0000000000000000000000000000000000000000 --- a/docs/examples/index.rst +++ /dev/null @@ -1,12 +0,0 @@ -产业案例集 -======================================= - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - solutions.md - meter_reading/index - human_segmentation/index - remote_sensing/index diff --git a/docs/examples/meter_reading/index.rst b/docs/examples/meter_reading/index.rst deleted file mode 100755 index 1e4eede02894a774db4615515f437630ac0e8628..0000000000000000000000000000000000000000 --- a/docs/examples/meter_reading/index.rst +++ /dev/null @@ -1,5 +0,0 @@ -工业表计读数案例 -======================================= - - -这里面写表计读数案例，可根据需求拆分为多个文档 diff --git a/docs/examples/remote_sensing/index.rst b/docs/examples/remote_sensing/index.rst deleted file mode 100755 index dc375659be121c4bd04843fd281416a4d00ad865..0000000000000000000000000000000000000000 --- a/docs/examples/remote_sensing/index.rst +++ /dev/null @@ -1,5 +0,0 @@ -遥感分割案例 -======================================= - - -这里面写遥感分割案例，可根据需求拆分为多个文档 diff --git a/docs/examples/solutions.md b/docs/examples/solutions.md deleted file mode 100644 index b9bae385b0392d6df5f90352e2cfe3de732e7d48..0000000000000000000000000000000000000000 --- a/docs/examples/solutions.md +++ /dev/null @@ -1 +0,0 @@ -# PaddleX模型介绍 diff --git a/docs/images/00_loaddata.png b/docs/images/00_loaddata.png new file mode 100755 index 0000000000000000000000000000000000000000..d837e655b323943d1c094651d959c727e3b97145 Binary files /dev/null and b/docs/images/00_loaddata.png differ diff --git a/docs/images/01_datasplit.png b/docs/images/01_datasplit.png new file mode 100755 index 0000000000000000000000000000000000000000..6e415e7d81c2021b8e7f842d5a5a9b6f79c83b08 Binary files /dev/null and b/docs/images/01_datasplit.png differ diff --git a/docs/images/02_newproject.png b/docs/images/02_newproject.png new file mode 100755 index 0000000000000000000000000000000000000000..adf65d113eb7f6d644a5aedbd051856a0f9f3f28 Binary files /dev/null and b/docs/images/02_newproject.png differ diff --git a/docs/images/03_choosedata.png b/docs/images/03_choosedata.png new file mode 100755 index 0000000000000000000000000000000000000000..d9b0c83ec75978328e1f995b1d6f56a5ee4b5052 Binary files /dev/null and b/docs/images/03_choosedata.png differ diff --git a/docs/images/04_parameter.png b/docs/images/04_parameter.png new file mode 100755 index 0000000000000000000000000000000000000000..398c74c1fc3a00eb8ac1ceb7d811887584fcbbbe Binary files /dev/null and b/docs/images/04_parameter.png differ diff --git a/docs/images/05_train.png b/docs/images/05_train.png new file mode 100755 index 0000000000000000000000000000000000000000..a299238432098648259d622fb4d6017790478ea8 Binary files /dev/null and b/docs/images/05_train.png differ diff --git a/docs/images/06_VisualDL.png b/docs/images/06_VisualDL.png new file mode 100755 index 0000000000000000000000000000000000000000..3e9642f07809b85fe1652f81916ce5f3928e1c92 Binary files /dev/null and b/docs/images/06_VisualDL.png differ diff --git a/docs/images/07_evaluate.png b/docs/images/07_evaluate.png new file mode 100755 index 0000000000000000000000000000000000000000..b663009afc974f87101825496ec4b0beac067953 Binary files /dev/null and b/docs/images/07_evaluate.png differ diff --git a/docs/images/08_deploy.png b/docs/images/08_deploy.png new file mode 100755 index 0000000000000000000000000000000000000000..f0f6cbfedef8a58d6f7cc0e4105ca32bb8002031 Binary files /dev/null and b/docs/images/08_deploy.png differ diff --git a/docs/images/PaddleX-Pipe-Line.png b/docs/images/PaddleX-Pipe-Line.png new file mode 100755 index 0000000000000000000000000000000000000000..7831d256a7159d465a8cfd4977430639b30b9829 Binary files /dev/null and b/docs/images/PaddleX-Pipe-Line.png differ diff --git a/docs/images/QQGroup.jpeg b/docs/images/QQGroup.jpeg new file mode 100755 index 0000000000000000000000000000000000000000..de6fa4fd70aee1631cc99e6fd1414287723ccdb2 Binary files /dev/null and b/docs/images/QQGroup.jpeg differ diff --git a/docs/images/anaconda_windows.png b/docs/images/anaconda_windows.png new file mode 100755 index 0000000000000000000000000000000000000000..fe1c62ff6134f1d3cba928d91940f404ae9ac11d Binary files /dev/null and b/docs/images/anaconda_windows.png differ diff --git a/docs/images/cls_eval.png b/docs/images/cls_eval.png new file mode 100755 index 0000000000000000000000000000000000000000..625166920f32e5fe4ef8c4f3ddcc7d35259ba021 Binary files /dev/null and b/docs/images/cls_eval.png differ diff --git a/docs/images/cls_train.png b/docs/images/cls_train.png new file mode 100755 index 0000000000000000000000000000000000000000..b6ccd88dc7365b1f98e985bf34c42d76a2ede958 Binary files /dev/null and b/docs/images/cls_train.png differ diff --git a/docs/images/faster_eval.png b/docs/images/faster_eval.png new file mode 100755 index 0000000000000000000000000000000000000000..31f59266e24fd51c9462d2b1f2e1cfa8e4af4fcf Binary files /dev/null and b/docs/images/faster_eval.png differ diff --git a/docs/images/faster_train.png b/docs/images/faster_train.png new file mode 100755 index 0000000000000000000000000000000000000000..611c56dabb445bff9681eb48aac3ed407d791eb0 Binary files /dev/null and b/docs/images/faster_train.png differ diff --git a/docs/images/garbage.bmp b/docs/images/garbage.bmp new file mode 100755 index 0000000000000000000000000000000000000000..ba652f41584ed43abf0431208c6de597a4cacd7b Binary files /dev/null and b/docs/images/garbage.bmp differ diff --git a/docs/images/image_classification.png b/docs/images/image_classification.png new file mode 100644 index 0000000000000000000000000000000000000000..093b132c3c713e9d4842e70113ebdbbed38a914f Binary files /dev/null and b/docs/images/image_classification.png differ diff --git a/docs/images/instance_segmentation.png b/docs/images/instance_segmentation.png new file mode 100644 index 0000000000000000000000000000000000000000..b697981e8d522a8a14729ab97a3797f7ea426dbc Binary files /dev/null and b/docs/images/instance_segmentation.png differ diff --git a/docs/images/lime.png b/docs/images/lime.png new file mode 100644 index 0000000000000000000000000000000000000000..801be69b57c80ad92dcc0ca69bf1a0a4de074b0f Binary files /dev/null and b/docs/images/lime.png differ diff --git a/docs/images/mask_eval.png b/docs/images/mask_eval.png new file mode 100755 index 0000000000000000000000000000000000000000..6365f081de680dec735c3c30e03ab468e88315a7 Binary files /dev/null and b/docs/images/mask_eval.png differ diff --git a/docs/images/mask_train.png b/docs/images/mask_train.png new file mode 100755 index 0000000000000000000000000000000000000000..f43bf8cf9bd5e43c157dfd59ee1f382e2fd41fa0 Binary files /dev/null and b/docs/images/mask_train.png differ diff --git a/docs/images/normlime.png b/docs/images/normlime.png new file mode 100644 index 0000000000000000000000000000000000000000..dd9a2f8f96a3ade26179010f340c7c5185bf0656 Binary files /dev/null and b/docs/images/normlime.png differ diff --git a/docs/images/object_detection.png b/docs/images/object_detection.png new file mode 100644 index 0000000000000000000000000000000000000000..a322de78d5664347d80022b6a0c97e8555b12120 Binary files /dev/null and b/docs/images/object_detection.png differ diff --git a/docs/images/paddlex.jpg b/docs/images/paddlex.jpg new file mode 100755 index 0000000000000000000000000000000000000000..421e9e1155fb347a2e57f5e4a21f0a4e1ddbd21c Binary files /dev/null and b/docs/images/paddlex.jpg differ diff --git a/docs/images/paddlex.png b/docs/images/paddlex.png new file mode 100755 index 0000000000000000000000000000000000000000..12738b6445ab2da2f5343856ce5f52ff3cb87b0d Binary files /dev/null and b/docs/images/paddlex.png differ diff --git a/docs/images/seg_eval.png b/docs/images/seg_eval.png new file mode 100755 index 0000000000000000000000000000000000000000..978b1ce3ecea799eb5fa81fe60f68ed2f4526838 Binary files /dev/null and b/docs/images/seg_eval.png differ diff --git a/docs/images/seg_train.png b/docs/images/seg_train.png new file mode 100755 index 0000000000000000000000000000000000000000..9490a9022b07d6da62a333362238fb8b86d64aa4 Binary files /dev/null and b/docs/images/seg_train.png differ diff --git a/docs/images/semantic_segmentation.png b/docs/images/semantic_segmentation.png new file mode 100644 index 0000000000000000000000000000000000000000..b59cc601685b8e6227c9b889fb6498bd011fc258 Binary files /dev/null and b/docs/images/semantic_segmentation.png differ diff --git a/docs/images/vdl1.jpg b/docs/images/vdl1.jpg new file mode 100644 index 0000000000000000000000000000000000000000..5b0c90d28bc9bda583008fe2fb9729a7c3e06df6 Binary files /dev/null and b/docs/images/vdl1.jpg differ diff --git a/docs/images/vdl2.jpg b/docs/images/vdl2.jpg new file mode 100644 index 0000000000000000000000000000000000000000..502a5f861104e2b20869b06cf8eb215ec58f0435 Binary files /dev/null and b/docs/images/vdl2.jpg differ diff --git a/docs/images/vdl3.jpg b/docs/images/vdl3.jpg new file mode 100644 index 0000000000000000000000000000000000000000..a16d6924d8867949ecae258ee588296845c6da86 Binary files /dev/null and b/docs/images/vdl3.jpg differ diff --git a/docs/images/visualized_deeplab.jpg b/docs/images/visualized_deeplab.jpg new file mode 100755 index 0000000000000000000000000000000000000000..b417728e3385f6eb83885f388c988e2893966e42 Binary files /dev/null and b/docs/images/visualized_deeplab.jpg differ diff --git a/docs/images/visualized_fasterrcnn.jpg b/docs/images/visualized_fasterrcnn.jpg new file mode 100755 index 0000000000000000000000000000000000000000..fe1ca0ed6346ef3e62206527ce23577554596e4c Binary files /dev/null and b/docs/images/visualized_fasterrcnn.jpg differ diff --git a/docs/images/visualized_maskrcnn.jpeg b/docs/images/visualized_maskrcnn.jpeg new file mode 100755 index 0000000000000000000000000000000000000000..dead77b758aaa5e3755847c4af295be8b1d774be Binary files /dev/null and b/docs/images/visualized_maskrcnn.jpeg differ diff --git a/docs/images/voc_eval.png b/docs/images/voc_eval.png new file mode 100755 index 0000000000000000000000000000000000000000..f99ded08a637986d0256e85009eb9568912b2811 Binary files /dev/null and b/docs/images/voc_eval.png differ diff --git a/docs/images/yolo_train.png b/docs/images/yolo_train.png new file mode 100755 index 0000000000000000000000000000000000000000..4ab97aca5be9c8b9f0d03cc5f1c4dd8d265d69a7 Binary files /dev/null and b/docs/images/yolo_train.png differ diff --git a/docs/index.rst b/docs/index.rst index 45616d4bbe043c236ff5762e4c364c433cb0380c..1d8d9c0c124dd0015e7b90634fcb1b1551db87f5 100755 --- a/docs/index.rst +++ b/docs/index.rst @@ -16,19 +16,24 @@ PaddleX是基于飞桨核心框架、开发套件和工具组件的深度学习 | - 统一易用的全流程API，5步完成模型训练，10行代码实现Python/C++高性能部署。 | - 提供以PaddleX为核心集成的跨平台可视化开发工具PaddleX-GUI，更低门槛快速体验飞桨深度学习全流程。 - .. toctree:: :maxdepth: 2 :caption: 文档目录: quick_start.md install.md - data/index - train/index - deploy/index - examples/index - gui/index - apis/index - change_log.md + tutorials/index.rst + cv_solutions.md + apis/index.rst + paddlex_gui/index.rst + tuning_strategy/index.rst + update.md FAQ.md - appendix/index + appendix/index.rst + +* PaddleX版本: v1.0.0 +* 项目官网: http://www.paddlepaddle.org.cn/paddle/paddlex +* 项目GitHub: https://github.com/PaddlePaddle/PaddleX +* 官方QQ用户群: 1045148026 +* GitHub Issue反馈: http://www.github.com/PaddlePaddle/PaddleX/issues + diff --git a/docs/metrics.md b/docs/metrics.md new file mode 100644 index 0000000000000000000000000000000000000000..7834a43a00028935ccda5bdb89db5c15e886240c --- /dev/null +++ b/docs/metrics.md @@ -0,0 +1 @@ +本页面已移至 [这里](./appendix/metrics.md) diff --git a/docs/model_zoo.md b/docs/model_zoo.md new file mode 100644 index 0000000000000000000000000000000000000000..e0e5c51b5922df35a89a69a1103d7f54edb73afd --- /dev/null +++ b/docs/model_zoo.md @@ -0,0 +1 @@ +本页面已移至 [这里](./appendix/model_zoo.md) diff --git a/docs/paddlex_gui/download.md b/docs/paddlex_gui/download.md new file mode 100644 index 0000000000000000000000000000000000000000..bf5d2ceaeadfc14612d2d83498796108469ae166 --- /dev/null +++ b/docs/paddlex_gui/download.md @@ -0,0 +1,27 @@ +## PaddleX GUI安装 + + PaddleX GUI是提升项目开发效率的核心模块，开发者可快速完成深度学习模型全流程开发。我们诚挚地邀请您前往 [官网](https://www.paddlepaddle.org.cn/paddle/paddleX)下载试用PaddleX GUI可视化前端，并获得您宝贵的意见或开源项目贡献。 + + + +#### 安装推荐环境 + +* **操作系统**： + * Windows7/8/10（推荐Windows 10）； + * Mac OS 10.13+； + * Ubuntu 18.04+； + +***注：处理器需为x86_64架构，支持MKL。*** + +* **训练硬件**： + * **GPU**（仅Windows及Linux系统）： + 推荐使用支持CUDA的NVIDIA显卡，例如：GTX 1070+以上性能的显卡； + Windows系统X86_64驱动版本>=411.31； + Linux系统X86_64驱动版本>=410.48； + 显存8G以上； + * **CPU**： + PaddleX当前支持您用本地CPU进行训练，但推荐使用GPU以获得更好的开发体验。 + * **内存**：建议8G以上 + * **硬盘空间**：建议SSD剩余空间1T以上（非必须） + +***注：PaddleX在Windows及Mac OS系统只支持单卡模型。Windows系统暂不支持NCCL。*** diff --git a/docs/paddlex_gui/how_to_use.md b/docs/paddlex_gui/how_to_use.md new file mode 100644 index 0000000000000000000000000000000000000000..db5e9b1f58b3012e1104a7dfe8ff63394ecf3eee --- /dev/null +++ b/docs/paddlex_gui/how_to_use.md @@ -0,0 +1,148 @@ +# PaddleX GUI使用文档 + +飞桨全流程开发工具，集飞桨核心框架、模型库、工具及组件等深度学习开发全流程所需能力于一身，易用易集成，是开发者快速入门深度学习、提升深度学习项目开发效率的最佳辅助工具。 + +PaddleX GUI是一个应用PaddleX实现的一个图形化开发客户端产品，它使得开发者通过键入式输入即可完成深度学习模型全流程开发，可大幅度提升项目开发效率。飞桨团队期待各位开发者基于PaddleX，实现出各种符合自己产业实际需求的产品。 + +我们诚挚地邀请您前往 [官网](https://www.paddlepaddle.org.cn/paddlex)下载试用PaddleX GUI，并获得您宝贵的意见或开源项目贡献。 + + + +## 目录 + +* **产品特性** +* **PaddleX GUI可视化前端** +* **FAQ** + + + +## 产品特性 + +\- **全流程打通** + +将深度学习开发全流程打通，并提供可视化开发界面， 省去了对各环节API的熟悉过程及重复的代码开发，极大地提升了开发效率。 + +\- **易用易集成** + +提供功能最全、最灵活的Python API开发模式，完全开源开放，易于集成和二次开发。键入式输入的图形化开发界面，使得非专业算法人员也可快速进行业务POC。 + +\- **融合产业实践经验** + +融合飞桨产业落地经验，精选高质量的视觉模型方案，开放实际的案例教学，手把手带您实现产业需求落地。 + +\- **教程与服务** + +从数据集准备到上线部署，为您提供业务开发全流程的文档说明及技术服务。开发者可以通过QQ群、微信群、GitHub社区等多种形式与飞桨团队及同业合作伙伴交流沟通。 + + + +## PaddleX GUI 可视化前端 + +**第一步：准备数据** + +在开始模型训练前，您需要根据不同的任务类型，将数据标注为相应的格式。目前PaddleX支持【图像分类】、【目标检测】、【语义分割】、【实例分割】四种任务类型。不同类型任务的数据处理方式可查看[数据标注方式](https://paddlex.readthedocs.io/zh_CN/latest/appendix/datasets.html)。 + + + +**第二步：导入我的数据集** + +①数据标注完成后，您需要根据不同的任务，将数据和标注文件，按照客户端提示更名并保存到正确的文件中。 + +②在客户端新建数据集，选择与数据集匹配的任务类型，并选择数据集对应的路径，将数据集导入。 + +![](images/datasets1.jpg) + +③选定导入数据集后，客户端会自动校验数据及标注文件是否合规，校验成功后，您可根据实际需求，将数据集按比例划分为训练集、验证集、测试集。 + +④您可在「数据分析」模块按规则预览您标注的数据集，双击单张图片可放大查看。 + +![](images/dataset2.jpg) + +**第三步：创建项目** + +① 在完成数据导入后，您可以点击「新建项目」创建一个项目。 + +② 您可根据实际任务需求选择项目的任务类型，需要注意项目所采用的数据集也带有任务类型属性，两者需要进行匹配。 + +![](images/project3.jpg) + + + +**第四步：项目开发** + +① **数据选择**：项目创建完成后，您需要选择已载入客户端并校验后的数据集，并点击下一步，进入参数配置页面。 + +![](images/project1.jpg) + +② **参数配置**：主要分为**模型参数**、**训练参数**、**优化策略**三部分。您可根据实际需求选择模型结构、骨架网络及对应的训练参数、优化策略，使得任务效果最佳。 + +![](images/project2.jpg) + +参数配置完成后，点击启动训练，模型开始训练并进行效果评估。 + +③ **训练可视化**：在训练过程中，您可通过VisualDL查看模型训练过程参数变化、日志详情，及当前最优的训练集和验证集训练指标。模型在训练过程中通过点击"中止训练"随时中止训练过程。 + +![](images/visualization1.jpg) + +模型训练结束后，可选择进入『模型剪裁分析』或者直接进入『模型评估』。 + +![](images/visualization2.jpg) + +④ **模型裁剪**：如果开发者希望减少模型的体积、计算量，提升模型在设备上的预测性能，可以采用PaddleX提供的模型裁剪策略。裁剪过程将对模型各卷积层的敏感度信息进行分析，根据各参数对模型效果的影响进行不同比例的裁剪，再进行精调训练获得最终裁剪后的模型。 + +![](images/visualization3.jpg) + +⑤ **模型评估**：在模型评估页面，您可查看训练后的模型效果。评估方法包括混淆矩阵、精度、召回率等。 + +![](images/visualization4.jpg) + +您还可以选择『数据集切分』时留出的『测试数据集』或从本地文件夹中导入一张/多张图片，将训练后的模型进行测试。根据测试结果，您可决定是否将训练完成的模型保存为预训练模型并进入模型发布页面，或返回先前步骤调整参数配置重新进行训练。 + +![](images/visualization5.jpg) + + + +**第五步：模型发布** + +当模型效果满意后，您可根据实际的生产环境需求，选择将模型发布为需要的版本。 + +![](images/publish.jpg) + + + +## FAQ + +1. **为什么训练速度这么慢？** + + PaddleX完全采用您本地的硬件进行计算，深度学习任务确实对算力要求较高，为了使您能快速体验应用PaddleX进行开发，我们适配了CPU硬件，但强烈建议您使用GPU以提升训练速度和开发体验。 + + + +2. **我可以在服务器或云平台上部署PaddleX么？** + + PaddleX GUI是一个适配本地单机安装的客户端，无法在服务器上直接进行部署，您可以直接使用PaddleX API，或采用飞桨核心框架进行服务器上的部署。如果您希望使用公有算力，强烈建议您尝试飞桨产品系列中的 [EasyDL](https://ai.baidu.com/easydl/) 或 [AI Studio](https://aistudio.baidu.com/aistudio/index)进行开发。 + + + +3. **PaddleX支持EasyData标注的数据吗？** + + 支持，PaddleX可顺畅读取EasyData标注的数据。但当前版本的PaddleX GUI暂时无法支持直接导入EasyData数据格式，您可以参照文档，将[数据集进行转换](https://paddlex.readthedocs.io/zh_CN/latest/appendix/how_to_convert_dataset.html)再导入PaddleX GUI进行后续开发。 + 同时，我们也在紧密开发PaddleX GUI可直接导入EasyData数据格式的功能。 + + + +4. **为什么模型裁剪分析耗时这么长？** + + 模型裁剪分析过程是对模型各卷积层的敏感度信息进行分析，根据各参数对模型效果的影响进行不同比例的裁剪。此过程需要重复多次直至FLOPS满足要求，最后再进行精调训练获得最终裁剪后的模型，因此耗时较长。有关模型裁剪的原理，可参见文档[剪裁原理介绍](https://paddlepaddle.github.io/PaddleSlim/algo/algo.html#2-%E5%8D%B7%E7%A7%AF%E6%A0%B8%E5%89%AA%E8%A3%81%E5%8E%9F%E7%90%86) + + + +5. **如何调用后端代码？** + + PaddleX 团队为您整理了相关的API接口文档，方便您学习和使用。具体请参见[PaddleX API说明文档](https://paddlex.readthedocs.io/zh_CN/latest/apis/index.html) + + + +**如果您有更多问题或建议，欢迎以issue的形式，或加入PaddleX官方QQ群（1045148026）直接反馈您的问题和需求** + +![](images/QR.jpg) diff --git a/docs/paddlex_gui/images/QR.jpg b/docs/paddlex_gui/images/QR.jpg new file mode 100644 index 0000000000000000000000000000000000000000..99da2ac887ea9c29e1ee18a79f71bb302422a029 Binary files /dev/null and b/docs/paddlex_gui/images/QR.jpg differ diff --git a/docs/paddlex_gui/images/ReadMe b/docs/paddlex_gui/images/ReadMe new file mode 100644 index 0000000000000000000000000000000000000000..dd1810a3fbed8abc389774ba8ecf63d456945f3c --- /dev/null +++ b/docs/paddlex_gui/images/ReadMe @@ -0,0 +1 @@ +PaddleX GUI Screen Shot diff --git a/docs/paddlex_gui/images/dataset2.jpg b/docs/paddlex_gui/images/dataset2.jpg new file mode 100644 index 0000000000000000000000000000000000000000..fc50e82fc1f9368c7037e44e9966cdbd3473429e Binary files /dev/null and b/docs/paddlex_gui/images/dataset2.jpg differ diff --git a/docs/paddlex_gui/images/datasets1.jpg b/docs/paddlex_gui/images/datasets1.jpg new file mode 100644 index 0000000000000000000000000000000000000000..03a78e9a6a6bde1d648171e00f22955a4d9d4b9b Binary files /dev/null and b/docs/paddlex_gui/images/datasets1.jpg differ diff --git a/docs/paddlex_gui/images/project1.jpg b/docs/paddlex_gui/images/project1.jpg new file mode 100644 index 0000000000000000000000000000000000000000..d5fa05999309bc495280e74c1f2750b026287c1b Binary files /dev/null and b/docs/paddlex_gui/images/project1.jpg differ diff --git a/docs/paddlex_gui/images/project2.jpg b/docs/paddlex_gui/images/project2.jpg new file mode 100644 index 0000000000000000000000000000000000000000..35a14c9c2a36d046f0ba1323b5e13bc50de75c5a Binary files /dev/null and b/docs/paddlex_gui/images/project2.jpg differ diff --git a/docs/paddlex_gui/images/project3.jpg b/docs/paddlex_gui/images/project3.jpg new file mode 100644 index 0000000000000000000000000000000000000000..8d920cc65fce5e6ceb4b3a65b602b329a457e12e Binary files /dev/null and b/docs/paddlex_gui/images/project3.jpg differ diff --git a/docs/paddlex_gui/images/publish.jpg b/docs/paddlex_gui/images/publish.jpg new file mode 100644 index 0000000000000000000000000000000000000000..df4ac6b9630c5c77b696db49f1cd3678d00676bb Binary files /dev/null and b/docs/paddlex_gui/images/publish.jpg differ diff --git a/docs/paddlex_gui/images/visualization1.jpg b/docs/paddlex_gui/images/visualization1.jpg new file mode 100644 index 0000000000000000000000000000000000000000..40bf8736d1f966ecb7c7a2ee3af49c690211a2e0 Binary files /dev/null and b/docs/paddlex_gui/images/visualization1.jpg differ diff --git a/docs/paddlex_gui/images/visualization2.jpg b/docs/paddlex_gui/images/visualization2.jpg new file mode 100644 index 0000000000000000000000000000000000000000..84288e091148e681972d29edfc167a59e9eb50b4 Binary files /dev/null and b/docs/paddlex_gui/images/visualization2.jpg differ diff --git a/docs/paddlex_gui/images/visualization3.jpg b/docs/paddlex_gui/images/visualization3.jpg new file mode 100644 index 0000000000000000000000000000000000000000..a9ecb6d7cbd77979ea7c0d2f6bb3882fc5af17ff Binary files /dev/null and b/docs/paddlex_gui/images/visualization3.jpg differ diff --git a/docs/paddlex_gui/images/visualization4.jpg b/docs/paddlex_gui/images/visualization4.jpg new file mode 100644 index 0000000000000000000000000000000000000000..10cc8feaabe8f5ab813621a5b0499e29cc9da7fe Binary files /dev/null and b/docs/paddlex_gui/images/visualization4.jpg differ diff --git a/docs/paddlex_gui/images/visualization5.jpg b/docs/paddlex_gui/images/visualization5.jpg new file mode 100644 index 0000000000000000000000000000000000000000..b326a85a1f9f5513d823e9f4535580cc5a948217 Binary files /dev/null and b/docs/paddlex_gui/images/visualization5.jpg differ diff --git a/docs/gui/index.rst b/docs/paddlex_gui/index.rst similarity index 94% rename from docs/gui/index.rst rename to docs/paddlex_gui/index.rst index b8657db2a54c119f8043a850664fbdae84f2299b..3fc80fc0afa4e87bf60f28140ebcce673e5ee283 100755 --- a/docs/gui/index.rst +++ b/docs/paddlex_gui/index.rst @@ -1,4 +1,4 @@ -PaddleX GUI +PaddleX GUI使用文档 ======================================= PaddleX GUI是基于PaddleX开发实现的可视化模型训练套件，可以让开发者免去代码开发的步骤，通过点选式地操作就可以快速完成模型的训练开发。PaddleXGUI具有 **数据集可视化分析** 、**模型参数自动推荐** 、**跨平台使用** 三大特点。 @@ -17,6 +17,9 @@ PaddleX GUI是基于PaddleX开发实现的可视化模型训练套件，可以 :maxdepth: 2 :caption: 文档目录: + download.md + how_to_use.md + xx.md * PaddleX GUI版本: v1.0 * 项目官网: http://www.paddlepaddle.org.cn/paddle/paddlex diff --git a/docs/paddlex_gui/xx.md b/docs/paddlex_gui/xx.md new file mode 100644 index 0000000000000000000000000000000000000000..97fd16977da33ba4f122f5c556527fdead2109e5 --- /dev/null +++ b/docs/paddlex_gui/xx.md @@ -0,0 +1 @@ +# 其它 diff --git a/docs/deploy/paddlelite/slim/index.rst b/docs/slim/index.rst old mode 100755 new mode 100644 similarity index 50% rename from docs/deploy/paddlelite/slim/index.rst rename to docs/slim/index.rst index c76498b82f4fec61c0139296a0ffd7e6ec866ae1..48a16f6e08f3f80a7048d1666719b9b08e150362 --- a/docs/deploy/paddlelite/slim/index.rst +++ b/docs/slim/index.rst @@ -1,10 +1,8 @@ 模型压缩 -======================================= - +============================ .. toctree:: :maxdepth: 2 - :caption: 文档目录: prune.md quant.md diff --git a/docs/slim/prune.md b/docs/slim/prune.md new file mode 100644 index 0000000000000000000000000000000000000000..c1ff51e5e08c2ce8da5e2042d0a1c359a9e64dff --- /dev/null +++ b/docs/slim/prune.md @@ -0,0 +1,54 @@ +# 模型裁剪 + +## 原理介绍 + +模型裁剪用于减小模型的计算量和体积，可以加快模型部署后的预测速度，是一种减小模型大小和降低模型计算复杂度的常用方式，通过裁剪卷积层中Kernel输出通道的大小及其关联层参数大小来实现，其关联裁剪的原理可参见[PaddleSlim相关文档](https://paddlepaddle.github.io/PaddleSlim/algo/algo.html#id16)。**一般而言，在同等模型精度前提下，数据复杂度越低，模型可以被裁剪的比例就越高**。 + +## 裁剪方法 +PaddleX提供了两种方式: + +**1.用户自行计算裁剪配置(推荐)，整体流程包含三个步骤,** +> **第一步**： 使用数据集训练原始模型 +> **第二步**：利用第一步训练好的模型，在验证数据集上计算模型中各个参数的敏感度，并将敏感度信息存储至本地文件 +> **第三步**：使用数据集训练裁剪模型（与第一步差异在于需要在`train`接口中，将第二步计算得到的敏感信息文件传给接口的`sensitivities_file`参数） + +> 在如上三个步骤中，**相当于模型共需要训练两遍**，分别对应第一步和第三步，但其中第三步训练的是裁剪后的模型，因此训练速度较第一步会更快。 +> 第二步会遍历模型中的部分裁剪参数，分别计算各个参数裁剪后对于模型在验证集上效果的影响，**因此会反复在验证集上评估多次**。 + +**2.使用PaddleX内置的裁剪方案** +> PaddleX内置的模型裁剪方案是**基于标准数据集**上计算得到的参数敏感度信息，由于不同数据集特征分布会有较大差异，所以该方案相较于第1种方案训练得到的模型**精度一般而言会更低**（**且用户自定义数据集与标准数据集特征分布差异越大，导致训练的模型精度会越低**），仅在用户想节省时间的前提下可以参考使用，使用方式只需一步， + +> **一步**： 使用数据集训练裁剪模型，在训练调用`train`接口时，将接口中的`sensitivities_file`参数设置为'DEFAULT'字符串 + +> 注：各模型内置的裁剪方案分别依据的数据集为： 图像分类——ImageNet数据集、目标检测——PascalVOC数据集、语义分割——CityScape数据集 + +## 裁剪实验 +基于上述两种方案，我们在PaddleX上使用样例数据进行了实验，在Tesla P40上实验指标如下所示， + +### 图像分类 +实验背景：使用MobileNetV2模型，数据集为蔬菜分类示例数据，见[使用教程-模型压缩-图像分类](../tutorials/compress/classification.md) + +| 模型 | 裁剪情况 | 模型大小 | Top1准确率(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- |:----------| +|MobileNetV2 | 无裁剪（原模型）| 13.0M | 97.50|6.47ms |47.44ms | +|MobileNetV2 | 方案一(eval_metric_loss=0.10) | 2.1M | 99.58 |5.03ms |20.22ms | +|MobileNetV2 | 方案二(eval_metric_loss=0.10) | 6.0M | 99.58 |5.42ms |29.06ms | + +### 目标检测 +实验背景：使用YOLOv3-MobileNetV1模型，数据集为昆虫检测示例数据，见[使用教程-模型压缩-目标检测](../tutorials/compress/detection.md) + + +| 模型 | 裁剪情况 | 模型大小 | MAP(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- | :---------| +|YOLOv3-MobileNetV1 | 无裁剪（原模型）| 139M | 67.57| 14.88ms |976.42ms | +|YOLOv3-MobileNetV1 | 方案一(eval_metric_loss=0.10) | 34M | 75.49 |10.60ms |558.49ms | +|YOLOv3-MobileNetV1 | 方案二(eval_metric_loss=0.05) | 29M | 50.27| 9.43ms |360.46ms | + +### 语义分割 +实验背景：使用UNet模型，数据集为视盘分割示例数据, 见[使用教程-模型压缩-语义分割](../tutorials/compress/segmentation.md) + +| 模型 | 裁剪情况 | 模型大小 | mIOU(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- | :---------| +|UNet | 无裁剪（原模型）| 77M | 91.22 |33.28ms |9523.55ms | +|UNet | 方案一(eval_metric_loss=0.10) |26M | 90.37 |21.04ms |3936.20ms | +|UNet | 方案二(eval_metric_loss=0.10) |23M | 91.21 |18.61ms |3447.75ms | diff --git a/docs/slim/quant.md b/docs/slim/quant.md new file mode 100644 index 0000000000000000000000000000000000000000..1686a9fb8d33e770d55a378ebdf76876058514fb --- /dev/null +++ b/docs/slim/quant.md @@ -0,0 +1,11 @@ +# 模型量化 + +## 原理介绍 +为了满足低内存带宽、低功耗、低计算资源占用以及低模型存储等需求，定点量化被提出。为此我们提供了训练后量化，该量化使用KL散度确定量化比例因子，将FP32模型转成INT8模型，且不需要重新训练，可以快速得到量化模型。 + + +## 使用PaddleX量化模型 +PaddleX提供了`export_quant_model`接口，让用户以接口的形式完成模型以post_quantization方式量化并导出。点击查看[量化接口使用文档](../apis/slim.md)。 + +## 量化性能对比 +模型量化后的性能对比指标请查阅[PaddleSlim模型库](https://paddlepaddle.github.io/PaddleSlim/model_zoo.html) diff --git a/docs/test.cpp b/docs/test.cpp new file mode 100644 index 0000000000000000000000000000000000000000..3f9bc680b74ee4a33ba65236d944592a832f835d --- /dev/null +++ b/docs/test.cpp @@ -0,0 +1,20 @@ +// Copyright (c) 2020 PaddlePaddle Authors. All Rights Reserved. +// +// Licensed under the Apache License, Version 2.0 (the "License"); +// you may not use this file except in compliance with the License. +// You may obtain a copy of the License at +// +// http://www.apache.org/licenses/LICENSE-2.0 +// +// Unless required by applicable law or agreed to in writing, software +// distributed under the License is distributed on an "AS IS" BASIS, +// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. +// See the License for the specific language governing permissions and +// limitations under the License. + +#include + +int main() { + std::cout << "haha" << std::endl; + return 0; +} diff --git a/docs/train/classification.md b/docs/train/classification.md deleted file mode 100644 index b0e756aea5155b88218d5cfddbd785f28b33362d..0000000000000000000000000000000000000000 --- a/docs/train/classification.md +++ /dev/null @@ -1 +0,0 @@ -# 图像分类 diff --git a/docs/train/index.rst b/docs/train/index.rst deleted file mode 100755 index 5995489d59cb87ad4f82913c7f6e7b5647b3bce8..0000000000000000000000000000000000000000 --- a/docs/train/index.rst +++ /dev/null @@ -1,15 +0,0 @@ -模型训练 -======================================= - -PaddleX目前集成了XX模型，涵盖视觉领域的图像分类、目标检测、实例分割和语义分割四大主流任务 - - -.. toctree:: - :maxdepth: 2 - :caption: 文档目录: - - classification.md - object_detection.md - instance_segmentation.md - semantic_segmentation.md - prediction.md diff --git a/docs/train/instance_segmentation.md b/docs/train/instance_segmentation.md deleted file mode 100644 index ec1d364fb6e011f89f383da3e7b07b60300011f9..0000000000000000000000000000000000000000 --- a/docs/train/instance_segmentation.md +++ /dev/null @@ -1 +0,0 @@ -# 实例分割 diff --git a/docs/train/object_detection.md b/docs/train/object_detection.md deleted file mode 100644 index 61e17735f2e59a8d23021fd7d9f32bd05cab794d..0000000000000000000000000000000000000000 --- a/docs/train/object_detection.md +++ /dev/null @@ -1,2 +0,0 @@ -# 目标检测 - diff --git a/docs/train/prediction.md b/docs/train/prediction.md deleted file mode 100644 index c323cf1122aec605a13ca52b81cb9652e5ea4075..0000000000000000000000000000000000000000 --- a/docs/train/prediction.md +++ /dev/null @@ -1 +0,0 @@ -# 模型预测可视化 diff --git a/docs/train/semantic_segmentation.md b/docs/train/semantic_segmentation.md deleted file mode 100644 index ea2f90de05f3d7ddcf4aca6b6eded7e8ab6369c9..0000000000000000000000000000000000000000 --- a/docs/train/semantic_segmentation.md +++ /dev/null @@ -1 +0,0 @@ -# 语义分割 diff --git a/docs/tuning_strategy/detection/index.rst b/docs/tuning_strategy/detection/index.rst new file mode 100644 index 0000000000000000000000000000000000000000..5457adeeea053df4de9332bd4df61cd450830f96 --- /dev/null +++ b/docs/tuning_strategy/detection/index.rst @@ -0,0 +1,10 @@ +目标检测 +============================ + +PaddleX针对目标检测任务提供了通过负样本学习降低误检率的策略，用户可根据需求及应用场景使用该策略对模型进行调优。 + +.. toctree:: + :maxdepth: 1 + + negatives_training.md + diff --git a/docs/tuning_strategy/detection/negatives_training.md b/docs/tuning_strategy/detection/negatives_training.md new file mode 100644 index 0000000000000000000000000000000000000000..d3590e3222018faf90462935588a785b8fae4e7f --- /dev/null +++ b/docs/tuning_strategy/detection/negatives_training.md @@ -0,0 +1,101 @@ +# 通过负样本学习降低误检率 + +## 应用场景 + +在背景和目标相似的场景下，模型容易把背景误检成目标。为了降低误检率，可以通过负样本学习来降低误检率，即在训练过程中把无目标真值的图片加入训练。 + +## 效果对比 + +* 与基准模型相比，通过负样本学习后的模型**mmAP有3.6%的提升，mAP有0.1%的提升**。 +* 与基准模型相比，通过负样本学习后的模型在背景图片上的图片级别**误检率降低了49.68%**。 + +表1 违禁品验证集上**框级别精度**对比 + +||mmAP（AP@IoU=0.5:0.95）| mAP (AP@IoU=0.5)| +|:---|:---|:---| +|基准模型 | 45.8% | 83% | +|通过负样本学习后的模型 | 49.4% | 83.1% | + +表2 违禁品验证集上**图片级别的召回率**、无违禁品验证集上**图片级别的误检率**对比 + +||违禁品图片级别的召回率| 无违禁品图片级别的误检率| +|:---|:--------------------|:------------------------| +|基准模型 | 98.97% | 55.27% | +|通过负样本学习后的模型 | 97.75% | 5.59% | + +【名词解释】 + + * 图片级别的召回率：只要在有目标的图片上检测出目标（不论框的个数），该图片被认为召回。批量有目标图片中被召回图片所占的比例，即为图片级别的召回率。 + + * 图片级别的误检率：只要在无目标的图片上检测出目标（不论框的个数），该图片被认为误检。批量无目标图片中被误检图片所占的比例，即为图片级别的误检率。 + + +## 使用方法 + +在定义训练所用的数据集之后，使用数据集类的成员函数`add_negative_samples`将无目标真值的背景图片所在路径传入给训练集。代码示例如下： + +``` +import os +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +from paddlex.det import transforms +import paddlex as pdx + +# 定义训练和验证时的transforms +train_transforms = transforms.ComposedRCNNTransforms( + mode='train', min_max_size=[600, 1000]) +eval_transforms = transforms.ComposedRCNNTransforms( + mode='eval', min_max_size=[600, 1000]) + +# 定义训练所用的数据集 +train_dataset = pdx.datasets.CocoDetection( + data_dir='jinnan2_round1_train_20190305/restricted/', + ann_file='jinnan2_round1_train_20190305/train.json', + transforms=train_transforms, + shuffle=True, + num_workers=2) +# 训练集中加入无目标背景图片 +train_dataset.add_negative_samples( + 'jinnan2_round1_train_20190305/normal_train_back/') + +# 定义验证所用的数据集 +eval_dataset = pdx.datasets.CocoDetection( + data_dir='jinnan2_round1_train_20190305/restricted/', + ann_file='jinnan2_round1_train_20190305/val.json', + transforms=eval_transforms, + num_workers=2) + +# 初始化模型，并进行训练 +model = pdx.det.FasterRCNN(num_classes=len(train_dataset.labels) + 1) +model.train( + num_epochs=17, + train_dataset=train_dataset, + eval_dataset=eval_dataset, + train_batch_size=8, + learning_rate=0.01, + lr_decay_epochs=[13, 16], + save_dir='./output') +``` + +## 实验细则 + +(1) 数据集 + +我们使用X光违禁品数据集对通过负样本学习降低误检率的策略有效性进行了实验验证。该数据集中背景比较繁杂，很多背景物体与目标物体较为相似。 + +* 检测铁壳打火机、黑钉打火机 、刀具、电源和电池、剪刀5种违禁品。 + +* 训练集有883张违禁品图片，验证集有98张违禁品图片。 + +* 无违禁品的X光图片有2540张。 + +(2) 基准模型 + +使用FasterRCNN-ResNet50作为检测模型，除了水平翻转外没有使用其他的数据增强方式，只使用违禁品训练集进行训练。模型在违禁品验证集上的精度见表1，mmAP有45.8%，mAP达到83%。 + +(3) 通过负样本学习后的模型 + +把无违禁品的X光图片按1:1分成无违禁品训练集和无违禁品验证集。我们将基准模型在无违禁品验证集进行测试，发现图片级别的误检率高达55.27%。为了降低该误检率，将基准模型在无违禁品训练集进行测试，挑选出被误检图片共663张，将这663张图片加入训练，训练参数配置与基准模型训练时一致。 + +通过负样本学习后的模型在违禁品验证集上的精度见表1，mmAP有49.4%，mAP达到83.1%。与基准模型相比，**mmAP有3.6%的提升，mAP有0.1%的提升**。通过负样本学习后的模型在无违禁品验证集的误检率仅有5.58%，与基准模型相比，**误检率降低了49.68%**。 + +此外，还测试了两个模型在有违禁品验证集上图片级别的召回率，见表2，与基准模型相比，通过负样本学习后的模型仅漏检了1张图片，召回率几乎是无损的。 diff --git a/docs/tuning_strategy/index.rst b/docs/tuning_strategy/index.rst new file mode 100644 index 0000000000000000000000000000000000000000..f9d5cd50f914609f864135dfba922f857f771dbf --- /dev/null +++ b/docs/tuning_strategy/index.rst @@ -0,0 +1,7 @@ +PaddleX调优策略介绍 +============================ + +.. toctree:: + :maxdepth: 2 + + detection/index.rst diff --git a/docs/tutorials/compress/classification.md b/docs/tutorials/compress/classification.md new file mode 100755 index 0000000000000000000000000000000000000000..515a4b3527c82b1a78f2ce598be961acf5926bd1 --- /dev/null +++ b/docs/tutorials/compress/classification.md @@ -0,0 +1,54 @@ +# 分类模型裁剪 + +--- +本文档训练代码可直接在PaddleX的Repo中下载，[代码tutorials/compress/classification](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/classification) +本文档按如下方式对模型进行了裁剪 +> 第一步：在训练数据集上训练MobileNetV2 +> 第二步：在验证数据集上计算模型中各个参数的敏感度信息 +> 第三步：根据第二步计算的敏感度，设定`eval_metric_loss`，对模型裁剪后重新在训练数据集上训练 + +## 步骤一 训练MobileNetV2 +> 模型训练使用文档可以直接参考[分类模型训练](../train/classification.md)，本文档在该代码基础上添加了部分参数选项，用户可直接下载模型训练代码[tutorials/compress/classification/mobilenetv2.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/classification/mobilenetv2.py) +> 使用如下命令开始模型训练 +``` +python mobilenetv2.py +``` + +## 步骤二 计算参数敏感度 +> 参数敏感度的计算可以直接使用PaddleX提供的API`paddlex.slim.cal_params_sensitivities`，使用代码如下, 敏感度信息文件会保存至`save_file` + +``` +import os +# 选择使用0号卡 +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx + +model_dir = './output/mobilenetv2/best_model' +model = pdx.load_model(model_dir) + +# 定义验证所用的数据集 +eval_dataset = pdx.datasets.ImageNet( + data_dir=dataset, + file_list=os.path.join(dataset, 'val_list.txt'), + label_list=os.path.join(dataset, 'labels.txt'), + transforms=model.eval_transforms) + +pdx.slim.cal_params_sensitivities(model, + save_file, + eval_dataset, + batch_size=8) +``` +> 本步骤代码已整理至[tutorials/compress/classification/cal_sensitivities_file.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/classification/cal_sensitivities_file.py)，用户可直接下载使用 +> 使用如下命令开始计算敏感度 +``` +python cal_sensitivities_file.py --model_dir output/mobilenetv2/best_model --dataset vegetables_cls --save_file sensitivities.data +``` + +## 步骤三 开始裁剪训练 +> 本步骤代码与步骤一使用同一份代码文件，使用如下命令开始裁剪训练 +``` +python mobilenetv2.py --model_dir output/mobilenetv2/best_model --sensitivities_file sensitivities.data --eval_metric_loss 0.10 +``` + +## 实验效果 +本教程的实验效果可以查阅[模型压缩文档](../../slim/prune.md) diff --git a/docs/tutorials/compress/detection.md b/docs/tutorials/compress/detection.md new file mode 100755 index 0000000000000000000000000000000000000000..514e19b5e9351b9c3a6debc059b7e521c2c40ba2 --- /dev/null +++ b/docs/tutorials/compress/detection.md @@ -0,0 +1,53 @@ +# 检测模型裁剪 + +--- +本文档训练代码可直接在PaddleX的Repo中下载，[代码tutorials/compress/detection](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/detection) +本文档按如下方式对模型进行了裁剪 +> 第一步：在训练数据集上训练YOLOv3 +> 第二步：在验证数据集上计算模型中各个参数的敏感度信息 +> 第三步：根据第二步计算的敏感度，设定`eval_metric_loss`，对模型裁剪后重新在训练数据集上训练 + +## 步骤一 训练YOLOv3 +> 模型训练使用文档可以直接参考[检测模型训练](../train/detection.md)，本文档在该代码基础上添加了部分参数选项，用户可直接下载模型训练代码[tutorials/compress/detection/yolov3_mobilnet.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/detection/yolov3_mobilenet.py) +> 使用如下命令开始模型训练 +``` +python yolov3_mobilenet.py +``` + +## 步骤二 计算参数敏感度 +> 参数敏感度的计算可以直接使用PaddleX提供的API`paddlex.slim.cal_params_sensitivities`，使用代码如下, 敏感度信息文件会保存至`save_file` + +``` +import os +# 选择使用0号卡 +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx + +model = pdx.load_model(model_dir) + +# 定义验证所用的数据集 +eval_dataset = pdx.datasets.ImageNet( + data_dir=dataset, + file_list=os.path.join(dataset, 'val_list.txt'), + label_list=os.path.join(dataset, 'labels.txt'), + transforms=model.eval_transforms) + +pdx.slim.cal_params_sensitivities(model, + save_file, + eval_dataset, + batch_size=8) +``` +> 本步骤代码已整理至[tutorials/compress/detection/cal_sensitivities_file.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/detection/cal_sensitivities_file.py)，用户可直接下载使用 +> 使用如下命令开始计算敏感度 +``` +python cal_sensitivities_file.py --model_dir output/yolov3_mobile/best_model --dataset insect_det --save_file sensitivities.data +``` + +## 步骤三 开始裁剪训练 +> 本步骤代码与步骤一使用同一份代码文件，使用如下命令开始裁剪训练 +``` +python yolov3_mobilenet.py --model_dir output/yolov3_mobile/best_model --sensitivities_file sensitivities.data --eval_metric_loss 0.10 +``` + +## 实验效果 +本教程的实验效果可以查阅[模型压缩文档](../../slim/prune.md) diff --git a/docs/tutorials/compress/index.rst b/docs/tutorials/compress/index.rst new file mode 100755 index 0000000000000000000000000000000000000000..3e0dcd752cdf09b93b0beda01b33b77a060c0711 --- /dev/null +++ b/docs/tutorials/compress/index.rst @@ -0,0 +1,10 @@ +模型压缩 +========================= + +.. toctree:: + :maxdepth: 1 + + classification.md + detection.md + segmentation.md + diff --git a/docs/tutorials/compress/segmentation.md b/docs/tutorials/compress/segmentation.md new file mode 100755 index 0000000000000000000000000000000000000000..c19a14bb5eceace97454024e8212b7a7e675436e --- /dev/null +++ b/docs/tutorials/compress/segmentation.md @@ -0,0 +1,53 @@ +# 分割模型裁剪 + +--- +本文档训练代码可直接在PaddleX的Repo中下载，[代码tutorials/compress/segmentation](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/segmentation) +本文档按如下方式对模型进行了裁剪 +> 第一步：在训练数据集上训练UNet +> 第二步：在验证数据集上计算模型中各个参数的敏感度信息 +> 第三步：根据第二步计算的敏感度，设定`eval_metric_loss`，对模型裁剪后重新在训练数据集上训练 + +## 步骤一 训练UNet +> 模型训练使用文档可以直接参考[检测模型训练](../train/segmentation.md)，本文档在该代码基础上添加了部分参数选项，用户可直接下载模型训练代码[tutorials/compress/segmentation/unet.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/segmentation/unet.py) +> 使用如下命令开始模型训练 +``` +python unet.py +``` + +## 步骤二 计算参数敏感度 +> 参数敏感度的计算可以直接使用PaddleX提供的API`paddlex.slim.cal_params_sensitivities`，使用代码如下, 敏感度信息文件会保存至`save_file` + +``` +import os +# 选择使用0号卡 +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx + +model = pdx.load_model(model_dir) + +# 定义验证所用的数据集 +eval_dataset = pdx.datasets.ImageNet( + data_dir=dataset, + file_list=os.path.join(dataset, 'val_list.txt'), + label_list=os.path.join(dataset, 'labels.txt'), + transforms=model.eval_transforms) + +pdx.slim.cal_params_sensitivities(model, + save_file, + eval_dataset, + batch_size=8) +``` +> 本步骤代码已整理至[tutorials/compress/detection/cal_sensitivities_file.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/compress/segmentation/cal_sensitivities_file.py)，用户可直接下载使用 +> 使用如下命令开始计算敏感度 +``` +python cal_sensitivities_file.py --model_dir output/unet/best_model --dataset optic_disc_seg --save_file sensitivities.data +``` + +## 步骤三 开始裁剪训练 +> 本步骤代码与步骤一使用同一份代码文件，使用如下命令开始裁剪训练 +``` +python unet.py --model_dir output/unet/best_model --sensitivities_file sensitivities.data --eval_metric_loss 0.10 +``` + +## 实验效果 +本教程的实验效果可以查阅[模型压缩文档](../../slim/prune.md) diff --git a/docs/tutorials/compress/slim/index.rst b/docs/tutorials/compress/slim/index.rst new file mode 100755 index 0000000000000000000000000000000000000000..48a16f6e08f3f80a7048d1666719b9b08e150362 --- /dev/null +++ b/docs/tutorials/compress/slim/index.rst @@ -0,0 +1,8 @@ +模型压缩 +============================ + +.. toctree:: + :maxdepth: 2 + + prune.md + quant.md diff --git a/docs/tutorials/compress/slim/prune.md b/docs/tutorials/compress/slim/prune.md new file mode 100755 index 0000000000000000000000000000000000000000..c1ff51e5e08c2ce8da5e2042d0a1c359a9e64dff --- /dev/null +++ b/docs/tutorials/compress/slim/prune.md @@ -0,0 +1,54 @@ +# 模型裁剪 + +## 原理介绍 + +模型裁剪用于减小模型的计算量和体积，可以加快模型部署后的预测速度，是一种减小模型大小和降低模型计算复杂度的常用方式，通过裁剪卷积层中Kernel输出通道的大小及其关联层参数大小来实现，其关联裁剪的原理可参见[PaddleSlim相关文档](https://paddlepaddle.github.io/PaddleSlim/algo/algo.html#id16)。**一般而言，在同等模型精度前提下，数据复杂度越低，模型可以被裁剪的比例就越高**。 + +## 裁剪方法 +PaddleX提供了两种方式: + +**1.用户自行计算裁剪配置(推荐)，整体流程包含三个步骤,** +> **第一步**： 使用数据集训练原始模型 +> **第二步**：利用第一步训练好的模型，在验证数据集上计算模型中各个参数的敏感度，并将敏感度信息存储至本地文件 +> **第三步**：使用数据集训练裁剪模型（与第一步差异在于需要在`train`接口中，将第二步计算得到的敏感信息文件传给接口的`sensitivities_file`参数） + +> 在如上三个步骤中，**相当于模型共需要训练两遍**，分别对应第一步和第三步，但其中第三步训练的是裁剪后的模型，因此训练速度较第一步会更快。 +> 第二步会遍历模型中的部分裁剪参数，分别计算各个参数裁剪后对于模型在验证集上效果的影响，**因此会反复在验证集上评估多次**。 + +**2.使用PaddleX内置的裁剪方案** +> PaddleX内置的模型裁剪方案是**基于标准数据集**上计算得到的参数敏感度信息，由于不同数据集特征分布会有较大差异，所以该方案相较于第1种方案训练得到的模型**精度一般而言会更低**（**且用户自定义数据集与标准数据集特征分布差异越大，导致训练的模型精度会越低**），仅在用户想节省时间的前提下可以参考使用，使用方式只需一步， + +> **一步**： 使用数据集训练裁剪模型，在训练调用`train`接口时，将接口中的`sensitivities_file`参数设置为'DEFAULT'字符串 + +> 注：各模型内置的裁剪方案分别依据的数据集为： 图像分类——ImageNet数据集、目标检测——PascalVOC数据集、语义分割——CityScape数据集 + +## 裁剪实验 +基于上述两种方案，我们在PaddleX上使用样例数据进行了实验，在Tesla P40上实验指标如下所示， + +### 图像分类 +实验背景：使用MobileNetV2模型，数据集为蔬菜分类示例数据，见[使用教程-模型压缩-图像分类](../tutorials/compress/classification.md) + +| 模型 | 裁剪情况 | 模型大小 | Top1准确率(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- |:----------| +|MobileNetV2 | 无裁剪（原模型）| 13.0M | 97.50|6.47ms |47.44ms | +|MobileNetV2 | 方案一(eval_metric_loss=0.10) | 2.1M | 99.58 |5.03ms |20.22ms | +|MobileNetV2 | 方案二(eval_metric_loss=0.10) | 6.0M | 99.58 |5.42ms |29.06ms | + +### 目标检测 +实验背景：使用YOLOv3-MobileNetV1模型，数据集为昆虫检测示例数据，见[使用教程-模型压缩-目标检测](../tutorials/compress/detection.md) + + +| 模型 | 裁剪情况 | 模型大小 | MAP(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- | :---------| +|YOLOv3-MobileNetV1 | 无裁剪（原模型）| 139M | 67.57| 14.88ms |976.42ms | +|YOLOv3-MobileNetV1 | 方案一(eval_metric_loss=0.10) | 34M | 75.49 |10.60ms |558.49ms | +|YOLOv3-MobileNetV1 | 方案二(eval_metric_loss=0.05) | 29M | 50.27| 9.43ms |360.46ms | + +### 语义分割 +实验背景：使用UNet模型，数据集为视盘分割示例数据, 见[使用教程-模型压缩-语义分割](../tutorials/compress/segmentation.md) + +| 模型 | 裁剪情况 | 模型大小 | mIOU(%) |GPU预测速度 | CPU预测速度 | +| :-----| :--------| :-------- | :---------- |:---------- | :---------| +|UNet | 无裁剪（原模型）| 77M | 91.22 |33.28ms |9523.55ms | +|UNet | 方案一(eval_metric_loss=0.10) |26M | 90.37 |21.04ms |3936.20ms | +|UNet | 方案二(eval_metric_loss=0.10) |23M | 91.21 |18.61ms |3447.75ms | diff --git a/docs/tutorials/compress/slim/quant.md b/docs/tutorials/compress/slim/quant.md new file mode 100755 index 0000000000000000000000000000000000000000..1686a9fb8d33e770d55a378ebdf76876058514fb --- /dev/null +++ b/docs/tutorials/compress/slim/quant.md @@ -0,0 +1,11 @@ +# 模型量化 + +## 原理介绍 +为了满足低内存带宽、低功耗、低计算资源占用以及低模型存储等需求，定点量化被提出。为此我们提供了训练后量化，该量化使用KL散度确定量化比例因子，将FP32模型转成INT8模型，且不需要重新训练，可以快速得到量化模型。 + + +## 使用PaddleX量化模型 +PaddleX提供了`export_quant_model`接口，让用户以接口的形式完成模型以post_quantization方式量化并导出。点击查看[量化接口使用文档](../apis/slim.md)。 + +## 量化性能对比 +模型量化后的性能对比指标请查阅[PaddleSlim模型库](https://paddlepaddle.github.io/PaddleSlim/model_zoo.html) diff --git a/docs/tutorials/dataset_prepare.md b/docs/tutorials/dataset_prepare.md new file mode 100644 index 0000000000000000000000000000000000000000..95d1094c216857d4dc708cf39be74dca98d78f59 --- /dev/null +++ b/docs/tutorials/dataset_prepare.md @@ -0,0 +1,3 @@ +# 数据准备 + +该部分内容已迁移至[附录](../appendix/datasets.md) diff --git a/docs/tutorials/datasets.md b/docs/tutorials/datasets.md new file mode 100755 index 0000000000000000000000000000000000000000..8264d06a91ba1125036d4ab44f1fc06fe11d3049 --- /dev/null +++ b/docs/tutorials/datasets.md @@ -0,0 +1,366 @@ +# 数据集格式说明 + +--- +## 图像分类ImageNet + +图像分类ImageNet数据集包含对应多个标签的图像文件夹、标签文件及图像列表文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录 +|--labelA # 标签为labelA的图像目录 +| |--a1.jpg +| |--... +| └--... +| +|--... +| +|--labelZ # 标签为labelZ的图像目录 +| |--z1.jpg +| |--... +| └--... +| +|--train_list.txt # 训练文件列表文件 +| +|--val_list.txt # 验证文件列表文件 +| +└--labels.txt # 标签列表文件 + +``` +其中，相应的文件名可根据需要自行定义。 + +`train_list.txt`和`val_list.txt`文本以空格为分割符分为两列，第一列为图像文件相对于dataset的相对路径，第二列为图像文件对应的标签id(从0开始)。如下所示： +``` +labelA/a1.jpg 0 +labelZ/z1.jpg 25 +... +``` + +`labels.txt`: 每一行为一个单独的类别，相应的行号即为类别对应的id（行号从0开始)，如下所示： +``` +labelA +labelB +... +``` +[点击这里](https://bj.bcebos.com/paddlex/datasets/vegetables_cls.tar.gz)，下载蔬菜分类分类数据集。 +在PaddleX中，使用`paddlex.cv.datasets.ImageNet`([API说明](./apis/datasets.html#imagenet))加载分类数据集。 + +## 目标检测VOC +目标检测VOC数据集包含图像文件夹、标注信息文件夹、标签文件及图像列表文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录 +|--JPEGImages # 图像目录 +| |--xxx1.jpg +| |--... +| └--... +| +|--Annotations # 标注信息目录 +| |--xxx1.xml +| |--... +| └--... +| +|--train_list.txt # 训练文件列表文件 +| +|--val_list.txt # 验证文件列表文件 +| +└--labels.txt # 标签列表文件 + +``` +其中，相应的文件名可根据需要自行定义。 + +`train_list.txt`和`val_list.txt`文本以空格为分割符分为两列，第一列为图像文件相对于dataset的相对路径，第二列为标注文件相对于dataset的相对路径。如下所示： +``` +JPEGImages/xxx1.jpg Annotations/xxx1.xml +JPEGImages/xxx2.jpg Annotations/xxx2.xml +... +``` + +`labels.txt`: 每一行为一个单独的类别，相应的行号即为类别对应的id（行号从0开始)，如下所示： +``` +labelA +labelB +... +``` +[点击这里](https://bj.bcebos.com/paddlex/datasets/insect_det.tar.gz)，下载昆虫检测数据集。 +在PaddleX中，使用`paddlex.cv.datasets.VOCDetection`([API说明](./apis/datasets.html#vocdetection))加载目标检测VOC数据集。 + +## 目标检测和实例分割COCO +目标检测和实例分割COCO数据集包含图像文件夹及图像标注信息文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录 +|--JPEGImages # 图像目录 +| |--xxx1.jpg +| |--... +| └--... +| +|--train.json # 训练相关信息文件 +| +└--val.json # 验证相关信息文件 + +``` +其中，相应的文件名可根据需要自行定义。 + +`train.json`和`val.json`存储与标注信息、图像文件相关的信息。如下所示： + +``` +{ + "annotations": [ + { + "iscrowd": 0, + "category_id": 1, + "id": 1, + "area": 33672.0, + "image_id": 1, + "bbox": [232, 32, 138, 244], + "segmentation": [[32, 168, 365, 117, ...]] + }, + ... + ], + "images": [ + { + "file_name": "xxx1.jpg", + "height": 512, + "id": 267, + "width": 612 + }, + ... + ] + "categories": [ + { + "name": "labelA", + "id": 1, + "supercategory": "component" + } + ] +} +``` +其中，每个字段的含义如下所示： + +| 域名 | 字段名 | 含义 | 数据类型 | 备注 | +|:-----|:--------|:------------|------|:-----| +| annotations | id | 标注信息id | int | 从1开始 | +| annotations | iscrowd | 标注框是否为一组对象 | int | 只有0、1两种取值 | +| annotations | category_id | 标注框类别id | int | | +| annotations | area | 标注框的面积 | float | | +| annotations | image_id | 当前标注信息所在图像的id | int | | +| annotations | bbox | 标注框坐标 | list | 长度为4，分别代表x,y,w,h | +| annotations | segmentation | 标注区域坐标 | list | list中有至少1个list，每个list由每个小区域坐标点的横纵坐标(x,y)组成 | +| images | id | 图像id | int | 从1开始 | +| images | file_name | 图像文件名 | str | | +| images | height | 图像高度 | int | | +| images | width | 图像宽度 | int | | +| categories | id | 类别id | int | 从1开始 | +| categories | name | 类别标签名 | str | | +| categories | supercategory | 类别父类的标签名 | str | | + + +[点击这里](https://bj.bcebos.com/paddlex/datasets/garbage_ins_det.tar.gz)，下载垃圾实例分割数据集。 +在PaddleX中，使用`paddlex.cv.datasets.COCODetection`([API说明](./apis/datasets.html#cocodetection))加载COCO格式数据集。 + +## 语义分割数据 +语义分割数据集包含原图、标注图及相应的文件列表文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录 +|--images # 原图目录 +| |--xxx1.png +| |--... +| └--... +| +|--annotations # 标注图目录 +| |--xxx1.png +| |--... +| └--... +| +|--train_list.txt # 训练文件列表文件 +| +|--val_list.txt # 验证文件列表文件 +| +└--labels.txt # 标签列表 + +``` +其中，相应的文件名可根据需要自行定义。 + +`train_list.txt`和`val_list.txt`文本以空格为分割符分为两列，第一列为图像文件相对于dataset的相对路径，第二列为标注图像文件相对于dataset的相对路径。如下所示： +``` +images/xxx1.png annotations/xxx1.png +images/xxx2.png annotations/xxx2.png +... +``` + +`labels.txt`: 每一行为一个单独的类别，相应的行号即为类别对应的id（行号从0开始)，如下所示： +``` +background +labelA +labelB +... +``` + +标注图像为单通道图像，像素值即为对应的类别,像素标注类别需要从0开始递增（一般第一个类别为`background`）， +例如0，1，2，3表示有4种类别，标注类别最多为256类。其中可以指定特定的像素值用于表示该值的像素不参与训练和评估（默认为255）。 + +[点击这里](https://bj.bcebos.com/paddlex/datasets/optic_disc_seg.tar.gz)，下载视盘语义分割数据集。 +在PaddleX中，使用`paddlex.cv.datasets.SegReader`([API说明](./apis/datasets.html#segreader))加载语义分割数据集。 + + +## 图像分类EasyDataCls + +图像分类EasyDataCls数据集包含存放图像和json文件的文件夹、标签文件及图像列表文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录 +|--easydata # 存放图像和json文件的文件夹 +| |--0001.jpg +| |--0001.json +| |--0002.jpg +| |--0002.json +| └--... +| +|--train_list.txt # 训练文件列表文件 +| +|--val_list.txt # 验证文件列表文件 +| +└--labels.txt # 标签列表文件 + +``` +其中，图像文件名应与json文件名一一对应。 + +每个json文件存储于`labels`相关的信息。如下所示： +``` +{"labels": [{"name": "labelA"}]} +``` +其中，`name`字段代表对应图像的类别。 + +`train_list.txt`和`val_list.txt`文本以空格为分割符分为两列，第一列为图像文件相对于dataset的相对路径，第二列为json文件相对于dataset的相对路径。如下所示： +``` +easydata/0001.jpg easydata/0001.json +easydata/0002.jpg easydata/0002.json +... +``` + +`labels.txt`: 每一行为一个单独的类别，相应的行号即为类别对应的id（行号从0开始)，如下所示： +``` +labelA +labelB +... +``` +[点击这里](https://ai.baidu.com/easydata/)，可以标注图像分类EasyDataCls数据集。 +在PaddleX中，使用`paddlex.cv.datasets.EasyDataCls`([API说明](./apis/datasets.html#easydatacls))加载分类数据集。 + + +## 目标检测和实例分割EasyDataDet + +目标检测和实例分割EasyDataDet数据集包含存放图像和json文件的文件夹、标签文件及图像列表文件。 +参考数据文件结构如下： +``` +./dataset/ # 数据集根目录ß +|--easydata # 存放图像和json文件的文件夹 +| |--0001.jpg +| |--0001.json +| |--0002.jpg +| |--0002.json +| └--... +| +|--train_list.txt # 训练文件列表文件 +| +|--val_list.txt # 验证文件列表文件 +| +└--labels.txt # 标签列表文件 + +``` +其中，图像文件名应与json文件名一一对应。 + +每个json文件存储于`labels`相关的信息。如下所示： +``` +"labels": [{"y1": 18, "x2": 883, "x1": 371, "y2": 404, "name": "labelA", + "mask": "kVfc0`0Zg0 PaddleX --> Inference Model --> PaddleLite Opt --> PaddleLite Inference + +以下介绍如何将PaddleX导出为inference model，然后使用PaddleLite的OPT模块对模型进行优化： + +step 1: 安装PaddleLite + +``` +pip install paddlelite +``` + +step 2: 将PaddleX模型导出为inference模型 + +参考[导出inference模型](deploy_server/deploy_python.html#inference)将模型导出为inference格式模型。 +**注意：由于PaddleX代码的持续更新，版本低于1.0.0的模型暂时无法直接用于预测部署，参考[模型版本升级](./upgrade_version.md)对模型版本进行升级。** + +step 3: 将inference模型转换成PaddleLite模型 + +``` +python /path/to/PaddleX/deploy/lite/export_lite.py --model_dir /path/to/inference_model --save_file /path/to/lite_model --place place/to/run + +``` + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 预测模型所在路径，包含"__model__", "__params__"文件 | +| save_file | 模型输出的名称，默认为"paddlex.nb" | +| place | 运行的平台，可选：arm|opencl|x86|npu|xpu|rknpu|apu | + + +step 4: 预测 + +Lite模型预测正在集成中，即将开源... diff --git a/docs/tutorials/deploy/deploy_openvino.md b/docs/tutorials/deploy/deploy_openvino.md new file mode 100644 index 0000000000000000000000000000000000000000..7011ca2cd78a366cb5aaebbe8e95fc18101a6e4b --- /dev/null +++ b/docs/tutorials/deploy/deploy_openvino.md @@ -0,0 +1,136 @@ +# OpenVINO部署 + +## 方案简介 +OpenVINO部署方案位于目录`PaddleX/deploy/openvino/`下，且独立于PaddleX其他模块，该方案目前支持在 **Linux** 完成编译和部署运行。 + +PaddleX到OpenVINO的部署流程如下： + +> PaddleX --> ONNX --> OpenVINO IR --> OpenVINO Inference Engine + +|目前支持OpenVINO部署的PaddleX模型| +|-----| +|ResNet18| +|ResNet34| +|ResNet50| +|ResNet101| +|ResNet50_vd| +|ResNet101_vd| +|ResNet50_vd_ssld| +|ResNet101_vd_ssld| +|DarkNet53| +|MobileNetV1| +|MobileNetV2| +|DenseNet121| +|DenseNet161| +|DenseNet201| + +## 部署流程 + +### 说明 +本文档在 `Ubuntu`使用`GCC 4.8.5` 进行了验证，如果需要使用更多G++版本和平台的OpenVino编译，请参考: [OpenVINO](https://github.com/openvinotoolkit/openvino/blob/2020/build-instruction.md)。 + + +### 验证环境 +* Ubuntu* 16.04 (64-bit) with GCC* 4.8.5 +* CMake 3.12 +* Python 2.7 or higher + +请确保系统已经安装好上述基本软件，**下面所有示例以工作目录 `/root/projects/`演示**。 + +``` + git clone https://github.com/PaddlePaddle/PaddleX.git +``` + +**说明**：其中`C++`预测代码在`/root/projects/PaddleX/deploy/openvino` 目录，该目录不依赖任何`PaddleX`下其他目录。 + +### Step1: 软件依赖 + +- openvino: +[编译文档](https://github.com/openvinotoolkit/openvino/blob/2020/build-instruction.md#build-steps) + +- gflags: +[编译文档](https://gflags.github.io/gflags/#download) + +- opencv: +[编译文档](https://docs.opencv.org/master/d7/d9f/tutorial_linux_install.html) +说明：/root/projects/PaddleX/deploy/openvino/scripts/bootstrap.sh提供了预编译版本下载，也可自行编译。 + +- ngraph: +说明：openvino编译的过程中会生成ngraph的lib文件，位于{openvino根目录}/bin/intel64/Release/lib/下。 + +### Step2: 编译 + + +编译`cmake`的命令在`scripts/build.sh`中，请根据Step1中编译软件的实际情况修改主要参数，其主要内容说明如下： +``` +# openvino预编译库的路径 +OPENVINO_DIR=/path/to/inference_engine/ +# gflags预编译库的路径 +GFLAGS_DIR=/path/to/gflags +# ngraph lib的路径，编译openvino时通常会生成 +NGRAPH_LIB=/path/to/ngraph/lib/ +# opencv预编译库的路径, 如果使用自带预编译版本可不修改 +OPENCV_DIR=$(pwd)/deps/opencv3gcc4.8/ +# 下载自带预编译版本 +sh $(pwd)/scripts/bootstrap.sh +rm -rf build +mkdir -p build +cd build +cmake .. \ + -DOPENCV_DIR=${OPENCV_DIR} \ + -DGFLAGS_DIR=${GFLAGS_DIR} \ + -DOPENVINO_DIR=${OPENVINO_DIR} \ + -DNGRAPH_LIB=${NGRAPH_LIB} +make +``` + +修改脚本设置好主要参数后，执行`build`脚本： + ```shell + sh ./scripts/build.sh + ``` + +### Step3: 模型转换 + +将PaddleX模型转换成ONNX模型： + +``` +paddlex --export_onnx --model_dir=/path/to/xiaoduxiong_epoch_12 --save_dir=/path/to/onnx_model +``` + +将生成的onnx模型转换为OpenVINO支持的格式，请参考：[Model Optimizer文档](https://docs.openvinotoolkit.org/latest/_docs_MO_DG_Deep_Learning_Model_Optimizer_DevGuide.html) + +### Step4: 预测 + +编译成功后，分类任务的预测可执行程序为`classifier`，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| --model_dir | Model Optimizer生成的.xml文件路径，请保证Model Optimizer生成的三个文件在同一路径下| +| --image | 要预测的图片文件路径 | +| --image_list | 按行存储图片路径的.txt文件 | +| --device | 运行的平台, 默认值为"CPU" | + +#### 样例 + +`样例一`： + +测试图片 `/path/to/xiaoduxiong.jpeg` + +```shell +./build/classifier --model_dir=/path/to/openvino_model --image=/path/to/xiaoduxiong.jpeg +``` + + +`样例二`: + +预测多个图片`/path/to/image_list.txt`，image_list.txt内容的格式如下： +``` +/path/to/images/xiaoduxiong1.jpeg +/path/to/images/xiaoduxiong2.jpeg +... +/path/to/images/xiaoduxiongn.jpeg +``` + +```shell +./build/classifier --model_dir=/path/to/models/openvino_model --image_list=/root/projects/images_list.txt +``` diff --git a/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md b/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md new file mode 100755 index 0000000000000000000000000000000000000000..b4309ba896f1ae7c0d6f413e537343b608c5fa9f --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_linux.md @@ -0,0 +1,160 @@ +# Linux平台部署 + +## 说明 +本文档在 `Linux`平台使用`GCC 4.8.5` 和 `GCC 4.9.4`测试过，如果需要使用更高G++版本编译使用，则需要重新编译Paddle预测库，请参考: [从源码编译Paddle预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 + +## 前置条件 +* G++ 4.8.2 ~ 4.9.4 +* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） +* CMake 3.0+ + +请确保系统已经安装好上述基本软件，**下面所有示例以工作目录 `/root/projects/`演示**。 + +### Step1: 下载代码 + + `git clone https://github.com/PaddlePaddle/PaddleX.git` + +**说明**：其中`C++`预测代码在`/root/projects/PaddleX/deploy/cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 + + +### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference + +PaddlePaddle C++ 预测库针对不同的`CPU`，`CUDA`，以及是否支持TensorRT，提供了不同的预编译版本，目前PaddleX依赖于Paddle1.8版本，以下提供了多个不同版本的Paddle预测库: + +| 版本说明 | 预测库(1.8.2版本) | +| ---- | ---- | +| ubuntu14.04_cpu_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-cpu-avx-mkl/fluid_inference.tgz) | +| ubuntu14.04_cpu_avx_openblas | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-cpu-avx-openblas/fluid_inference.tgz) | +| ubuntu14.04_cpu_noavx_openblas | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-cpu-noavx-openblas/fluid_inference.tgz) | +| ubuntu14.04_cuda9.0_cudnn7_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-gpu-cuda9-cudnn7-avx-mkl/fluid_inference.tgz) | +| ubuntu14.04_cuda10.0_cudnn7_avx_mkl | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-gpu-cuda10-cudnn7-avx-mkl/fluid_inference.tgz ) | +| ubuntu14.04_cuda10.1_cudnn7.6_avx_mkl_trt6 | [fluid_inference.tgz](https://paddle-inference-lib.bj.bcebos.com/1.8.2-gpu-cuda10.1-cudnn7.6-avx-mkl-trt6%2Ffluid_inference.tgz) | + +更多和更新的版本，请根据实际情况下载: [C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html) + +下载并解压后`/root/projects/fluid_inference`目录包含内容为： +``` +fluid_inference +├── paddle # paddle核心库和头文件 +| +├── third_party # 第三方依赖库和头文件 +| +└── version.txt # 版本和编译信息 +``` + +**注意:** 预编译版本除`nv-jetson-cuda10-cudnn7.5-trt5` 以外其它包都是基于`GCC 4.8.5`编译，使用高版本`GCC`可能存在 `ABI`兼容性问题，建议降级或[自行编译预测库](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/build_and_install_lib_cn.html#id12)。 + + +### Step4: 编译 + +编译`cmake`的命令在`scripts/build.sh`中，请根据实际情况修改主要参数，其主要内容说明如下： +``` +# 是否使用GPU(即是否使用 CUDA) +WITH_GPU=OFF +# 使用MKL or openblas +WITH_MKL=ON +# 是否集成 TensorRT(仅WITH_GPU=ON 有效) +WITH_TENSORRT=OFF +# TensorRT 的路径，如果需要集成TensorRT，需修改为您实际安装的TensorRT路径 +TENSORRT_DIR=/root/projects/TensorRT/ +# Paddle 预测库路径, 请修改为您实际安装的预测库路径 +PADDLE_DIR=/root/projects/fluid_inference +# Paddle 的预测库是否使用静态库来编译 +# 使用TensorRT时，Paddle的预测库通常为动态库 +WITH_STATIC_LIB=OFF +# CUDA 的 lib 路径 +CUDA_LIB=/usr/local/cuda/lib64 +# CUDNN 的 lib 路径 +CUDNN_LIB=/usr/local/cuda/lib64 + +# 是否加载加密后的模型 +WITH_ENCRYPTION=ON +# 加密工具的路径, 如果使用自带预编译版本可不修改 +sh $(pwd)/scripts/bootstrap.sh # 下载预编译版本的加密工具 +ENCRYPTION_DIR=$(pwd)/paddlex-encryption + +# OPENCV 路径, 如果使用自带预编译版本可不修改 +sh $(pwd)/scripts/bootstrap.sh # 下载预编译版本的opencv +OPENCV_DIR=$(pwd)/deps/opencv3gcc4.8/ + +# 以下无需改动 +rm -rf build +mkdir -p build +cd build +cmake .. \ + -DWITH_GPU=${WITH_GPU} \ + -DWITH_MKL=${WITH_MKL} \ + -DWITH_TENSORRT=${WITH_TENSORRT} \ + -DWITH_ENCRYPTION=${WITH_ENCRYPTION} \ + -DTENSORRT_DIR=${TENSORRT_DIR} \ + -DPADDLE_DIR=${PADDLE_DIR} \ + -DWITH_STATIC_LIB=${WITH_STATIC_LIB} \ + -DCUDA_LIB=${CUDA_LIB} \ + -DCUDNN_LIB=${CUDNN_LIB} \ + -DENCRYPTION_DIR=${ENCRYPTION_DIR} \ + -DOPENCV_DIR=${OPENCV_DIR} +make +``` +**注意：** linux环境下编译会自动下载OPENCV, PaddleX-Encryption和YAML，如果编译环境无法访问外网，可手动下载： + +- [opencv3gcc4.8.tar.bz2](https://paddleseg.bj.bcebos.com/deploy/docker/opencv3gcc4.8.tar.bz2) +- [paddlex-encryption.zip](https://bj.bcebos.com/paddlex/tools/paddlex-encryption.zip) +- [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip) + +opencv3gcc4.8.tar.bz2文件下载后解压，然后在script/build.sh中指定`OPENCE_DIR`为解压后的路径。 + +paddlex-encryption.zip文件下载后解压，然后在script/build.sh中指定`ENCRYPTION_DIR`为解压后的路径。 + +yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址，改为下载文件的路径。 + +修改脚本设置好主要参数后，执行`build`脚本： + ```shell + sh ./scripts/build.sh + ``` + +### Step5: 预测及可视化 + +**在加载模型前，请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件，请参考[模型导出为Inference文档](../deploy_python.html#inference)将模型导出为部署格式。** + +编译成功后，预测demo的可执行程序分别为`build/demo/detector`，`build/demo/classifier`，`build/demo/segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| image | 要预测的图片文件路径 | +| image_list | 按行存储图片路径的.txt文件 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| save_dir | 保存可视化结果的路径, 默认值为"output"，**classfier无该参数** | +| key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | +| batch_size | 预测的批量大小，默认为1 | +| thread_num | 预测的线程数，默认为cpu处理器个数 | + +## 样例 + +可使用[小度熊识别模型](../deploy_python.html#inference)中导出的`inference_model`和测试图片进行预测，导出到/root/projects，模型路径为/root/projects/inference_model。 + +`样例一`： + +不使用`GPU`测试图片 `/root/projects/images/xiaoduxiong.jpeg` + +```shell +./build/demo/detector --model_dir=/root/projects/inference_model --image=/root/projects/images/xiaoduxiong.jpeg --save_dir=output +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +`样例二`: + +使用`GPU`预测多个图片`/root/projects/image_list.txt`，image_list.txt内容的格式如下： +``` +/root/projects/images/xiaoduxiong1.jpeg +/root/projects/images/xiaoduxiong2.jpeg +... +/root/projects/images/xiaoduxiongn.jpeg +``` +```shell +./build/demo/detector --model_dir=/root/projects/inference_model --image_list=/root/projects/images_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2 +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 diff --git a/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md b/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md new file mode 100755 index 0000000000000000000000000000000000000000..48d936fd8a9e75e668b44db08352eebe1c20b338 --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/deploy_cpp/deploy_cpp_win_vs2019.md @@ -0,0 +1,164 @@ +# Windows平台部署 + +## 说明 +Windows 平台下，我们使用`Visual Studio 2019 Community` 进行了测试。微软从`Visual Studio 2017`开始即支持直接管理`CMake`跨平台编译项目，但是直到`2019`才提供了稳定和完全的支持，所以如果你想使用CMake管理项目编译构建，我们推荐你使用`Visual Studio 2019`环境下构建。 + +## 前置条件 +* Visual Studio 2019 +* CUDA 9.0 / CUDA 10.0, CUDNN 7+ （仅在使用GPU版本的预测库时需要） +* CMake 3.0+ + +请确保系统已经安装好上述基本软件，我们使用的是`VS2019`的社区版。 + +**下面所有示例以工作目录为 `D:\projects`演示。** + +### Step1: 下载PaddleX预测代码 + +```shell +d: +mkdir projects +cd projects +git clone https://github.com/PaddlePaddle/PaddleX.git +``` + +**说明**：其中`C++`预测代码在`PaddleX\deploy\cpp` 目录，该目录不依赖任何`PaddleX`下其他目录。 + + +### Step2: 下载PaddlePaddle C++ 预测库 fluid_inference + +PaddlePaddle C++ 预测库针对是否使用GPU、是否支持TensorRT、以及不同的CUDA版本提供了已经编译好的预测库，目前PaddleX依赖于Paddle 1.8，基于Paddle 1.8的Paddle预测库下载链接如下所示: + +| 版本说明 | 预测库(1.8.2版本) | 编译器 | 构建工具| cuDNN | CUDA | +| ---- | ---- | ---- | ---- | ---- | ---- | +| cpu_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/mkl/cpu/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | +| cpu_avx_openblas | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/open/cpu/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | +| cuda9.0_cudnn7_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/mkl/post97/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 | +| cuda9.0_cudnn7_avx_openblas | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/open/post97/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.4.1 | 9.0 | +| cuda10.0_cudnn7_avx_mkl | [fluid_inference.zip](https://paddle-wheel.bj.bcebos.com/1.8.2/win-infer/mkl/post107/fluid_inference_install_dir.zip) | MSVC 2015 update 3 | CMake v3.16.0 | 7.5.0 | 9.0 | + +请根据实际情况选择下载，如若以上版本不满足您的需求，请至[C++预测库下载列表](https://www.paddlepaddle.org.cn/documentation/docs/zh/develop/advanced_guide/inference_deployment/inference/windows_cpp_inference.html)选择符合的版本。 + +将预测库解压后，其所在目录（例如`D:\projects\fluid_inference\`）下主要包含的内容有： +``` +├── \paddle\ # paddle核心库和头文件 +| +├── \third_party\ # 第三方依赖库和头文件 +| +└── \version.txt # 版本和编译信息 +``` + +### Step3: 安装配置OpenCV + +1. 在OpenCV官网下载适用于Windows平台的3.4.6版本， [下载地址](https://bj.bcebos.com/paddleseg/deploy/opencv-3.4.6-vc14_vc15.exe) +2. 运行下载的可执行文件，将OpenCV解压至指定目录，例如`D:\projects\opencv` +3. 配置环境变量，如下流程所示 + - 我的电脑->属性->高级系统设置->环境变量 + - 在系统变量中找到Path（如没有，自行创建），并双击编辑 + - 新建，将opencv路径填入并保存，如`D:\projects\opencv\build\x64\vc14\bin` + +### Step4: 使用Visual Studio 2019直接编译CMake + +1. 打开Visual Studio 2019 Community，点击`继续但无需代码` + +![step2](../../images/vs2019_step1.png) +2. 点击： `文件`->`打开`->`CMake` + +![step2.1](../../images/vs2019_step2.png) + +选择C++预测代码所在路径（例如`D:\projects\PaddleX\deploy\cpp`），并打开`CMakeList.txt`： + +![step2.2](../../images/vs2019_step3.png) +3. 点击：`项目`->`CMake设置` + +![step3](../../images/vs2019_step4.png) +4. 点击`浏览`，分别设置编译选项指定`CUDA`、`OpenCV`、`Paddle预测库`的路径 + +![step3](../../images/vs2019_step5.png) + +依赖库路径的含义说明如下（带*表示仅在使用**GPU版本**预测库时指定, 其中CUDA库版本尽量与Paddle预测库的对齐，例如Paddle预测库是**使用9.0、10.0版本**编译的，则编译PaddleX预测代码时**不使用9.2、10.1等版本**CUDA库）： + +| 参数名 | 含义 | +| ---- | ---- | +| *CUDA_LIB | CUDA的库路径, 注：请将CUDNN的cudnn.lib文件拷贝到CUDA_LIB路径下 | +| OPENCV_DIR | OpenCV的安装路径， | +| PADDLE_DIR | Paddle c++预测库的路径 | + +**注意：** +1. 如果使用`CPU`版预测库，请把`WITH_GPU`的`值`去掉勾 +2. 如果使用的是`openblas`版本，请把`WITH_MKL`的`值`去掉勾 +3. Windows环境下编译会自动下载YAML，如果编译环境无法访问外网，可手动下载： [yaml-cpp.zip](https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip) +yaml-cpp.zip文件下载后无需解压，在cmake/yaml.cmake中将`URL https://bj.bcebos.com/paddlex/deploy/deps/yaml-cpp.zip` 中的网址，改为下载文件的路径。 +4. 如果需要使用模型加密功能，需要手动下载[Windows预测模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)。例如解压到D:/projects，解压后目录为D:/projects/paddlex-encryption。编译时需勾选WITH_EBNCRYPTION并且在ENCRTYPTION_DIR填入D:/projects/paddlex-encryption。 + +![step_encryption](../../images/vs2019_step_encryption.png) + +![step4](../../images/vs2019_step6.png) + +**设置完成后**, 点击上图中`保存并生成CMake缓存以加载变量`。 +5. 点击`生成`->`全部生成` + +![step6](../../images/vs2019_step7.png) + +### Step5: 预测及可视化 + +**在加载模型前，请检查你的模型目录中文件应该包括`model.yml`、`__model__`和`__params__`三个文件。如若不满足这个条件，请参考[模型导出为Inference文档](../deploy_python.html#inference)将模型导出为部署格式。** + +上述`Visual Studio 2019`编译产出的可执行文件在`out\build\x64-Release`目录下，打开`cmd`，并切换到该目录： + +``` +D: +cd D:\projects\PaddleX\deploy\cpp\out\build\x64-Release +``` + +编译成功后，预测demo的入口程序为`paddlex_inference\detector.exe`，`paddlex_inference\classifier.exe`，`paddlex_inference\segmenter.exe`，用户可根据自己的模型类型选择，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| image | 要预测的图片文件路径 | +| image_list | 按行存储图片路径的.txt文件 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| save_dir | 保存可视化结果的路径, 默认值为"output"，classfier无该参数 | +| key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | +| batch_size | 预测的批量大小，默认为1 | +| thread_num | 预测的线程数，默认为cpu处理器个数 | + +## 样例 + +可使用[小度熊识别模型](../deploy_python.md)中导出的`inference_model`和测试图片进行预测, 例如导出到D:\projects，模型路径为D:\projects\inference_model。 + +### 样例一：(使用未加密的模型对单张图像做预测) + +不使用`GPU`测试图片 `D:\images\xiaoduxiong.jpeg` + +``` +.\paddlex_inference\detector.exe --model_dir=D:\projects\inference_model --image=D:\images\xiaoduxiong.jpeg --save_dir=output + +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +### 样例二：(使用未加密的模型对图像列表做预测) + +使用`GPU`预测多个图片`D:\images\image_list.txt`，image_list.txt内容的格式如下： +``` +D:\images\xiaoduxiong1.jpeg +D:\images\xiaoduxiong2.jpeg +... +D:\images\xiaoduxiongn.jpeg +``` +``` +.\paddlex_inference\detector.exe --model_dir=D:\projects\inference_model --image_list=D:\images\image_list.txt --use_gpu=1 --save_dir=output --batch_size=2 --thread_num=2 +``` +图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + +### 样例三：(使用加密后的模型对单张图片进行预测) + +如果未对模型进行加密，请参考[加密PaddleX模型](../encryption.html#paddlex)对模型进行加密。例如加密后的模型所在目录为`D:\projects\encrypted_inference_model`。 + +``` +.\paddlex_inference\detector.exe --model_dir=D:\projects\encrypted_inference_model --image=D:\images\xiaoduxiong.jpeg --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c= +``` + +`--key`传入加密工具输出的密钥，例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件可视化预测结果会保存在`save_dir`参数设置的目录下。 diff --git a/docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst b/docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst new file mode 100644 index 0000000000000000000000000000000000000000..36a066b6eb269a00be34f8401e1083b9f61a91bd --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/deploy_cpp/index.rst @@ -0,0 +1,11 @@ +C++部署 +============== + + +C++部署方案位于目录PaddleX/deploy/cpp/下，且独立于PaddleX其他模块。该方案支持在 Windows 和 Linux 完成编译、二次开发集成和部署运行，支持在Linux上完成加密部署。 + +.. toctree:: + :maxdepth: 1 + + deploy_cpp_win_vs2019.md + deploy_cpp_linux.md diff --git a/docs/tutorials/deploy/deploy_server/deploy_python.md b/docs/tutorials/deploy/deploy_server/deploy_python.md new file mode 100644 index 0000000000000000000000000000000000000000..321d48077fd0478234e8ce6386c7355c36d1c63c --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/deploy_python.md @@ -0,0 +1,57 @@ +# Python部署 +PaddleX已经集成了基于Python的高性能预测接口，在安装PaddleX后，可参照如下代码示例，进行预测。相关的接口文档可参考[paddlex.deploy](../../../apis/deploy.md) + +## 导出inference模型 + +在服务端部署的模型需要首先将模型导出为inference格式模型，导出的模型将包括`__model__`、`__params__`和`model.yml`三个文名，分别为模型的网络结构，模型权重和模型的配置文件（包括数据预处理参数等等）。在安装完PaddleX后，在命令行终端使用如下命令导出模型到当前目录`inferece_model`下。 +> 可直接下载小度熊分拣模型测试本文档的流程[xiaoduxiong_epoch_12.tar.gz](https://bj.bcebos.com/paddlex/models/xiaoduxiong_epoch_12.tar.gz) + +``` +paddlex --export_inference --model_dir=./xiaoduxiong_epoch_12 --save_dir=./inference_model +``` + +使用TensorRT预测时，需指定模型的图像输入shape:[w,h]。 +**注**： +- 分类模型请保持于训练时输入的shape一致。 +- 指定[w,h]时，w和h中间逗号隔开，不允许存在空格等其他字符 + +``` +paddlex --export_inference --model_dir=./xiaoduxiong_epoch_12 --save_dir=./inference_model --fixed_input_shape=[640,960] +``` + +## 预测部署 +**注意：由于PaddleX代码的持续更新，版本低于1.0.0的模型暂时无法直接用于预测部署，参考[模型版本升级](../upgrade_version.md)对模型版本进行升级。** + +> 点击下载测试图片 [xiaoduxiong_test_image.tar.gz](https://bj.bcebos.com/paddlex/datasets/xiaoduxiong_test_image.tar.gz) + +``` +import paddlex as pdx +predictor = pdx.deploy.Predictor('./inference_model') +result = predictor.predict(image='xiaoduxiong_test_image/JPEGImages/WeChatIMG110.jpeg') +``` + +## 预测性能对比 +### 测试环境 + +- CUDA 9.0 +- CUDNN 7.5 +- PaddlePaddle 1.71 +- GPU: Tesla P40 +- AnalysisPredictor 指采用Python的高性能预测方式 +- Executor 指采用paddlepaddle普通的python预测方式 +- Batch Size均为1，耗时单位为ms/image，只计算模型运行时间，不包括数据的预处理和后处理 + +### 性能对比 + + +| 模型 | AnalysisPredictor耗时 | Executor耗时 | 输入图像大小 | +| :---- | :--------------------- | :------------ | :------------ | +| resnet50 | 4.84 | 7.57 | 224*224 | +| mobilenet_v2 | 3.27 | 5.76 | 224*224 | +| unet | 22.51 | 34.60 |513*513 | +| deeplab_mobile | 63.44 | 358.31 |1025*2049 | +| yolo_mobilenetv2 | 15.20 | 19.54 | 608*608 | +| faster_rcnn_r50_fpn_1x | 50.05 | 69.58 |800*1088 | +| faster_rcnn_r50_1x | 326.11 | 347.22 | 800*1067 | +| mask_rcnn_r50_fpn_1x | 67.49 | 91.02 | 800*1088 | +| mask_rcnn_r50_1x | 326.11 | 350.94 | 800*1067 | diff --git a/docs/tutorials/deploy/deploy_server/encryption.md b/docs/tutorials/deploy/deploy_server/encryption.md new file mode 100644 index 0000000000000000000000000000000000000000..89eee6b8f1089964834bc0d88d1306f8ac3961ba --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/encryption.md @@ -0,0 +1,166 @@ +# 模型加密部署 + +PaddleX提供一个轻量级的模型加密部署方案，通过PaddleX内置的模型加密工具对推理模型进行加密，预测部署SDK支持直接加载密文模型并完成推理，提升AI模型部署的安全性。 + +**目前加密方案已支持Windows，Linux系统** + +## 1. 方案简介 + +### 1.1 简介 + +（1）加密算法的选择和支持的库 + +一般使用OpenSSL库来支持数据的加解密，OpenSSL提供了大量的加解密算法，包括对称加密算法（AES等）和非对称加密算法（RSA等）。 + +两种算法使用的场景不同，非对称加密算法一般应用于数字签名和密钥协商的场景下，而对称加密算法一般应用于纯数据加密场景，性能更优。在对模型的加密过程中使用对称加密算法。 + +以下对模型加密场景实现的说明中以开发一个C/C++库为基础，采用AES对称加密算法，为了加解密前后能够快速判断解密是否成功，使用AES-GCM加解密模式，在密钥的安全性上使用长度为256位的密钥数据。 + +（2）实现模型保护的一般步骤： + +![](../images/encryption_process.png) + +下面是对提供的C/C++加解密库内部实现的中文描述，参考以下步骤可以实现一套加解密库来适应自己的场景并通过内存数据加载到Paddle Inference预测库中 + +> 1）考虑到加密的模型文件解密后需要从内存加载数据，使用conbine的模式生成模型文件和参数文件。 +> +> 2）项目集成OpenSSL，使用静态库的形式。 +> +> 3）实现AES算法接口，借助OpenSSL提供的EVP接口，在EVP接口中指定算法类型，算法使用对称加解密算法中的AES，加解密模式使用AES-GCM， 密钥长度为256位，AES-GCM的实现可以参考官方提供的例子自己进行封装接口：https://wiki.openssl.org/index.php/EVP_Authenticated_Encryption_and_Decryption。 +> +> 4）利用OpenSSL库实现SHA256摘要算法，这部分下面有用（可选）。关于SHA256的hash计算可以参考OpenSSL提供的example：https://wiki.openssl.org/index.php/EVP_Message_Digests +> +> 5）在模型加密环节直接对model文件和params文件的数据内容进行加密后保存到新的文件，为了新的文件能够被区分和可迭代，除了加密后的数据外还添加了头部信息，比如为了判断该文件类型使用固定的魔数作为文件的开头；为了便于后面需求迭代写入版本号以示区别；为了能够在解密时判断是否采用了相同的密钥将加密时的密钥进行SHA256计算后存储；这三部分构成了目前加密后文件的头部信息。加密后的文件包含头部信息 + 密文信息。 +> +> 6）在模型解密环节根据加密后的文件读取相关的加密数据到内存中，对内存数据使用AES算法进行解密，注意解密时需要采用与加密时一致的加密算法和加密的模式，以及密钥的数据和长度，否则会导致解密后数据错误。 +> +> 7）集成模型预测的C/C++库，在具体使用预测时一般涉及paddle::AnalysisConfig和paddle:Predictor，为了能够从内存数据中直接load解密后的模型明文数据（避免模型解密后创建临时文件），这里需要将AnalysisConfig的模型加载函数从SetModel替换为SetModelBuffer来实现从内存中加载模型数据。 + +需要注意的是，在本方案中，密钥集成在上层预测服务的代码中。故模型的安全强度等同于代码抵御逆向调试的强度。为了保护密钥和模型的安全，开发者还需对自己的应用进行加固保护。常见的应用加固手段有：代码混淆，二进制文件加壳 等等，亦或将加密机制更改为AES白盒加密技术来保护密钥。这类技术领域内有大量商业和开源产品可供选择，此处不一一赘述。 + +### 1.2 加密工具 + +[Linux版本 PaddleX模型加密工具](https://bj.bcebos.com/paddlex/tools/paddlex-encryption.zip)，编译脚本会自动下载该版本加密工具，您也可以选择手动下载。 + +[Windows版本 PaddleX模型加密工具](https://bj.bcebos.com/paddlex/tools/win/paddlex-encryption.zip)，该版本加密工具需手动下载，如果您在使用Visual Studio 2019编译C++预测代码的过程中已经下载过该工具，此处可不必重复下载。 + +Linux加密工具包含内容为： +``` +paddlex-encryption +├── include # 头文件：paddle_model_decrypt.h（解密）和paddle_model_encrypt.h（加密） +| +├── lib # libpmodel-encrypt.so和libpmodel-decrypt.so动态库 +| +└── tool # paddlex_encrypt_tool +``` + +Windows加密工具包含内容为： +``` +paddlex-encryption +├── include # 头文件：paddle_model_decrypt.h（解密）和paddle_model_encrypt.h（加密） +| +├── lib # pmodel-encrypt.dll和pmodel-decrypt.dll动态库 pmodel-encrypt.lib和pmodel-encrypt.lib静态库 +| +└── tool # paddlex_encrypt_tool.exe 模型加密工具 +``` +### 1.3 加密PaddleX模型 + +对模型完成加密后，加密工具会产生随机密钥信息(用于AES加解密使用），需要在后续加密部署时传入该密钥来用于解密。 +> 密钥由32字节key + 16字节iv组成， 注意这里产生的key是经过base64编码后的，这样可以扩充key的选取范围 + +Linux平台: +``` +# 假设模型在/root/projects下 +./paddlex-encryption/tool/paddlex_encrypt_tool -model_dir /root/projects/paddlex_inference_model -save_dir /root/projects/paddlex_encrypted_model +``` + +Windows平台: +``` +# 假设模型在D:/projects下 +.\paddlex-encryption\tool\paddlex_encrypt_tool.exe -model_dir D:\projects\paddlex_inference_model -save_dir D:\projects\paddlex_encrypted_model +``` + +`-model_dir`用于指定inference模型路径（参考[导出inference模型](deploy_python.html#inference)将模型导出为inference格式模型），可使用[导出小度熊识别模型](deploy_python.html#inference)中导出的`inference_model`。加密完成后，加密过的模型会保存至指定的`-save_dir`下，包含`__model__.encrypted`、`__params__.encrypted`和`model.yml`三个文件，同时生成密钥信息，命令输出如下图所示，密钥为`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=` + +![](../images/encrypt.png) + +## 2. PaddleX C++加密部署 + +### 2.1 Linux平台使用 +参考[Linux平台编译指南](deploy_cpp/deploy_cpp_linux.md)编译C++部署代码。编译成功后，预测demo的可执行程序分别为`build/demo/detector`，`build/demo/classifier`，`build/demo/segmenter`，用户可根据自己的模型类型选择，其主要命令参数说明如下： + +| 参数 | 说明 | +| ---- | ---- | +| model_dir | 导出的预测模型所在路径 | +| image | 要预测的图片文件路径 | +| image_list | 按行存储图片路径的.txt文件 | +| use_gpu | 是否使用 GPU 预测, 支持值为0或1(默认值为0) | +| use_trt | 是否使用 TensorRT 预测, 支持值为0或1(默认值为0) | +| gpu_id | GPU 设备ID, 默认值为0 | +| save_dir | 保存可视化结果的路径, 默认值为"output"，classifier无该参数 | +| key | 加密过程中产生的密钥信息，默认值为""表示加载的是未加密的模型 | +| batch_size | 预测的批量大小，默认为1 | +| thread_num | 预测的线程数，默认为cpu处理器个数 | + + +### 样例 + +可使用[导出小度熊识别模型](deploy_python.md#inference)中的测试图片进行预测。 + +#### 样例一： + +不使用`GPU`测试图片 `/root/projects/images/xiaoduxiong.jpeg` + +```shell +./build/demo/detector --model_dir=/root/projects/paddlex_encrypted_model --image=/root/projects/xiaoduxiong.jpeg --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c= +``` +`--key`传入加密工具输出的密钥，例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +#### 样例二: + +使用`GPU`预测多个图片`/root/projects/image_list.txt`，image_list.txt内容的格式如下： +``` +/root/projects/images/xiaoduxiong1.jpeg +/root/projects/xiaoduxiong2.jpeg +... +/root/projects/xiaoduxiongn.jpeg +``` +```shell +./build/demo/detector --model_dir=/root/projects/models/paddlex_encrypted_model --image_list=/root/projects/images_list.txt --use_gpu=1 --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c= +``` +`--key`传入加密工具输出的密钥，例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + +### 2.2 Windows平台使用 +参考[Windows平台编译指南](deploy_cpp/deploy_cpp_win_vs2019.md)。需自行下载Windows版PaddleX加密工具压缩包，解压，在编译指南的编译流程基础上，在CMake设置中勾选WITH_ENCRYPTION，ENCRYPTION_DIR填写为加密工具包解压后的目录，再进行编译。参数与Linux版本预测部署一致。预测demo的入口程序为paddlex_inference\detector.exe，paddlex_inference\classifier.exe，paddlex_inference\segmenter.exe。 + +### 样例 + +可使用[导出小度熊识别模型](deploy_python.md#inference)中的测试图片进行预测。 + +#### 样例一： + +不使用`GPU`测试单张图片，例如图片为`D:\images\xiaoduxiong.jpeg`，加密后的模型目录为`D:\projects\paddlex_encrypted_model` + +```shell +.\paddlex_inference\detector.exe --model_dir=D:\projects\paddlex_encrypted_model --image=D:\images\xiaoduxiong.jpeg --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c= +``` +`--key`传入加密工具输出的密钥，例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 + + +#### 样例二: + +使用`GPU`预测图片列表，例如图片列表为`D:\projects\image_list.txt`，`image_list.txt`的内容如下： +``` +D:\projects\images\xiaoduxiong1.jpeg +D:\projects\images\xiaoduxiong2.jpeg +... +D:\projects\images\xiaoduxiongn.jpeg +``` + +加密后的模型目录例如为`D:\projects\paddlex_encrypted_model` + +``` +.\paddlex_inference\detector.exe --model_dir=D:\projects\paddlex_encrypted_model --image_list=D:\projects\images_list.txt --use_gpu=1 --save_dir=output --key=kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c= +``` +`--key`传入加密工具输出的密钥，例如`kLAl1qOs5uRbFt0/RrIDTZW2+tOf5bzvUIaHGF8lJ1c=`, 图片文件`可视化预测结果`会保存在`save_dir`参数设置的目录下。 diff --git a/docs/tutorials/deploy/deploy_server/index.rst b/docs/tutorials/deploy/deploy_server/index.rst new file mode 100644 index 0000000000000000000000000000000000000000..e9635c0532bc56f3073a78f615c21019a699c68f --- /dev/null +++ b/docs/tutorials/deploy/deploy_server/index.rst @@ -0,0 +1,9 @@ +服务端部署 +============== + +.. toctree:: + :maxdepth: 2 + + deploy_python.md + deploy_cpp/index.rst + encryption.md diff --git a/docs/tutorials/deploy/images/encrypt.png b/docs/tutorials/deploy/images/encrypt.png new file mode 100644 index 0000000000000000000000000000000000000000..31f46781daabfaea3c6374a8fda5cc4476eceb43 Binary files /dev/null and b/docs/tutorials/deploy/images/encrypt.png differ diff --git a/docs/tutorials/deploy/images/encryption_process.png b/docs/tutorials/deploy/images/encryption_process.png new file mode 100644 index 0000000000000000000000000000000000000000..25d3fac458e5cbdd2e211a62147698ac081b9f32 Binary files /dev/null and b/docs/tutorials/deploy/images/encryption_process.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step1.png b/docs/tutorials/deploy/images/vs2019_step1.png new file mode 100755 index 0000000000000000000000000000000000000000..58fdf2fd624f3c2d26f7c78814c4a67cc323e495 Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step1.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step2.png b/docs/tutorials/deploy/images/vs2019_step2.png new file mode 100755 index 0000000000000000000000000000000000000000..f1b5fd0a1c83c3008e2953a84164932140b104bf Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step2.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step3.png b/docs/tutorials/deploy/images/vs2019_step3.png new file mode 100755 index 0000000000000000000000000000000000000000..943e861aaa1496cdb6693fb973cce13600122985 Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step3.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step4.png b/docs/tutorials/deploy/images/vs2019_step4.png new file mode 100644 index 0000000000000000000000000000000000000000..9df86c9824f5fde45bc6df440ddc813742ce460f Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step4.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step5.png b/docs/tutorials/deploy/images/vs2019_step5.png new file mode 100644 index 0000000000000000000000000000000000000000..e5349cf08b209561b5cd11e3f5b68e4aa6c6e295 Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step5.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step6.png b/docs/tutorials/deploy/images/vs2019_step6.png new file mode 100755 index 0000000000000000000000000000000000000000..0986e823812e2316c4fd0f2e6cb260a1204fda40 Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step6.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step7.png b/docs/tutorials/deploy/images/vs2019_step7.png new file mode 100755 index 0000000000000000000000000000000000000000..86a8039cbd2a9f8fb499ed72d386b5c02b30c86c Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step7.png differ diff --git a/docs/tutorials/deploy/images/vs2019_step_encryption.png b/docs/tutorials/deploy/images/vs2019_step_encryption.png new file mode 100644 index 0000000000000000000000000000000000000000..27a606799363b8b0f383ebd06f86a9a20e133ce9 Binary files /dev/null and b/docs/tutorials/deploy/images/vs2019_step_encryption.png differ diff --git a/docs/tutorials/deploy/index.rst b/docs/tutorials/deploy/index.rst new file mode 100644 index 0000000000000000000000000000000000000000..ebeb36ffb9227ff610f1f82ab9eccb16b82a89f8 --- /dev/null +++ b/docs/tutorials/deploy/index.rst @@ -0,0 +1,13 @@ +多端安全部署 +============== + +本文档指引用户如何采用更高性能地方式来部署使用PaddleX训练的模型。本文档模型部署采用Paddle Inference高性能部署方式，在模型运算过程中，对模型计算图进行优化，同时减少内存操作，具体各模型性能对比见服务端Python部署的预测性能对比章节。 + +同时结合产业实践开发者对模型知识产权的保护需求，提供了轻量级模型加密部署的方案，提升深度学习模型部署的安全性。 + +.. toctree:: + :maxdepth: 2 + + deploy_server/index.rst + deploy_openvino.md + deploy_lite.md diff --git a/docs/tutorials/deploy/upgrade_version.md b/docs/tutorials/deploy/upgrade_version.md new file mode 100644 index 0000000000000000000000000000000000000000..3fbe92026593b0f0deb39f0e5b6cd2baa4b953b2 --- /dev/null +++ b/docs/tutorials/deploy/upgrade_version.md @@ -0,0 +1,14 @@ +# 模型版本升级 + +由于PaddleX代码的持续更新，版本低于1.0.0的模型暂时无法直接用于预测部署，用户需要按照以下步骤对模型版本进行转换，转换后的模型可以在多端上完成部署。 + +## 检查模型版本 + +存放模型的文件夹存有一个`model.yml`文件，该文件的最后一行`version`值表示模型的版本号，若版本号小于1.0.0，则需要进行版本转换，若版本号大于及等于1.0.0，则不需要进行版本转换。 + +## 版本转换 + +``` +paddlex --export_inference --model_dir=/path/to/low_version_model --save_dir=SSpath/to/high_version_model +``` +`--model_dir`为版本号小于1.0.0的模型路径，可以是PaddleX训练过程保存的模型，也可以是导出为inference格式的模型。`--save_dir`为转换为高版本的模型，后续可用于多端部署。 diff --git a/docs/tutorials/index.rst b/docs/tutorials/index.rst new file mode 100755 index 0000000000000000000000000000000000000000..b05bfae7f517a9ec64d82a590dc2bb5ff2404dfb --- /dev/null +++ b/docs/tutorials/index.rst @@ -0,0 +1,10 @@ +PaddleX全流程开发教程 +========================= + +.. toctree:: + :maxdepth: 1 + + dataset_prepare.md + train/index.rst + compress/index.rst + deploy/index.rst diff --git a/docs/tutorials/train/classification.md b/docs/tutorials/train/classification.md new file mode 100755 index 0000000000000000000000000000000000000000..0fe98608ca8fa31a663519f8ac8c64dd2225e61b --- /dev/null +++ b/docs/tutorials/train/classification.md @@ -0,0 +1,108 @@ +# 训练图像分类模型 + +--- +本文档训练代码可参考PaddleX的[代码tutorial/train/classification/mobilenetv2.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/classification/mobilenetv2.py) + +**1.下载并解压训练所需的数据集** + +> 使用1张显卡训练并指定使用0号卡。 + +```python +import os +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx +``` + +> 这里使用蔬菜数据集，训练集、验证集和测试集共包含6189个样本，18个类别。 + +```python +veg_dataset = 'https://bj.bcebos.com/paddlex/datasets/vegetables_cls.tar.gz' +pdx.utils.download_and_decompress(veg_dataset, path='./') +``` + +**2.定义训练和验证过程中的数据处理和增强操作** +> transforms用于指定训练和验证过程中的数据处理和增强操作流程，如下代码在训练过程中使用了`RandomCrop`和`RandomHorizontalFlip`进行数据增强，transforms的使用见[paddlex.cls.transforms](../../apis/transforms/cls_transforms.html#paddlex-cls-transforms) + +```python +from paddlex.cls import transforms +train_transforms = transforms.Compose([ + transforms.RandomCrop(crop_size=224), + transforms.RandomHorizontalFlip(), + transforms.Normalize() +]) +eval_transforms = transforms.Compose([ + transforms.ResizeByShort(short_size=256), + transforms.CenterCrop(crop_size=224), + transforms.Normalize() +]) +``` + +**3.创建数据集读取器，并绑定相应的数据预处理流程** +> 通过不同的数据集读取器可以加载不同格式的数据集，数据集API的介绍见文档[paddlex.datasets](../../apis/datasets.md) + +```python +train_dataset = pdx.datasets.ImageNet( + data_dir='vegetables_cls', + file_list='vegetables_cls/train_list.txt', + label_list='vegetables_cls/labels.txt', + transforms=train_transforms, + shuffle=True) +eval_dataset = pdx.datasets.ImageNet( + data_dir='vegetables_cls', + file_list='vegetables_cls/val_list.txt', + label_list='vegetables_cls/labels.txt', + transforms=eval_transforms) +``` + +**4.创建模型进行训练** +> 模型训练会默认自动下载和使用imagenet图像数据集上的预训练模型，用户也可自行指定`pretrain_weights`参数来设置预训练权重。模型训练过程每间隔`save_interval_epochs`轮会保存一次模型在`save_dir`目录下，同时在保存的过程中也会在验证数据集上计算相关指标。 + +> 分类模型的接口可见文档[paddlex.cls.models](../../apis/models.md) + +```python +model = pdx.cls.MobileNetV2(num_classes=len(train_dataset.labels)) +model.train( + num_epochs=10, + train_dataset=train_dataset, + train_batch_size=32, + eval_dataset=eval_dataset, + lr_decay_epochs=[4, 6, 8], + learning_rate=0.025, + save_dir='output/mobilenetv2', + use_vdl=True) +``` + +> 将`use_vdl`设置为`True`时可使用VisualDL查看训练指标。按以下方式启动VisualDL后，浏览器打开 https://0.0.0.0:8001即可。其中0.0.0.0为本机访问，如为远程服务, 改成相应机器IP。 + +```shell +visualdl --logdir output/mobilenetv2/vdl_log --port 8001 +``` + +**5.验证或测试** +> 利用训练完的模型可继续在验证集上进行验证。 + +```python +eval_metrics = model.evaluate(eval_dataset, batch_size=8) +print("eval_metrics:", eval_metrics) +``` + +> 结果输出： +``` +eval_metrics: OrderedDict([('acc1', 0.9895916733386709), ('acc5', 0.9983987189751802)]) +``` + +> 训练完用模型对图片进行测试。 + +```python +predict_result = model.predict('./vegetables_cls/bocai/IMG_00000839.jpg', topk=5) +print("predict_result:", predict_result) +``` + +> 结果输出： +``` +predict_result: [{'category_id': 13, 'category': 'bocai', 'score': 0.8607276}, + {'category_id': 11, 'category': 'kongxincai', 'score': 0.06386806}, + {'category_id': 2, 'category': 'suanmiao', 'score': 0.03736042}, + {'category_id': 12, 'category': 'heiqiezi', 'score': 0.007879922}, + {'category_id': 17, 'category': 'huluobo', 'score': 0.006327283}] +``` diff --git a/docs/tutorials/train/detection.md b/docs/tutorials/train/detection.md new file mode 100755 index 0000000000000000000000000000000000000000..eefff4c075d7aba5e05de032ec3c3d73d253ac65 --- /dev/null +++ b/docs/tutorials/train/detection.md @@ -0,0 +1,119 @@ +# 训练目标检测模型 + +------ + +更多检测模型在VOC数据集或COCO数据集上的训练代码可参考[代码tutorials/train/detection/faster_rcnn_r50_fpn.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/detection/faster_rcnn_r50_fpn.py)、[代码tutorials/train/detection/yolov3_darknet53.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/detection/yolov3_darknet53.py)。 + +**1.下载并解压训练所需的数据集** + +> 使用1张显卡训练并指定使用0号卡。 + +```python +import os +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx +``` + +> 这里使用昆虫数据集，训练集、验证集和测试集共包含217个样本，6个类别。 + +```python +insect_dataset = 'https://bj.bcebos.com/paddlex/datasets/insect_det.tar.gz' +pdx.utils.download_and_decompress(insect_dataset, path='./') +``` + +**2.定义训练和验证过程中的数据处理和增强操作** + +> 在训练过程中使用`RandomHorizontalFlip`进行数据增强，由于接下来选择的模型是带FPN结构的Faster RCNN，所以使用`Padding`将输入图像的尺寸补齐到32的倍数，以保证FPN中两个需做相加操作的特征层的尺寸完全相同。transforms的使用见[paddlex.det.transforms](../../apis/transforms/det_transforms.md) + +```python +from paddlex.det import transforms +train_transforms = transforms.Compose([ + transforms.RandomHorizontalFlip(), + transforms.Normalize(), + transforms.ResizeByShort(short_size=800, max_size=1333), + transforms.Padding(coarsest_stride=32) +]) + +eval_transforms = transforms.Compose([ + transforms.Normalize(), + transforms.ResizeByShort(short_size=800, max_size=1333), + transforms.Padding(coarsest_stride=32), +]) +``` + +**3.创建数据集读取器，并绑定相应的数据预处理流程** + +> 数据集读取器的介绍见文档[paddlex.datasets](../../apis/datasets.md) + +```python +train_dataset = pdx.datasets.VOCDetection( + data_dir='insect_det', + file_list='insect_det/train_list.txt', + label_list='insect_det/labels.txt', + transforms=train_transforms, + shuffle=True) +eval_dataset = pdx.datasets.VOCDetection( + data_dir='insect_det', + file_list='insect_det/val_list.txt', + label_list='insect_det/labels.txt', + transforms=eval_transforms) +``` + +**4.创建Faster RCNN模型，并进行训练** + +> 创建带FPN结构的Faster RCNN模型，`num_classes` 需要设置为包含背景类的类别数，即: 目标类别数量(6) + 1 + +```python +num_classes = len(train_dataset.labels) + 1 +model = pdx.det.FasterRCNN(num_classes=num_classes) +``` + +> 模型训练默认下载并使用在ImageNet数据集上训练得到的Backone，用户也可自行指定`pretrain_weights`参数来设置预训练权重。训练过程每间隔`save_interval_epochs`会在`save_dir`保存一次模型，与此同时也会在验证数据集上计算指标。检测模型的接口可见文档[paddlex.cv.models](../../apis/models.md#fasterrcnn) + +```python +model.train( + num_epochs=12, + train_dataset=train_dataset, + train_batch_size=2, + eval_dataset=eval_dataset, + learning_rate=0.0025, + lr_decay_epochs=[8, 11], + save_dir='output/faster_rcnn_r50_fpn', + use_vdl=True) +``` + +> 将`use_vdl`设置为`True`时可使用VisualDL查看训练指标。按以下方式启动VisualDL后，浏览器打开 https://0.0.0.0:8001即可。其中0.0.0.0为本机访问，如为远程服务, 改成相应机器IP。 + +```shell +visualdl --logdir output/faster_rcnn_r50_fpn/vdl_log --port 8001 +``` + +**5.验证或测试** + +> 训练完利用模型可继续在验证集上进行验证。 + +```python +eval_metrics = model.evaluate(eval_dataset, batch_size=2) +print("eval_metrics:", eval_metrics) +``` + +> 结果输出： + +```python +eval_metrics: {'bbox_map': 76.085371} + +``` + +> 训练完用模型对图片进行测试。 + +```python +predict_result = model.predict('./insect_det/JPEGImages/1968.jpg') +``` + +> 可视化测试结果： + +```python +pdx.det.visualize('./insect_det/JPEGImages/1968.jpg', predict_result, threshold=0.5, save_dir='./output/faster_rcnn_r50_fpn') +``` + +![](../../images/visualized_fasterrcnn.jpg) diff --git a/docs/tutorials/train/index.rst b/docs/tutorials/train/index.rst new file mode 100755 index 0000000000000000000000000000000000000000..3ba3b5498336d88a2bd573d1f5b16c33979b8e88 --- /dev/null +++ b/docs/tutorials/train/index.rst @@ -0,0 +1,11 @@ +模型训练 +========================= + +.. toctree:: + :maxdepth: 1 + + classification.md + detection.md + instance_segmentation.md + segmentation.md + visualdl.md diff --git a/docs/tutorials/train/instance_segmentation.md b/docs/tutorials/train/instance_segmentation.md new file mode 100755 index 0000000000000000000000000000000000000000..b096cd56cddf7f8626a652fe83ca1f6b2f92ea9c --- /dev/null +++ b/docs/tutorials/train/instance_segmentation.md @@ -0,0 +1,117 @@ +# 训练实例分割模型 + +------ + +本文档训练代码可直接下载[代码tutorials/train/detection/mask_rcnn_r50_fpn.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/detection/mask_rcnn_r50_fpn.py)。 + +**1.下载并解压训练所需的数据集** + +> 使用1张显卡训练并指定使用0号卡。 + +```python +import os +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx +``` + +> 这里使用小度熊分拣数据集，训练集、验证集和测试共包含21个样本，1个类别。 + +```python +xiaoduxiong_dataset = 'https://bj.bcebos.com/paddlex/datasets/xiaoduxiong_ins_det.tar.gz' +pdx.utils.download_and_decompress(xiaoduxiong_dataset, path='./') +``` + +**2.定义训练和验证过程中的数据处理和增强操作** + +> 在训练过程中使用`RandomHorizontalFlip`进行数据增强，由于接下来选择的模型是带FPN结构的Mask RCNN，所以使用`PaddingImage`将输入图像的尺寸补齐到32的倍数，以保证FPN中两个需做相加操作的特征层的尺寸完全相同。transforms的使用见[paddlex.cv.transforms](../../apis/transforms/det_transforms.md) + +```python +from paddlex.det import transforms +train_transforms = transforms.Compose([ + transforms.RandomHorizontalFlip(), + transforms.Normalize(), + transforms.ResizeByShort(short_size=800, max_size=1333), + transforms.Padding(coarsest_stride=32) +]) + +eval_transforms = transforms.Compose([ + transforms.Normalize(), + transforms.ResizeByShort(short_size=800, max_size=1333), + transforms.Padding(coarsest_stride=32) +]) +``` + +**3.创建数据集读取器，并绑定相应的数据预处理流程** + +> 数据集读取器的介绍见文档[paddlex.datasets](../../apis/datasets.md) + +```python +train_dataset = pdx.datasets.CocoDetection( + data_dir='xiaoduxiong_ins_det/JPEGImages', + ann_file='xiaoduxiong_ins_det/train.json', + transforms=train_transforms, + shuffle=True) +eval_dataset = pdx.datasets.CocoDetection( + data_dir='xiaoduxiong_ins_det/JPEGImages', + ann_file='xiaoduxiong_ins_det/val.json', + transforms=eval_transforms) +``` + +**4.创建Mask RCNN模型，并进行训练** + +> 创建带FPN结构的Mask RCNN模型，`num_classes` 需要设置为包含背景类的类别数，即: 目标类别数量(1) + 1。 + +```python +num_classes = len(train_dataset.labels) +model = pdx.det.MaskRCNN(num_classes=num_classes +``` + +> 模型训练默认下载并使用在ImageNet数据集上训练得到的Backone，用户也可自行指定`pretrain_weights`参数来设置预训练权重。训练过程每间隔`save_interval_epochs`会在`save_dir`保存一次模型，与此同时也会在验证数据集上计算指标。检测模型的接口可见文档[paddlex.det.models](../../apis/models.md)。 + +```python +model.train( + num_epochs=12, + train_dataset=train_dataset, + train_batch_size=1, + eval_dataset=eval_dataset, + learning_rate=0.00125, + warmup_steps=10, + lr_decay_epochs=[8, 11], + save_dir='output/mask_rcnn_r50_fpn', + use_vdl=True) +``` + +> 将`use_vdl`设置为`True`时可使用VisualDL查看训练指标。按以下方式启动VisualDL后，浏览器打开 https://0.0.0.0:8001即可。其中0.0.0.0为本机访问，如为远程服务, 改成相应机器IP。 + +```shell +visualdl --logdir output/faster_rcnn_r50_fpn/vdl_log --port 8001 +``` + +**5.验证或测试** + +> 训练完利用模型可继续在验证集上进行验证。 + +```python +eval_metrics = model.evaluate(eval_dataset, batch_size=1) +print("eval_metrics:", eval_metrics) +``` + +> 结果输出： + +```python +eval_metrics: OrderedDict([('bbox_mmap', 0.5038283828382838), ('segm_mmap', 0.7025202520252025)]) + +``` + +> 训练完用模型对图片进行测试。 + +```python +predict_result = model.predict('./xiaoduxiong_ins_det/JPEGImages/WechatIMG114.jpeg') +``` + +> 可视化测试结果： + +```python +pdx.det.visualize('./xiaoduxiong_ins_det/JPEGImages/WechatIMG114.jpeg', predict_result, threshold=0.7, save_dir='./output/mask_rcnn_r50_fpn') +``` +![](../../images/visualized_maskrcnn.jpeg) diff --git a/docs/tutorials/train/segmentation.md b/docs/tutorials/train/segmentation.md new file mode 100755 index 0000000000000000000000000000000000000000..b070b169fe020021e2e81e6d306ec87f657cc8b6 --- /dev/null +++ b/docs/tutorials/train/segmentation.md @@ -0,0 +1,117 @@ +# 训练语义分割模型 + +--- +更多语义分割模型在视盘数据集上的训练代码可参考[代码tutorials/train/segmentation/deeplabv3p.py](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/segmentation/deeplabv3p.py)。 + +**1.下载并解压训练所需的数据集** + +> 使用1张显卡训练并指定使用0号卡。 + +```python +import os +os.environ['CUDA_VISIBLE_DEVICES'] = '0' +import paddlex as pdx +``` + +> 这里使用视盘分割数据集，训练集、验证集和测试集共包含343个样本，2个类别。 + +```python +optic_dataset = 'https://bj.bcebos.com/paddlex/datasets/optic_disc_seg.tar.gz' +pdx.utils.download_and_decompress(optic_dataset, path='./') +``` + +**2.定义训练和验证过程中的数据处理和增强操作** + +> 在训练过程中使用`RandomHorizontalFlip`和`RandomPaddingCrop`进行数据增强，transforms的使用见[paddlex.seg.transforms](../../apis/transforms/seg_transforms.md) + +```python +train_transforms = transforms.Compose([ + transforms.RandomHorizontalFlip(), + transforms.Resize(target_size=512), + transforms.RandomPaddingCrop(crop_size=500), + transforms.Normalize() +]) +eval_transforms = transforms.Compose([ + transforms.Resize(512), + transforms.Normalize() +]) +``` + +**3.创建数据集读取器，并绑定相应的数据预处理流程** + +> 数据集读取器的介绍见文档[paddlex.cv.datasets](../../apis/datasets.md) + +```python +train_dataset = pdx.datasets.SegDataset( + data_dir='optic_disc_seg', + file_list='optic_disc_seg/train_list.txt', + label_list='optic_disc_seg/labels.txt', + transforms=train_transforms, + shuffle=True) +eval_dataset = pdx.datasets.SegDataset( + data_dir='optic_disc_seg', + file_list='optic_disc_seg/val_list.txt', + label_list='optic_disc_seg/labels.txt', + transforms=eval_transforms) +``` + +**4.创建DeepLabv3+模型，并进行训练** + +> 创建DeepLabv3+模型，`num_classes` 需要设置为不包含背景类的类别数，即: 目标类别数量(1)，详细代码可参见[demo](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/train/segmentation/deeplabv3p.py#L44)。 + +```python +num_classes = num_classes +model = pdx.seg.DeepLabv3p(num_classes=num_classes) +``` + +> 模型训练默认下载并使用在ImageNet数据集上训练得到的Backone，用户也可自行指定`pretrain_weights`参数来设置预训练权重。 +训练过程每间隔`save_interval_epochs`会在`save_dir`保存一次模型，与此同时也会在验证数据集上计算指标。 +检测模型的接口可见文档[paddlex.seg.models](../../apis/models.md)。 + +```python +model.train( + num_epochs=40, + train_dataset=train_dataset, + train_batch_size=4, + eval_dataset=eval_dataset, + learning_rate=0.01, + save_dir='output/deeplab', + use_vdl=True) +``` + +> 将`use_vdl`设置为`True`时可使用VisualDL查看训练指标。按以下方式启动VisualDL后，浏览器打开 https://0.0.0.0:8001即可。其中0.0.0.0为本机访问，如为远程服务, 改成相应机器IP。 + +```shell +visualdl --logdir output/deeplab/vdl_log --port 8001 +``` + +**5.验证或测试** + +> 训练完利用模型可继续在验证集上进行验证。 + +```python +eval_metrics = model.evaluate(eval_dataset, batch_size=2) +print("eval_metrics:", eval_metrics) +``` + +> 结果输出： + +```python +eval_metrics: {'miou': 0.8915175875548873, 'category_iou': [0.9956445981924432, 0.7873905769173314], 'macc': 0.9957137358816046, 'category_acc': [0.9975360650317765, 0.8948120441157331], 'kappa': 0.8788684558629085} +``` + +> 训练完用模型对图片进行测试。 + +```python +image_name = 'optic_disc_seg/JPEGImages/H0005.jpg' +predict_result = model.predict(image_name) +``` + +> 可视化测试结果： + +```python +import paddlex as pdx +pdx.seg.visualize(image_name, predict_result, weight=0.4) +``` + +![](../../images/visualized_deeplab.jpg) diff --git a/docs/tutorials/train/visualdl.md b/docs/tutorials/train/visualdl.md new file mode 100755 index 0000000000000000000000000000000000000000..dc442b5847e048b7fe080c085e0192caada19c2b --- /dev/null +++ b/docs/tutorials/train/visualdl.md @@ -0,0 +1,26 @@ +# VisualDL可视化训练指标 +在使用PaddleX训练模型过程中，各个训练指标和评估指标会直接输出到标准输出流，同时也可通过VisualDL对训练过程中的指标进行可视化，只需在调用`train`函数时，将`use_vdl`参数设为`True`即可，如下代码所示， +``` +model = paddlex.cls.ResNet50(num_classes=1000) +model.train(num_epochs=120, train_dataset=train_dataset, + train_batch_size=32, eval_dataset=eval_dataset, + log_interval_steps=10, save_interval_epochs=10, + save_dir='./output', use_vdl=True) +``` + +模型在训练过程中，会在`save_dir`下生成`vdl_log`目录，通过在命令行终端执行以下命令，启动VisualDL。 +``` +visualdl --logdir=output/vdl_log --port=8008 +``` +在浏览器打开`http://0.0.0.0:8008`便可直接查看随训练迭代动态变化的各个指标（0.0.0.0表示启动VisualDL所在服务器的IP，本机使用0.0.0.0即可）。 + +在训练分类模型过程中，使用VisualDL进行可视化的示例图如下所示。 + +> 训练过程中每个Step的`Loss`和相应`Top1准确率`变化趋势： +![](../../images/vdl1.jpg) + +> 训练过程中每个Step的`学习率lr`和相应`Top5准确率`变化趋势： +![](../../images/vdl2.jpg) + +> 训练过程中，每次保存模型时，模型在验证数据集上的`Top1准确率`和`Top5准确率`： +![](../../images/vdl3.jpg) diff --git a/docs/update.md b/docs/update.md new file mode 100644 index 0000000000000000000000000000000000000000..9191aac6a5d84b6f9be8161ad56747b954b0a68d --- /dev/null +++ b/docs/update.md @@ -0,0 +1,14 @@ +# 更新日志 + +- 2020.05.20 +> - 发布正式版 v1.0 +> - 增加模型C++部署和Python部署代码 +> - 增加模型加密部署方案 +> - 增加分类模型的OpenVINO部署方案 +> - 增加模型可解释性的接口 + +- 2020.05.17 +> - 发布v0.1.8 pip更新 +> - 修复部分代码Bug +> - 新增EasyData平台数据标注格式支持 +> - 支持imgaug数据增强库的pixel-level算子