diff --git a/docs/zh_CN/advanced_tutorials/DataAugmentation.md b/docs/zh_CN/advanced_tutorials/DataAugmentation.md index 53e960c507dce4c39d5fc852413a33a6032d42e1..ef7dc51de823d0ed6159180350accb35f9b23e62 100644 --- a/docs/zh_CN/advanced_tutorials/DataAugmentation.md +++ b/docs/zh_CN/advanced_tutorials/DataAugmentation.md @@ -251,7 +251,7 @@ ### 1.10 Mixup 与 Cutmix 同时使用 -`Mixup` 与 `Cutmix`同时使用的配置如下，其中用户需要指定额外的参数 `prob`，该参数控制不同数据增强的概率，默认为 `0.5`。 +`Mixup` 与 `Cutmix` 同时使用的配置如下，其中用户需要指定额外的参数 `prob`，该参数控制不同数据增强的概率，默认为 `0.5`。 ```yaml transform_ops: diff --git a/docs/zh_CN/advanced_tutorials/code_overview.md b/docs/zh_CN/advanced_tutorials/code_overview.md index a7884dbcac6c2f15af66745cd2f211a7814f1e80..1d4698aa739bf88f217fa5faf9ceb435f48db78f 100644 --- a/docs/zh_CN/advanced_tutorials/code_overview.md +++ b/docs/zh_CN/advanced_tutorials/code_overview.md @@ -86,7 +86,7 @@ Arch: use_ssld: False ``` -`Arch.name` 表示模型名称， `Arch.pretrained` 表示是否添加预训练模型，`use_ssld` 表示是否使用基于 `SSLD` 知识蒸馏得到的预训练模型。所有的模型名称均在 `ppcls/arch/backbone/__init__.py` 中定义。 +`Arch.name` 表示模型名称，`Arch.pretrained` 表示是否添加预训练模型，`use_ssld` 表示是否使用基于 `SSLD` 知识蒸馏得到的预训练模型。所有的模型名称均在 `ppcls/arch/backbone/__init__.py` 中定义。 对应的，在 `ppcls/arch/__init__.py` 中，通过 `build_model` 方法创建模型对象。 @@ -102,7 +102,7 @@ def build_model(config): ### 2.3 损失函数 -PaddleClas 中，包含了 `CELoss` , `JSDivLoss`, `TripletLoss`, `CenterLoss` 等损失函数，均定义在 `ppcls/loss` 中。 +PaddleClas 中，包含了 `CELoss`, `JSDivLoss`, `TripletLoss`, `CenterLoss` 等损失函数，均定义在 `ppcls/loss` 中。 在 `ppcls/loss/__init__.py` 文件中，使用 `CombinedLoss` 来构建及合并损失函数，不同训练策略中所需要的损失函数与计算方法不同，PaddleClas 在构建损失函数过程中，主要考虑了以下几个因素。 @@ -112,7 +112,7 @@ PaddleClas 中，包含了 `CELoss` , `JSDivLoss`, `TripletLoss`, `CenterLoss` 4. 是否是训练 metric learning -用户可以在配置文件中指定损失函数的类型及权重，如在训练中添加 TripletLossV2 ，配置文件如下： +用户可以在配置文件中指定损失函数的类型及权重，如在训练中添加 TripletLossV2，配置文件如下： ```yaml Loss: @@ -127,11 +127,11 @@ Loss: ### 2.4 优化器和学习率衰减、权重衰减策略 -图像分类任务中，`Momentum` 是一种比较常用的优化器， PaddleClas 中提供了 `Momentum` 、 `RMSProp`、`Adam`及`AdamW`等几种优化器策略。 +图像分类任务中，`Momentum` 是一种比较常用的优化器，PaddleClas 中提供了 `Momentum` 、 `RMSProp`、`Adam` 及 `AdamW` 等几种优化器策略。 权重衰减策略是一种比较常用的正则化方法，主要用于防止模型过拟合。 PaddleClas 中提供了 `L1Decay` 和 `L2Decay` 两种权重衰减策略。 -学习率衰减是图像分类任务中必不可少的精度提升训练方法， PaddleClas 目前支持 `Cosine` , `Piecewise`, `Linear` 等学习率衰减策略。 +学习率衰减是图像分类任务中必不可少的精度提升训练方法，PaddleClas 目前支持 `Cosine`, `Piecewise`, `Linear` 等学习率衰减策略。 在配置文件中，优化器、权重衰减策略、学习率衰减策略可以通过以下的字段进行配置。 @@ -180,7 +180,7 @@ def build_optimizer(config, epochs, step_each_epoch, parameters): return optim, lr ``` - 不同优化器和权重衰减策略均以类的形式实现，具体实现可以参考文件 `ppcls/optimizer/optimizer.py` ；不同的学习率衰减策略可以参考文件 `ppcls/optimizer/learning_rate.py` 。 + 不同优化器和权重衰减策略均以类的形式实现，具体实现可以参考文件 `ppcls/optimizer/optimizer.py`；不同的学习率衰减策略可以参考文件 `ppcls/optimizer/learning_rate.py` 。 ### 2.5 训练时评估 @@ -236,14 +236,14 @@ Slim: name: pact ``` -训练方法详见模型[裁剪量化使用介绍](../advanced_tutorials/model_prune_quantization.md)， 算法介绍详见[裁剪量化算法介绍](../algorithm_introduction/model_prune_quantization.md)。 +训练方法详见模型[裁剪量化使用介绍](../advanced_tutorials/model_prune_quantization.md)，算法介绍详见[裁剪量化算法介绍](../algorithm_introduction/model_prune_quantization.md)。 ## 3. 预测部署代码和方式 * 如果希望将对分类模型进行离线量化，可以参考 [模型量化裁剪教程](../advanced_tutorials/model_prune_quantization.md) 中离线量化部分。 -* 如果希望在服务端使用 python 进行部署，可以参考 [python inference 预测教程](../inference_deployment/python_deploy.md) 。 -* 如果希望在服务端使用 cpp 进行部署，可以参考 [cpp inference 预测教程](../inference_deployment/cpp_deploy.md) 。 -* 如果希望将分类模型部署为服务，可以参考 [hub serving 预测部署教程](../inference_deployment/paddle_hub_serving_deploy.md) 。 -* 如果希望在移动端使用分类模型进行预测，可以参考 [PaddleLite 预测部署教程](../inference_deployment/paddle_lite_deploy.md) 。 -* 如果希望使用 whl 包对分类模型进行预测，可以参考 [whl 包预测](../inference_deployment/whl_deploy.md) 。 +* 如果希望在服务端使用 python 进行部署，可以参考 [python inference 预测教程](../inference_deployment/python_deploy.md)。 +* 如果希望在服务端使用 cpp 进行部署，可以参考 [cpp inference 预测教程](../inference_deployment/cpp_deploy.md)。 +* 如果希望将分类模型部署为服务，可以参考 [hub serving 预测部署教程](../inference_deployment/paddle_hub_serving_deploy.md)。 +* 如果希望在移动端使用分类模型进行预测，可以参考 [PaddleLite 预测部署教程](../inference_deployment/paddle_lite_deploy.md)。 +* 如果希望使用 whl 包对分类模型进行预测，可以参考 [whl 包预测](../inference_deployment/whl_deploy.md)。 diff --git a/docs/zh_CN/advanced_tutorials/how_to_contribute.md b/docs/zh_CN/advanced_tutorials/how_to_contribute.md index a344bd84b2a55286c219a3411d43bec4ef0eb9b5..13b51b3881c3f75ec83854265cfd366a8ae9644b 100644 --- a/docs/zh_CN/advanced_tutorials/how_to_contribute.md +++ b/docs/zh_CN/advanced_tutorials/how_to_contribute.md @@ -28,12 +28,12 @@ PaddleClas 未来将维护 2 种分支，分别为： -* release/x.x 系列分支：为稳定的发行版本分支，会适时打 tag 发布版本，适配 Paddle 的 release 版本。当前最新的分支为 release/2.3 分支，是当前默认分支，适配 Paddle v2.1.0 。随着版本迭代， release/x.x 系列分支会越来越多，默认维护最新版本的 release 分支，前 1 个版本分支会修复 bug ，其他的分支不再维护。 +* release/x.x 系列分支：为稳定的发行版本分支，会适时打 tag 发布版本，适配 Paddle 的 release 版本。当前最新的分支为 release/2.3 分支，是当前默认分支，适配 Paddle v2.1.0 。随着版本迭代， release/x.x 系列分支会越来越多，默认维护最新版本的 release 分支，前 1 个版本分支会修复 bug，其他的分支不再维护。 * develop 分支：为开发分支，适配 Paddle 的 develop 版本，主要用于开发新功能。如果有同学需要进行二次开发，请选择 develop 分支。为了保证 develop 分支能在需要的时候拉出 release/x.x 分支， develop 分支的代码只能使用 Paddle 最新 release 分支中有效的 api 。也就是说，如果 Paddle develop 分支中开发了新的 api，但尚未出现在 release 分支代码中，那么请不要在 PaddleClas 中使用。除此之外，对于不涉及 api 的性能优化、参数调整、策略更新等，都可以正常进行开发。 PaddleClas 的历史分支，未来将不再维护。考虑到一些同学可能仍在使用，这些分支还会继续保留： -* release/static 分支：这个分支曾用于静态图的开发与测试，目前兼容 >=1.7 版本的 Paddle 。如果有特殊需求，要适配旧版本的 Paddle ，那还可以使用这个分支，但除了修复 bug 外不再更新代码。 +* release/static 分支：这个分支曾用于静态图的开发与测试，目前兼容 >=1.7 版本的 Paddle 。如果有特殊需求，要适配旧版本的 Paddle，那还可以使用这个分支，但除了修复 bug 外不再更新代码。 * dygraph-dev 分支：这个分支将不再维护，也不再接受新的代码，请使用的同学尽快迁移到 develop 分支。 @@ -45,7 +45,7 @@ PaddleClas 欢迎大家向 repo 中积极贡献代码，下面给出一些贡献 #### 1.2.1 fork 和 clone 代码 -* 跳转到 [PaddleClas GitHub 首页](https://github.com/PaddlePaddle/PaddleClas) ，然后单击 Fork 按钮，生成自己目录下的仓库，比如 `https://github.com/USERNAME/PaddleClas` 。 +* 跳转到 [PaddleClas GitHub 首页](https://github.com/PaddlePaddle/PaddleClas)，然后单击 Fork 按钮，生成自己目录下的仓库，比如 `https://github.com/USERNAME/PaddleClas` 。
@@ -77,7 +77,7 @@ origin https://github.com/USERNAME/PaddleClas.git (fetch) origin https://github.com/USERNAME/PaddleClas.git (push) ``` -上面的信息只包含了 clone 的远程仓库的信息，也就是自己用户名下的 PaddleClas ，接下来我们创建一个原始 PaddleClas 仓库的远程主机，命名为 upstream 。 +上面的信息只包含了 clone 的远程仓库的信息，也就是自己用户名下的 PaddleClas，接下来我们创建一个原始 PaddleClas 仓库的远程主机，命名为 upstream 。 ```shell git remote add upstream https://github.com/PaddlePaddle/PaddleClas.git @@ -92,7 +92,7 @@ upstream https://github.com/PaddlePaddle/PaddleClas.git (fetch) upstream https://github.com/PaddlePaddle/PaddleClas.git (push) ``` -这主要是为了后续在提交 pull request (PR) 时，始终保持本地仓库最新。 +这主要是为了后续在提交 pull request(PR)时，始终保持本地仓库最新。 #### 1.2.3 创建本地分支 @@ -125,7 +125,7 @@ Switched to a new branch 'new_branch' Paddle 开发人员使用 pre-commit 工具来管理 Git 预提交钩子。 它可以帮助我们格式化源代码(C++，Python)，在提交(commit)前自动检查一些基本事宜（如每个文件只有一个 EOL，Git 中不要添加大文件等）。 -pre-commit 测试是 Travis-CI 中单元测试的一部分，不满足钩子的 PR 不能被提交到 PaddleClas ，首先安装并在当前目录运行它： +pre-commit 测试是 Travis-CI 中单元测试的一部分，不满足钩子的 PR 不能被提交到 PaddleClas，首先安装并在当前目录运行它： ```shell pip install pre-commit @@ -182,7 +182,7 @@ git push origin new_branch #### 1.2.8 提交 Pull Request -点击 new pull request，选择本地分支和目标分支，如下图所示。在 PR 的描述说明中，填写该 PR 所完成的功能。接下来等待 review ，如果有需要修改的地方，参照上述步骤更新 origin 中的对应分支即可。 +点击 new pull request，选择本地分支和目标分支，如下图所示。在 PR 的描述说明中，填写该 PR 所完成的功能。接下来等待 review，如果有需要修改的地方，参照上述步骤更新 origin 中的对应分支即可。
@@ -192,10 +192,10 @@ git push origin new_branch #### 1.2.9 签署 CLA 协议和通过单元测试 * 签署 CLA -在首次向 PaddlePaddle 提交 Pull Request 时，您需要您签署一次 CLA (Contributor License Agreement)协议，以保证您的代码可以被合入，具体签署方式如下： +在首次向 PaddlePaddle 提交 Pull Request 时，您需要您签署一次 CLA(Contributor License Agreement)协议，以保证您的代码可以被合入，具体签署方式如下： -1. 请您查看 PR 中的 Check 部分，找到 license/cla ，并点击右侧 detail ，进入 CLA 网站 -2. 点击 CLA 网站中的 `Sign in with GitHub to agree` , 点击完成后将会跳转回您的 Pull Request 页面 +1. 请您查看 PR 中的 Check 部分，找到 license/cla，并点击右侧 detail，进入 CLA 网站 +2. 点击 CLA 网站中的 `Sign in with GitHub to agree`, 点击完成后将会跳转回您的 Pull Request 页面 #### 1.2.10 删除分支 @@ -232,13 +232,13 @@ git branch -D new_branch 请注意 commit 的数量。 -原因：如果仅仅修改一个文件但提交了十几个 commit ，每个 commit 只做了少量的修改，这会给评审人带来很大困扰。评审人需要逐一查看每个 commit 才能知道做了哪些修改，且不排除 commit 之间的修改存在相互覆盖的情况。 +原因：如果仅仅修改一个文件但提交了十几个 commit，每个 commit 只做了少量的修改，这会给评审人带来很大困扰。评审人需要逐一查看每个 commit 才能知道做了哪些修改，且不排除 commit 之间的修改存在相互覆盖的情况。 -建议：每次提交时，保持尽量少的 commit ，可以通过 `git commit --amend` 补充上次的 commit 。对已经 Push 到远程仓库的多个 commit ，可以参考 [squash commits after push](https://stackoverflow.com/questions/5667884/how-to-squash-commits-in-git-after-they-have-been-pushed) 。 +建议：每次提交时，保持尽量少的 commit，可以通过 `git commit --amend` 补充上次的 commit 。对已经 Push 到远程仓库的多个 commit，可以参考 [squash commits after push](https://stackoverflow.com/questions/5667884/how-to-squash-commits-in-git-after-they-have-been-pushed)。 请注意每个 commit 的名称：应能反映当前 commit 的内容，不能太随意。 -3）如果解决了某个 Issue 的问题，请在该 Pull Request 的第一个评论框中加上： `fix #issue_number` ，这样当该 Pull Request 被合并后，会自动关闭对应的 Issue 。关键词包括： close, closes, closed, fix, fixes, fixed, resolve, resolves, resolved ，请选择合适的词汇。详细可参考 [Closing issues via commit messages](https://help.github.com/articles/closing-issues-via-commit-messages) 。 +3）如果解决了某个 Issue 的问题，请在该 Pull Request 的第一个评论框中加上： `fix #issue_number`，这样当该 Pull Request 被合并后，会自动关闭对应的 Issue 。关键词包括： close, closes, closed, fix, fixes, fixed, resolve, resolves, resolved，请选择合适的词汇。详细可参考 [Closing issues via commit messages](https://help.github.com/articles/closing-issues-via-commit-messages)。 此外，在回复评审人意见时，请您遵守以下约定： @@ -255,7 +255,7 @@ git branch -D new_branch ## 2. 总结 -* 开源社区依赖于众多开发者与用户的贡献和反馈，在这里感谢与期待大家向 PaddleClas 提出宝贵的意见与 Pull Request ，希望我们可以一起打造一个领先实用全面的图像识别代码仓库！ +* 开源社区依赖于众多开发者与用户的贡献和反馈，在这里感谢与期待大家向 PaddleClas 提出宝贵的意见与 Pull Request，希望我们可以一起打造一个领先实用全面的图像识别代码仓库！ ## 3. 参考文献 diff --git a/docs/zh_CN/advanced_tutorials/knowledge_distillation.md b/docs/zh_CN/advanced_tutorials/knowledge_distillation.md index 6b1485ba04771877aee4517fe59cdce200b545f3..85b4bc4110c0dfe395290f3144e1c093509f4592 100644 --- a/docs/zh_CN/advanced_tutorials/knowledge_distillation.md +++ b/docs/zh_CN/advanced_tutorials/knowledge_distillation.md @@ -29,7 +29,7 @@ 在数据量足够大的情况下，通过合理构建网络模型的方式增加其参数量，可以显著改善模型性能，但是这又带来了模型复杂度急剧提升的问题。大模型在实际场景中使用的成本较高。 -深度神经网络一般有较多的参数冗余，目前有几种主要的方法对模型进行压缩，减小其参数量。如裁剪、量化、知识蒸馏等，其中知识蒸馏是指使用教师模型(teacher model)去指导学生模型(student model)学习特定任务，保证小模型在参数量不变的情况下，得到比较大的性能提升，甚至获得与大模型相似的精度指标 [1]。 PaddleClas 融合已有的蒸馏方法 [2,3] ，提供了一种简单的半监督标签知识蒸馏方案(SSLD，Simple Semi-supervised Label Distillation)，基于 ImageNet1k 分类数据集，在 ResNet_vd 以及 MobileNet 系列上的精度均有超过 3% 的绝对精度提升，具体指标如下图所示。 +深度神经网络一般有较多的参数冗余，目前有几种主要的方法对模型进行压缩，减小其参数量。如裁剪、量化、知识蒸馏等，其中知识蒸馏是指使用教师模型(teacher model)去指导学生模型(student model)学习特定任务，保证小模型在参数量不变的情况下，得到比较大的性能提升，甚至获得与大模型相似的精度指标 [1]。 PaddleClas 融合已有的蒸馏方法 [2,3]，提供了一种简单的半监督标签知识蒸馏方案(SSLD，Simple Semi-supervised Label Distillation)，基于 ImageNet1k 分类数据集，在 ResNet_vd 以及 MobileNet 系列上的精度均有超过 3% 的绝对精度提升，具体指标如下图所示。
@@ -47,17 +47,17 @@ SSLD 的流程图如下图所示。
-首先，我们从 ImageNet22k 中挖掘出了近 400 万张图片，同时与 ImageNet-1k 训练集整合在一起，得到了一个新的包含 500 万张图片的数据集。然后，我们将学生模型与教师模型组合成一个新的网络，该网络分别输出学生模型和教师模型的预测分布，与此同时，固定教师模型整个网络的梯度，而学生模型可以做正常的反向传播。最后，我们将两个模型的 logits 经过 softmax 激活函数转换为 soft label ，并将二者的 soft label 做 JS 散度作为损失函数，用于蒸馏模型训练。下面以 MobileNetV3 （该模型直接训练，精度为 75.3%） 的知识蒸馏为例，介绍该方案的核心关键点（baseline 为 79.12% 的 ResNet50_vd 模型蒸馏 MobileNetV3 ，训练集为 ImageNet1k 训练集， loss 为 cross entropy loss ，迭代轮数为 120epoch ，精度指标为 75.6%）。 +首先，我们从 ImageNet22k 中挖掘出了近 400 万张图片，同时与 ImageNet-1k 训练集整合在一起，得到了一个新的包含 500 万张图片的数据集。然后，我们将学生模型与教师模型组合成一个新的网络，该网络分别输出学生模型和教师模型的预测分布，与此同时，固定教师模型整个网络的梯度，而学生模型可以做正常的反向传播。最后，我们将两个模型的 logits 经过 softmax 激活函数转换为 soft label，并将二者的 soft label 做 JS 散度作为损失函数，用于蒸馏模型训练。下面以 MobileNetV3（该模型直接训练，精度为 75.3%）的知识蒸馏为例，介绍该方案的核心关键点（baseline 为 79.12% 的 ResNet50_vd 模型蒸馏 MobileNetV3，训练集为 ImageNet1k 训练集，loss 为 cross entropy loss，迭代轮数为 120epoch，精度指标为 75.6%）。 -* 教师模型的选择。在进行知识蒸馏时，如果教师模型与学生模型的结构差异太大，蒸馏得到的结果反而不会有太大收益。相同结构下，精度更高的教师模型对结果也有很大影响。相比于 79.12% 的 ResNet50_vd 教师模型，使用 82.4% 的 ResNet50_vd 教师模型可以带来 0.4% 的绝对精度收益( `75.6%->76.0%` )。 +* 教师模型的选择。在进行知识蒸馏时，如果教师模型与学生模型的结构差异太大，蒸馏得到的结果反而不会有太大收益。相同结构下，精度更高的教师模型对结果也有很大影响。相比于 79.12% 的 ResNet50_vd 教师模型，使用 82.4% 的 ResNet50_vd 教师模型可以带来 0.4% 的绝对精度收益(`75.6%->76.0%`)。 -* 改进 loss 计算方法。分类 loss 计算最常用的方法就是 cross entropy loss ，我们经过实验发现，在使用 soft label 进行训练时，相对于 cross entropy loss ， KL div loss 对模型性能提升几乎无帮助，但是使用具有对称特性的 JS div loss 时，在多个蒸馏任务上相比 cross entropy loss 均有 0.2% 左右的收益(`76.0%->76.2%`)， SSLD 中也基于 JS div loss 展开实验。 +* 改进 loss 计算方法。分类 loss 计算最常用的方法就是 cross entropy loss，我们经过实验发现，在使用 soft label 进行训练时，相对于 cross entropy loss，KL div loss 对模型性能提升几乎无帮助，但是使用具有对称特性的 JS div loss 时，在多个蒸馏任务上相比 cross entropy loss 均有 0.2% 左右的收益(`76.0%->76.2%`)，SSLD 中也基于 JS div loss 展开实验。 -* 更多的迭代轮数。蒸馏的 baseline 实验只迭代了 120 个 epoch 。实验发现，迭代轮数越多，蒸馏效果越好，最终我们迭代了 360 epoch ，精度指标可以达到 77.1%(`76.2%->77.1%`) 。 +* 更多的迭代轮数。蒸馏的 baseline 实验只迭代了 120 个 epoch 。实验发现，迭代轮数越多，蒸馏效果越好，最终我们迭代了 360 epoch，精度指标可以达到 77.1%(`76.2%->77.1%`)。 -* 无需数据集的真值标签，很容易扩展训练集。 SSLD 的 loss 在计算过程中，仅涉及到教师和学生模型对于相同图片的处理结果（经过 softmax 激活函数处理之后的 soft label ），因此即使图片数据不包含真值标签，也可以用来进行训练并提升模型性能。该蒸馏方案的无标签蒸馏策略也大大提升了学生模型的性能上限( `77.1%->78.5%`)。 +* 无需数据集的真值标签，很容易扩展训练集。 SSLD 的 loss 在计算过程中，仅涉及到教师和学生模型对于相同图片的处理结果（经过 softmax 激活函数处理之后的 soft label），因此即使图片数据不包含真值标签，也可以用来进行训练并提升模型性能。该蒸馏方案的无标签蒸馏策略也大大提升了学生模型的性能上限(`77.1%->78.5%`)。 -* ImageNet1k 蒸馏 finetune 。 我们仅使用 ImageNet1k 数据，使用蒸馏方法对上述模型进行 finetune ，最终仍然可以获得 0.4% 的性能提升(`78.5%->78.9%`)。 +* ImageNet1k 蒸馏 finetune 。 我们仅使用 ImageNet1k 数据，使用蒸馏方法对上述模型进行 finetune，最终仍然可以获得 0.4% 的性能提升(`78.5%->78.9%`)。 @@ -71,13 +71,13 @@ SSLD 的流程图如下图所示。
* 大数据集 soft label 获取，对于去重后的 ImageNet22k 数据集，我们使用 `ResNeXt101_32x16d_wsl` 模型进行预测，得到每张图片的 soft label 。 - * Top-k 数据选择， ImageNet1k 数据共有 1000 类，对于每一类，找出属于该类并且得分最高的 `k` 张图片，最终得到一个数据量不超过 `1000*k` 的数据集（某些类上得到的图片数量可能少于 `k` 张）。 + * Top-k 数据选择，ImageNet1k 数据共有 1000 类，对于每一类，找出属于该类并且得分最高的 `k` 张图片，最终得到一个数据量不超过 `1000*k` 的数据集（某些类上得到的图片数量可能少于 `k` 张）。 * 将该数据集与 ImageNet1k 的训练集融合组成最终蒸馏模型所使用的数据集，数据量为 500 万。 ## 3. 实验 -* PaddleClas 的蒸馏策略为`大数据集训练 + ImageNet1k 蒸馏 finetune`的策略。选择合适的教师模型，首先在挑选得到的 500 万数据集上进行训练，然后在 ImageNet1k 训练集上进行 finetune，最终得到蒸馏后的学生模型。 +* PaddleClas 的蒸馏策略为`大数据集训练 + ImageNet1k 蒸馏 finetune` 的策略。选择合适的教师模型，首先在挑选得到的 500 万数据集上进行训练，然后在 ImageNet1k 训练集上进行 finetune，最终得到蒸馏后的学生模型。 ### 3.1 教师模型的选择 @@ -137,15 +137,15 @@ SSLD 的流程图如下图所示。 ### 3.4 数据增广以及基于 Fix 策略的微调 -* 基于前文所述的实验结论，我们在训练的过程中加入自动增广 (AutoAugment)[4] ，同时进一步减小了 l2_decay (4e-5->2e-5) ，最终 ResNet50_vd 经过 SSLD 蒸馏策略，在 ImageNet1k 上的精度可以达到 82.99% ，相比之前不加数据增广的蒸馏策略再次增加了 0.6% 。 +* 基于前文所述的实验结论，我们在训练的过程中加入自动增广(AutoAugment)[4]，同时进一步减小了 l2_decay(4e-5->2e-5)，最终 ResNet50_vd 经过 SSLD 蒸馏策略，在 ImageNet1k 上的精度可以达到 82.99%，相比之前不加数据增广的蒸馏策略再次增加了 0.6% 。 -* 对于图像分类任务，在测试的时候，测试尺度为训练尺度的 1.15 倍左右时，往往在不需要重新训练模型的情况下，模型的精度指标就可以进一步提升 [5] ，对于 82.99% 的 ResNet50_vd 在 320x320 的尺度下测试，精度可达 83.7% ，我们进一步使用 Fix 策略，即在 320x320 的尺度下进行训练，使用与预测时相同的数据预处理方法，同时固定除 FC 层以外的所有参数，最终在 320x320 的预测尺度下，精度可以达到 **84.0%**。 +* 对于图像分类任务，在测试的时候，测试尺度为训练尺度的 1.15 倍左右时，往往在不需要重新训练模型的情况下，模型的精度指标就可以进一步提升 [5]，对于 82.99% 的 ResNet50_vd 在 320x320 的尺度下测试，精度可达 83.7%，我们进一步使用 Fix 策略，即在 320x320 的尺度下进行训练，使用与预测时相同的数据预处理方法，同时固定除 FC 层以外的所有参数，最终在 320x320 的预测尺度下，精度可以达到 **84.0%**。 ### 3.5 实验过程中的一些问题 -* 在预测过程中， batch norm 的平均值与方差是通过加载预训练模型得到（设其模式为 test mode ）。在训练过程中， batch norm 是通过统计当前 batch 的信息（设其模式为 train mode ），与历史保存信息进行滑动平均计算得到，在蒸馏任务中，我们发现通过 train mode ，即教师模型的均值与方差实时变化的模式，去指导学生模型，比通过 test mode 蒸馏，得到的学生模型性能更好一些，下面是一组实验结果。因此我们在该蒸馏方案中，均使用 train mode 去得到教师模型的 soft label 。 +* 在预测过程中，batch norm 的平均值与方差是通过加载预训练模型得到（设其模式为 test mode）。在训练过程中，batch norm 是通过统计当前 batch 的信息（设其模式为 train mode），与历史保存信息进行滑动平均计算得到，在蒸馏任务中，我们发现通过 train mode，即教师模型的均值与方差实时变化的模式，去指导学生模型，比通过 test mode 蒸馏，得到的学生模型性能更好一些，下面是一组实验结果。因此我们在该蒸馏方案中，均使用 train mode 去得到教师模型的 soft label 。 |Teacher Model | Teacher Top1 | Student Model | Student Top1| |- |:-: |:-: | :-: | @@ -159,11 +159,11 @@ SSLD 的流程图如下图所示。 ### 4.1 使用方法 * 中间层学习率调整。蒸馏得到的模型的中间层特征图更加精细化，因此将蒸馏模型预训练应用到其他任务中时，如果采取和之前相同的学习率，容易破坏中间层特征。而如果降低整体模型训练的学习率，则会带来训练收敛速度慢的问题。因此我们使用了中间层学习率调整的策略。具体地： - * 针对 ResNet50_vd ，我们设置一个学习率倍数列表， res block 之前的 3 个 conv2d 卷积参数具有统一的学习率倍数， 4 个 res block 的 conv2d 分别有一个学习率参数，共需设置 5 个学习率倍数的超参。在实验中发现。用于迁移学习 finetune 分类模型时， `[0.1,0.1,0.2,0.2,0.3]` 的中间层学习率倍数设置在绝大多数的任务中都性能更好；而在目标检测任务中， `[0.05,0.05,0.05,0.1,0.15]` 的中间层学习率倍数设置能够带来更大的精度收益。 - * 对于 MoblileNetV3_large_x1_0 ，由于其包含 15 个 block ，我们设置每 3 个 block 共享一个学习率倍数参数，因此需要共 5 个学习率倍数的参数，最终发现在分类和检测任务中， `[0.25,0.25,0.5,0.5,0.75]` 的中间层学习率倍数能够带来更大的精度收益。 + * 针对 ResNet50_vd，我们设置一个学习率倍数列表，res block 之前的 3 个 conv2d 卷积参数具有统一的学习率倍数，4 个 res block 的 conv2d 分别有一个学习率参数，共需设置 5 个学习率倍数的超参。在实验中发现。用于迁移学习 finetune 分类模型时，`[0.1,0.1,0.2,0.2,0.3]` 的中间层学习率倍数设置在绝大多数的任务中都性能更好；而在目标检测任务中，`[0.05,0.05,0.05,0.1,0.15]` 的中间层学习率倍数设置能够带来更大的精度收益。 + * 对于 MoblileNetV3_large_x1_0，由于其包含 15 个 block，我们设置每 3 个 block 共享一个学习率倍数参数，因此需要共 5 个学习率倍数的参数，最终发现在分类和检测任务中，`[0.25,0.25,0.5,0.5,0.75]` 的中间层学习率倍数能够带来更大的精度收益。 -* 适当的 l2 decay 。不同分类模型在训练的时候一般都会根据模型设置不同的 l2 decay ，大模型为了防止过拟合，往往会设置更大的 l2 decay ，如 ResNet50 等模型，一般设置为 `1e-4` ；而如 MobileNet 系列模型，在训练时往往都会设置为 `1e-5~4e-5` ，防止模型过度欠拟合，在蒸馏时亦是如此。在将蒸馏模型应用到目标检测任务中时，我们发现也需要调节 backbone 甚至特定任务模型模型的 l2 decay ，和预训练蒸馏时的 l2 decay 尽可能保持一致。以 Faster RCNN MobiletNetV3 FPN 为例，我们发现仅修改该参数，在 COCO2017 数据集上就可以带来最多 0.5% 左右的精度 (mAP) 提升（默认 Faster RCNN l2 decay 为 1e-4 ，我们修改为 1e-5~4e-5 均有 0.3%~0.5% 的提升）。 +* 适当的 l2 decay 。不同分类模型在训练的时候一般都会根据模型设置不同的 l2 decay，大模型为了防止过拟合，往往会设置更大的 l2 decay，如 ResNet50 等模型，一般设置为 `1e-4` ；而如 MobileNet 系列模型，在训练时往往都会设置为 `1e-5~4e-5`，防止模型过度欠拟合，在蒸馏时亦是如此。在将蒸馏模型应用到目标检测任务中时，我们发现也需要调节 backbone 甚至特定任务模型模型的 l2 decay，和预训练蒸馏时的 l2 decay 尽可能保持一致。以 Faster RCNN MobiletNetV3 FPN 为例，我们发现仅修改该参数，在 COCO2017 数据集上就可以带来最多 0.5% 左右的精度(mAP)提升（默认 Faster RCNN l2 decay 为 1e-4，我们修改为 1e-5~4e-5 均有 0.3%~0.5% 的提升）。 ### 4.2 迁移学习 finetune @@ -193,7 +193,7 @@ SSLD 的流程图如下图所示。 * ResNet50_vd -设置训练与评测的尺度均为 640x640 ，最终 COCO 上检测指标如下。 +设置训练与评测的尺度均为 640x640，最终 COCO 上检测指标如下。 | Model | train/test scale | pretrain top1 acc | feature map lr | coco mAP | |- |:-: |:-: | :-: | :-: | @@ -206,12 +206,12 @@ SSLD 的流程图如下图所示。 ## 5. SSLD 实战 -本节将基于 ImageNet-1K 的数据集详细介绍 SSLD 蒸馏实验，如果想快速体验此方法，可以参考 [**30 分钟玩转 PaddleClas（进阶版）**](../quick_start/quick_start_classification_professional.md) 中基于 CIFAR100 的 SSLD 蒸馏实验。 +本节将基于 ImageNet-1K 的数据集详细介绍 SSLD 蒸馏实验，如果想快速体验此方法，可以参考 [**30 分钟玩转 PaddleClas（进阶版）**](../quick_start/quick_start_classification_professional.md)中基于 CIFAR100 的 SSLD 蒸馏实验。 ### 5.1 参数配置 -实战部分提供了 SSLD 蒸馏的示例，在 `ppcls/configs/ImageNet/Distillation/mv3_large_x1_0_distill_mv3_small_x1_0.yaml` 中提供了 `MobileNetV3_large_x1_0` 蒸馏`MobileNetV3_small_x1_0` 的配置文件，用户可以在 `tools/train.sh` 里直接替换配置文件的路径即可使用。 +实战部分提供了 SSLD 蒸馏的示例，在 `ppcls/configs/ImageNet/Distillation/mv3_large_x1_0_distill_mv3_small_x1_0.yaml` 中提供了 `MobileNetV3_large_x1_0` 蒸馏 `MobileNetV3_small_x1_0` 的配置文件，用户可以在 `tools/train.sh` 里直接替换配置文件的路径即可使用。 ```yaml Arch: @@ -234,7 +234,7 @@ Arch: infer_model_name: "Student" ``` -在参数配置中，`freeze_params_list` 中需要指定模型是否需要冻结参数， `models` 中需要指定 Teacher 模型和 Student 模型，其中 Teacher 模型需要加载预训练模型。用户可以直接在此处更改模型。 +在参数配置中，`freeze_params_list` 中需要指定模型是否需要冻结参数，`models` 中需要指定 Teacher 模型和 Student 模型，其中 Teacher 模型需要加载预训练模型。用户可以直接在此处更改模型。 ### 5.2 启动命令 diff --git a/docs/zh_CN/advanced_tutorials/model_prune_quantization.md b/docs/zh_CN/advanced_tutorials/model_prune_quantization.md index 29bf885d6ea50106922ee3e7f7d1cd83b1f8bdca..f6b4afcece45505c40f32cce7b6b09586961ca51 100644 --- a/docs/zh_CN/advanced_tutorials/model_prune_quantization.md +++ b/docs/zh_CN/advanced_tutorials/model_prune_quantization.md @@ -9,9 +9,9 @@ 模型剪枝将 CNN 中不重要的卷积核裁剪掉，减少模型参数量，从而降低模型计算复杂度。 本教程将介绍如何使用飞桨模型压缩库 PaddleSlim 做 PaddleClas 模型的压缩，即裁剪、量化功能。 -[PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim) 集成了模型剪枝、量化（包括量化训练和离线量化）、蒸馏和神经网络搜索等多种业界常用且领先的模型压缩功能，如果您感兴趣，可以关注并了解。 +[PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim)集成了模型剪枝、量化（包括量化训练和离线量化）、蒸馏和神经网络搜索等多种业界常用且领先的模型压缩功能，如果您感兴趣，可以关注并了解。 -在开始本教程之前，建议先了解 [PaddleClas 模型的训练方法](../models_training/classification.md) 以及 [PaddleSlim](https://paddleslim.readthedocs.io/zh_CN/latest/index.html)，相关裁剪、量化方法可以参考[模型裁剪量化算法介绍文档](../algorithm_introduction/model_prune_quantization.md)。 +在开始本教程之前，建议先了解 [PaddleClas 模型的训练方法](../models_training/classification.md)以及 [PaddleSlim](https://paddleslim.readthedocs.io/zh_CN/latest/index.html)，相关裁剪、量化方法可以参考[模型裁剪量化算法介绍文档](../algorithm_introduction/model_prune_quantization.md)。 ----------- diff --git a/docs/zh_CN/algorithm_introduction/DataAugmentation.md b/docs/zh_CN/algorithm_introduction/DataAugmentation.md index fa0a90d667be71b4064c576aef3dbc4ffb71355d..04e0a569fe1f6ce596df1b07d4d0f1fdbd2e7025 100644 --- a/docs/zh_CN/algorithm_introduction/DataAugmentation.md +++ b/docs/zh_CN/algorithm_introduction/DataAugmentation.md @@ -38,7 +38,7 @@ 相比于上述标准的图像增广方法，研究者也提出了很多改进的图像增广策略，这些策略均是在标准增广方法的不同阶段插入一定的操作，基于这些策略操作所处的不同阶段，我们将其分为了三类： 1. 对 `RandCrop` 后的 224 的图像进行一些变换: AutoAugment，RandAugment -2. 对`Transpose` 后的 224 的图像进行一些裁剪: CutOut，RandErasing，HideAndSeek，GridMask +2. 对 `Transpose` 后的 224 的图像进行一些裁剪: CutOut，RandErasing，HideAndSeek，GridMask 3. 对 `Batch` 后的数据进行混合: Mixup，Cutmix 增广后的可视化效果如下所示。 @@ -105,12 +105,12 @@ PaddleClas 中集成了上述所有的数据增强策略，每种数据增强策 开源代码 github 地址：[https://github.com/rwightman/pytorch-image-models/blob/master/timm/data/auto_augment.py](https://github.com/rwightman/pytorch-image-models/blob/master/timm/data/auto_augment.py) -`TimmAutoAugment`是开源作者对 AutoAugment 和 RandAugment 的改进，事实证明，其在很多视觉任务上有更好的表现，目前绝大多数 VisionTransformer 模型都是基于 TimmAutoAugment 去实现的。 +`TimmAutoAugment` 是开源作者对 AutoAugment 和 RandAugment 的改进，事实证明，其在很多视觉任务上有更好的表现，目前绝大多数 VisionTransformer 模型都是基于 TimmAutoAugment 去实现的。 ## 4. 图像裁剪类 -图像裁剪类主要是对`Transpose` 后的 224 的图像进行一些裁剪，并将裁剪区域的像素值置为特定的常数（默认为 0），主要包括： +图像裁剪类主要是对 `Transpose` 后的 224 的图像进行一些裁剪，并将裁剪区域的像素值置为特定的常数（默认为 0），主要包括： + CutOut + RandErasing @@ -127,7 +127,7 @@ PaddleClas 中集成了上述所有的数据增强策略，每种数据增强策 开源代码 github 地址：[https://github.com/uoguelph-mlrg/Cutout](https://github.com/uoguelph-mlrg/Cutout) -Cutout 可以理解为 Dropout 的一种扩展操作，不同的是 Dropout 是对图像经过网络后生成的特征进行遮挡，而 Cutout 是直接对输入的图像进行遮挡，相对于 Dropout 对噪声的鲁棒性更好。作者在论文中也进行了说明，这样做法有以下两点优势：(1) 通过 Cutout 可以模拟真实场景中主体被部分遮挡时的分类场景；(2) 可以促进模型充分利用图像中更多的内容来进行分类，防止网络只关注显著性的图像区域，从而发生过拟合。 +Cutout 可以理解为 Dropout 的一种扩展操作，不同的是 Dropout 是对图像经过网络后生成的特征进行遮挡，而 Cutout 是直接对输入的图像进行遮挡，相对于 Dropout 对噪声的鲁棒性更好。作者在论文中也进行了说明，这样做法有以下两点优势：(1)通过 Cutout 可以模拟真实场景中主体被部分遮挡时的分类场景；(2)可以促进模型充分利用图像中更多的内容来进行分类，防止网络只关注显著性的图像区域，从而发生过拟合。 经过 RandAugment 数据增强后结果如下图所示。 diff --git a/docs/zh_CN/algorithm_introduction/ImageNet_models.md b/docs/zh_CN/algorithm_introduction/ImageNet_models.md index e5b29edfe9c014dfa41fe09e964726a5dae9748f..f747e81eb36a168ed45266bc665d5d8c510cf2a7 100644 --- a/docs/zh_CN/algorithm_introduction/ImageNet_models.md +++ b/docs/zh_CN/algorithm_introduction/ImageNet_models.md @@ -18,7 +18,7 @@ - [8. HRNet 系列](#8) - [9. Inception 系列](#9) - [10. EfficientNet 与 ResNeXt101_wsl 系列](#10) -- [11. ResNeSt 与 RegNet系列](#11) +- [11. ResNeSt 与 RegNet 系列](#11) - [12. ViT_and_DeiT 系列](#12) - [13. RepVGG 系列](#13) - [14. MixNet 系列](#14) @@ -100,7 +100,7 @@ -* 注: `Reference Top-1 Acc`表示 PaddleClas 基于 ImageNet1k 数据集训练得到的预训练模型精度。 +* 注: `Reference Top-1 Acc` 表示 PaddleClas 基于 ImageNet1k 数据集训练得到的预训练模型精度。 @@ -312,7 +312,7 @@ EfficientNet 与 ResNeXt101_wsl 系列模型的精度、速度指标如下表所 -## 11. ResNeSt 与 RegNet系列 +## 11. ResNeSt 与 RegNet 系列 ResNeSt 与 RegNet 系列模型的精度、速度指标如下表所示，更多关于该系列的模型介绍可以参考：[ResNeSt 与 RegNet 系列模型文档](../models/ResNeSt_RegNet.md)。 @@ -506,7 +506,7 @@ ViT(Vision Transformer) 与 DeiT（Data-efficient Image Transformers）系列模 | ---------- | --------- | --------- | ---------------- | ---------------- | -------- | --------- | ------------------------------------------------------------ | | TNT_small | 0.8121 |0.9563 | | | 5.2 | 23.8 | [下载链接](https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/TNT_small_pretrained.pdparams) | | -**注**：TNT 模型的数据预处理部分`NormalizeImage`中的`mean`与`std`均为 0.5。 +**注**：TNT 模型的数据预处理部分 `NormalizeImage` 中的 `mean` 与 `std` 均为 0.5。 diff --git a/docs/zh_CN/algorithm_introduction/knowledge_distillation.md b/docs/zh_CN/algorithm_introduction/knowledge_distillation.md index 03681282efb5a361322f29ab5b8777c4e6e9dac1..eed84b24f1f7e03d10caaaa056873423be696b64 100644 --- a/docs/zh_CN/algorithm_introduction/knowledge_distillation.md +++ b/docs/zh_CN/algorithm_introduction/knowledge_distillation.md @@ -42,14 +42,14 @@ PaddleClas 中提出了一种简单使用的 SSLD 知识蒸馏算法 [6]，在训练的时候去除了对 gt label 的依赖，结合大量无标注数据，最终蒸馏训练得到的预训练模型在 15 个模型上的精度提升平均高达 3%。 -上述标准的蒸馏方法是通过一个大模型作为教师模型来指导学生模型提升效果，而后来又发展出 DML (Deep Mutual Learning) 互学习蒸馏方法 [7]，即通过两个结构相同的模型互相学习。具体的。相比于 KD 等依赖于大的教师模型的知识蒸馏算法，DML 脱离了对大的教师模型的依赖，蒸馏训练的流程更加简单，模型产出效率也要更高一些。 +上述标准的蒸馏方法是通过一个大模型作为教师模型来指导学生模型提升效果，而后来又发展出 DML(Deep Mutual Learning)互学习蒸馏方法 [7]，即通过两个结构相同的模型互相学习。具体的。相比于 KD 等依赖于大的教师模型的知识蒸馏算法，DML 脱离了对大的教师模型的依赖，蒸馏训练的流程更加简单，模型产出效率也要更高一些。 ### 3.2 Feature based distillation Heo 等人提出了 OverHaul [8], 计算学生模型与教师模型的 feature map distance，作为蒸馏的 loss，在这里使用了学生模型、教师模型的转移，来保证二者的 feature map 可以正常地进行 distance 的计算。 -基于 feature map distance 的知识蒸馏方法也能够和 `3.1 章节` 中的基于 response 的知识蒸馏算法融合在一起，同时对学生模型的输出结果和中间层 feature map 进行监督。而对于 DML 方法来说，这种融合过程更为简单，因为不需要对学生和教师模型的 feature map 进行转换，便可以完成对齐 (alignment) 过程。PP-OCRv2 系统中便使用了这种方法，最终大幅提升了 OCR 文字识别模型的精度。 +基于 feature map distance 的知识蒸馏方法也能够和 `3.1 章节` 中的基于 response 的知识蒸馏算法融合在一起，同时对学生模型的输出结果和中间层 feature map 进行监督。而对于 DML 方法来说，这种融合过程更为简单，因为不需要对学生和教师模型的 feature map 进行转换，便可以完成对齐(alignment)过程。PP-OCRv2 系统中便使用了这种方法，最终大幅提升了 OCR 文字识别模型的精度。 ### 3.3 Relation based distillation @@ -60,7 +60,7 @@ Heo 等人提出了 OverHaul [8], 计算学生模型与教师模型的 feature m Park 等人提出了 RKD [10]，基于关系的知识蒸馏算法，RKD 中进一步考虑个体输出之间的关系，使用 2 种损失函数，二阶的距离损失（distance-wise）和三阶的角度损失（angle-wise） -本论文提出的算法关系知识蒸馏（RKD）迁移教师模型得到的输出结果间的结构化关系给学生模型，不同于之前的只关注个体输出结果，RKD 算法使用两种损失函数：二阶的距离损失 （distance-wise） 和三阶的角度损失 （angle-wise）。在最终计算蒸馏损失函数的时候，同时考虑KD loss 和 RKD loss。最终精度优于单独使用 KD loss 蒸馏得到的模型精度。 +本论文提出的算法关系知识蒸馏（RKD）迁移教师模型得到的输出结果间的结构化关系给学生模型，不同于之前的只关注个体输出结果，RKD 算法使用两种损失函数：二阶的距离损失(distance-wise)和三阶的角度损失(angle-wise)。在最终计算蒸馏损失函数的时候，同时考虑 KD loss 和 RKD loss。最终精度优于单独使用 KD loss 蒸馏得到的模型精度。 ## 4. 参考文献 diff --git a/docs/zh_CN/data_preparation/classification_dataset.md b/docs/zh_CN/data_preparation/classification_dataset.md index dc3e83a2b7753f0f4c49182e8d59e4757fd763a8..66f7180be25be0422854debf15789cb5e02a3388 100644 --- a/docs/zh_CN/data_preparation/classification_dataset.md +++ b/docs/zh_CN/data_preparation/classification_dataset.md @@ -118,6 +118,6 @@ MMNIST 是一个非常有名的手写体数字识别数据集，在很多资料 ### 2.5 NUS-WIDE -NUS-WIDE 是一个多分类数据集。该数据集包含 269648 张图片, 81 个类别， 每张图片被标记为该 81 个类别中的某一类或某几类。 +NUS-WIDE 是一个多分类数据集。该数据集包含 269648 张图片, 81 个类别，每张图片被标记为该 81 个类别中的某一类或某几类。 数据集地址：https://lms.comp.nus.edu.sg/wp-content/uploads/2019/research/nuswide/NUS-WIDE.html diff --git a/docs/zh_CN/data_preparation/recognition_dataset.md b/docs/zh_CN/data_preparation/recognition_dataset.md index 19274abd2ceef9c100116e79cd3192bcc0b31869..a6ca57c43c3a4ad2b90101c30ce0453975d997a7 100644 --- a/docs/zh_CN/data_preparation/recognition_dataset.md +++ b/docs/zh_CN/data_preparation/recognition_dataset.md @@ -37,7 +37,7 @@ train/99/Ovenbird_0128_93366.jpg 99 6 ... ``` -验证数据集(`CUB_200_2011`中既是 gallery dataset，也是 query dataset) `test_list.txt` 文件内容格式如下所示： +验证数据集(`CUB_200_2011` 中既是 gallery dataset，也是 query dataset)`test_list.txt` 文件内容格式如下所示： ```shell # 采用"空格"作为分隔符号 @@ -52,9 +52,9 @@ test/200/Common_Yellowthroat_0114_190501.jpg 200 6 **注意**： -1.当 gallery dataset 和 query dataset 相同时，为了去掉检索得到的第一个数据（检索图片本身无须评估），每个数据需要对应一个 unique id（每张图片的 id 不同即可，可以用行号来表示 unique id），用于后续评测 mAP、recall@1 等指标。yaml 配置文件的数据集选用`VeriWild`。 +1.当 gallery dataset 和 query dataset 相同时，为了去掉检索得到的第一个数据（检索图片本身无须评估），每个数据需要对应一个 unique id（每张图片的 id 不同即可，可以用行号来表示 unique id），用于后续评测 mAP、recall@1 等指标。yaml 配置文件的数据集选用 `VeriWild`。 -2.当 gallery dataset 和 query dataset 不同时，无需增加 unique id，`query_list.txt` 和`gallery_list.txt` 均为两列，分别是训练数据的路径、训练数据的 label 信息。yaml 配置文件的数据集选用`ImageNetDataset`。 +2.当 gallery dataset 和 query dataset 不同时，无需增加 unique id，`query_list.txt` 和 `gallery_list.txt` 均为两列，分别是训练数据的路径、训练数据的 label 信息。yaml 配置文件的数据集选用 `ImageNetDataset`。 ## 2. 图像识别任务常见数据集介绍 @@ -88,7 +88,7 @@ Cars 数据集包含了 196 类汽车的 16185 张图像。数据被分成 8144 地址： http://challenge.ai.iqiyi.com/detail?raceId=5def69ace9fcf68aef76a75d -+ Manga109： Manga109 是 2020.5 月发布的一个用于研究卡通人物检测和识别的数据集，其包含 21142 张图片，官方不允许用于商用。该数据集旗下的子集 Manga109-s，可以供工业使用， 主要用于文本检测、基于线稿的任务检索、角色图像生成等任务。 ++ Manga109： Manga109 是 2020.5 月发布的一个用于研究卡通人物检测和识别的数据集，其包含 21142 张图片，官方不允许用于商用。该数据集旗下的子集 Manga109-s，可以供工业使用，主要用于文本检测、基于线稿的任务检索、角色图像生成等任务。 地址：http://www.manga109.org/en/ @@ -98,7 +98,7 @@ Cars 数据集包含了 196 类汽车的 16185 张图像。数据被分成 8144 #### 2.2.2 商品识别 -+ AliProduct: AliProduct 数据集是目前开源最大的商品数据集，它是一个 SKU 级别的图像分类数据集， 包含 5 万类别、300 万张商品图像，商品图像的类别和总量均为业界之最。此数据集中涵盖了大量的生活用品、食物等，数据集中没有人工标注，数据较脏，数据分布较不均衡，且有很多相似的商品图片。 ++ AliProduct: AliProduct 数据集是目前开源最大的商品数据集，它是一个 SKU 级别的图像分类数据集，包含 5 万类别、300 万张商品图像，商品图像的类别和总量均为业界之最。此数据集中涵盖了大量的生活用品、食物等，数据集中没有人工标注，数据较脏，数据分布较不均衡，且有很多相似的商品图片。 地址: https://retailvisionworkshop.github.io/recognition_challenge_2020/ @@ -114,7 +114,7 @@ Cars 数据集包含了 196 类汽车的 16185 张图像。数据被分成 8144 地址： https://github.com/msn199959/Logo-2k-plus-Dataset -+ Tsinghua-Tencent 100K： 该数据集是从 10 万张腾讯街景全景图中创建的一个大型交通标志基准数据集。它提供包含 30000 个交通标志实例的 100000 张图像。这些图像涵盖了照度和天气条件的巨大变化。基准测试中的每个交通标志都标注了类别标签、边界框和像素掩码。 它总共包含 222 个类别 (0 background + 221 traffic signs) ++ Tsinghua-Tencent 100K： 该数据集是从 10 万张腾讯街景全景图中创建的一个大型交通标志基准数据集。它提供包含 30000 个交通标志实例的 100000 张图像。这些图像涵盖了照度和天气条件的巨大变化。基准测试中的每个交通标志都标注了类别标签、边界框和像素掩码。 它总共包含 222 个类别(0 background + 221 traffic signs) 地址： https://cg.cs.tsinghua.edu.cn/traffic-sign/ diff --git a/docs/zh_CN/faq_series/faq_2020_s1.md b/docs/zh_CN/faq_series/faq_2020_s1.md index ad69fde431da3a637ca91a79c855c73ba89f7ae0..c6bfb62a935e99b641d026b3300b3dd06033f9b9 100644 --- a/docs/zh_CN/faq_series/faq_2020_s1.md +++ b/docs/zh_CN/faq_series/faq_2020_s1.md @@ -236,7 +236,7 @@ Cosine_decay和piecewise_decay的学习率变化曲线如下图所示，容易 ### Q5.4 weight_decay是什么？怎么设置？ -**A**:过拟合是机器学习中常见的一个名词，简单理解即为模型在训练数据上表现很好，但在测试数据上表现较差，在图像分类问题中，同样存在过拟合的问题，为了避免过拟合，很多正则方式被提出，其中，weight_decay是其中一个广泛使用的避免过拟合的方式。当使用SGD优化器时， weight_decay等价于在最终的损失函数后添加L2正则化，L2正则化使得网络的权重倾向于选择更小的值，最终整个网络中的参数值更趋向于0，模型的泛化性能相应提高。在各大深度学习框架的实现中，该值表达的含义是L2正则前的系数，在飞桨框架中，该值的名称是L2Decay，所以以下都称其为L2Decay。该系数越大，表示加入的正则越强，模型越趋于欠拟合状态。具体到数据集来说： +**A**:过拟合是机器学习中常见的一个名词，简单理解即为模型在训练数据上表现很好，但在测试数据上表现较差，在图像分类问题中，同样存在过拟合的问题，为了避免过拟合，很多正则方式被提出，其中，weight_decay是其中一个广泛使用的避免过拟合的方式。当使用SGD优化器时，weight_decay等价于在最终的损失函数后添加L2正则化，L2正则化使得网络的权重倾向于选择更小的值，最终整个网络中的参数值更趋向于0，模型的泛化性能相应提高。在各大深度学习框架的实现中，该值表达的含义是L2正则前的系数，在飞桨框架中，该值的名称是L2Decay，所以以下都称其为L2Decay。该系数越大，表示加入的正则越强，模型越趋于欠拟合状态。具体到数据集来说： - ImageNet-1k：大多数的网络将该参数值设置为1e-4，在一些小的网络如MobileNet系列网络中，为了避免网络欠拟合，该值设置为1e-5~4e-5之间。下表展示了MobileNetV1_x0_25在ImageNet-1k上使用不同L2Decay的精度情况。由于MobileNetV1_x0_25是一个比较小的网络，所以L2Decay过大会使网络趋向于欠拟合状态，所以在该网络中，相对1e-4，3e-5是更好的选择。 diff --git a/docs/zh_CN/faq_series/faq_2021_s1.md b/docs/zh_CN/faq_series/faq_2021_s1.md index 1b9a382733b1782d3ddf7c9f59f6e7d03496ad3e..8eb4cbeb4754f995bd532f99bd2c4e5ab443f5f5 100644 --- a/docs/zh_CN/faq_series/faq_2021_s1.md +++ b/docs/zh_CN/faq_series/faq_2021_s1.md @@ -195,7 +195,7 @@ RepVGG网络与ACNet同理，只不过ACNet的`1*d`非对称卷积变成了`1*1` 2. 考虑Transformer中Encoder编码器的输入形式，如下图: * (1)不定长度的顺序输入，因为它是RNN结构，一句话，单词数不一样。如果是NLP场景，换词的顺序不太过于影响语义，但是图像换了不同区域的位置，不同区域连接顺序不同，将造成极大理解偏差。 - * (2)单个patch位置信息通过变换成一个维度固定的向量，Encoder输入是patch像素信息embedding，与一些固定位置的向量concate， 合成一个维度固定的向量和位置信息在其中。 + * (2)单个patch位置信息通过变换成一个维度固定的向量，Encoder输入是patch像素信息embedding，与一些固定位置的向量concate，合成一个维度固定的向量和位置信息在其中。
@@ -215,7 +215,7 @@ RepVGG网络与ACNet同理，只不过ACNet的`1*d`非对称卷积变成了`1*1`
-5. ViT 模型和 Transformer 基本一样，输入序列传入 ViT，然后利用`[CLS]`标志位的最终输出特征进行分类。ViT主要由MSA(多头自注意力)和MLP(两层使用GELU激活函数的全连接网络) 组成，在MSA和MLP之前加上LayerNorm和残差连接。 +5. ViT 模型和 Transformer 基本一样，输入序列传入 ViT，然后利用`[CLS]`标志位的最终输出特征进行分类。ViT主要由MSA(多头自注意力)和MLP(两层使用GELU激活函数的全连接网络)组成，在MSA和MLP之前加上LayerNorm和残差连接。 ### Q4.4: 如何理解归纳偏置Inductive Bias？ diff --git a/docs/zh_CN/faq_series/faq_2021_s2.md b/docs/zh_CN/faq_series/faq_2021_s2.md index 4e63596aba58c63c6d07662405e8020708764575..46e1dbbe4f8746527c0b7ebeb10e8d1c2474725d 100644 --- a/docs/zh_CN/faq_series/faq_2021_s2.md +++ b/docs/zh_CN/faq_series/faq_2021_s2.md @@ -129,7 +129,7 @@ w_t+1 = w_t - v_t+1 ### 1.3 图像分类 #### Q1.3.1: PaddleClas有提供调整图片亮度，对比度，饱和度，色调等方面的数据增强吗？ -**A**：PaddleClas提供了多种数据增广方式， 可分为3类： +**A**：PaddleClas提供了多种数据增广方式，可分为3类： 1. 图像变换类： AutoAugment, RandAugment; 2. 图像裁剪类： CutOut、RandErasing、HideAndSeek、GridMask； 3. 图像混叠类：Mixup, Cutmix. @@ -187,7 +187,7 @@ w_t+1 = w_t - v_t+1 **A**：可以，但目前PaddleClas并不支持视频输入。可以尝试修改一下PaddleClas代码，或者预先将视频逐帧转为图像存储，再使用PaddleClas进行预测。 #### Q2.1.4: 数据预处理中，不想对输入数据进行裁剪，该如何设置？或者如何设置剪裁的尺寸。 -**A**: PaddleClas 支持的数据预处理算子可在这里查看：`ppcls/data/preprocess/__init__.py`，所有支持的算子均可在配置文件中进行配置，配置的算子名称需要和算子类名一致，参数与对应算子类的构造函数参数一致。如不需要对图像裁剪，则可去掉 `CropImage`、`RandCropImage`，使用 `ResizeImage` 替换即可，可通过其参数设置不同的resize方式， 使用 `size` 参数则直接将图像缩放至固定大小，使用`resize_short` 参数则会维持图像宽高比进行缩放。设置裁剪尺寸时，可通过 `CropImage` 算子的 `size` 参数，或 `RandCropImage` 算子的 `size` 参数。 +**A**: PaddleClas 支持的数据预处理算子可在这里查看：`ppcls/data/preprocess/__init__.py`，所有支持的算子均可在配置文件中进行配置，配置的算子名称需要和算子类名一致，参数与对应算子类的构造函数参数一致。如不需要对图像裁剪，则可去掉 `CropImage`、`RandCropImage`，使用 `ResizeImage` 替换即可，可通过其参数设置不同的resize方式，使用 `size` 参数则直接将图像缩放至固定大小，使用`resize_short` 参数则会维持图像宽高比进行缩放。设置裁剪尺寸时，可通过 `CropImage` 算子的 `size` 参数，或 `RandCropImage` 算子的 `size` 参数。 #### Q2.1.5: PaddlePaddle 安装后，使用报错，无法导入 paddle 下的任何模块（import paddle.xxx），是为什么呢？ **A**: 首先可以使用以下代码测试 Paddle 是否安装正确： @@ -204,7 +204,7 @@ PaddlePaddle is installed successfully! Let's start deep learning with PaddlePad #### Q2.1.6: 使用PaddleClas训练时，如何设置仅保存最优模型？不想保存中间模型。 **A**: PaddleClas在训练过程中，会保存/更新以下三类模型： -1. 最新的模型（`latest.pdopt`， `latest.pdparams`，`latest.pdstates`），当训练意外中断时，可使用最新保存的模型恢复训练； +1. 最新的模型（`latest.pdopt`，`latest.pdparams`，`latest.pdstates`），当训练意外中断时，可使用最新保存的模型恢复训练； 2. 最优的模型（`best_model.pdopt`，`best_model.pdparams`，`best_model.pdstates`）； 3. 训练过程中，一个epoch结束时的断点（`epoch_xxx.pdopt`，`epoch_xxx.pdparams`，`epoch_xxx.pdstates`）。训练配置文件中 `Global.save_interval` 字段表示该模型的保存间隔。将该字段设置大于总epochs数，则不再保存中间断点模型。 diff --git a/docs/zh_CN/faq_series/faq_selected_30.md b/docs/zh_CN/faq_series/faq_selected_30.md index d54f36b3e8ddcb0d90da0c515f2fd34612e0d21d..0a53752205605c587fbc9ac3a36e3c8f97765e02 100644 --- a/docs/zh_CN/faq_series/faq_selected_30.md +++ b/docs/zh_CN/faq_series/faq_selected_30.md @@ -143,7 +143,7 @@ >> * Q: 对于长尾分布的数据集，目前有哪些比较常用的方法？ -* A: （1）可以对数据量比较少的类别进行重采样，增加其出现的概率；（2）可以修改loss，增加图像较少对应的类别的图片的loss权重；（3）可以借鉴迁移学习的方法，从常见类别中学习通用知识，然后迁移到少样本的类别中。 +* A:（1）可以对数据量比较少的类别进行重采样，增加其出现的概率；（2）可以修改loss，增加图像较少对应的类别的图片的loss权重；（3）可以借鉴迁移学习的方法，从常见类别中学习通用知识，然后迁移到少样本的类别中。 ### 1.4 模型推理与预测相关 @@ -156,14 +156,14 @@ * A: 在模型训练完成之后，推荐使用导出的固化模型（inference model），基于Paddle预测引擎进行预测，目前支持python inference与cpp inference。如果希望基于服务化部署预测模型，那么推荐使用PaddleServing的部署方式。 >> * Q: 模型训练完成之后，有哪些比较合适的预测方法进一步提升模型精度呢？ -* A: （1）可以使用更大的预测尺度，比如说训练的时候使用的是224，那么预测的时候可以考虑使用288或者320，这会直接带来0.5%左右的精度提升。（2）可以使用测试时增广的策略（Test Time Augmentation, TTA)，将测试集通过旋转、翻转、颜色变换等策略，创建多个副本，并分别预测，最后将所有的预测结果进行融合，这可以大大提升预测结果的精度和鲁棒性。（3）当然，也可以使用多模型融合的策略，将多个模型针对相同图片的预测结果进行融合。 +* A:（1）可以使用更大的预测尺度，比如说训练的时候使用的是224，那么预测的时候可以考虑使用288或者320，这会直接带来0.5%左右的精度提升。（2）可以使用测试时增广的策略（Test Time Augmentation, TTA)，将测试集通过旋转、翻转、颜色变换等策略，创建多个副本，并分别预测，最后将所有的预测结果进行融合，这可以大大提升预测结果的精度和鲁棒性。（3）当然，也可以使用多模型融合的策略，将多个模型针对相同图片的预测结果进行融合。 >> * Q: 多模型融合的时候，该怎么选择合适的模型进行融合呢？ * A: 在不考虑预测速度的情况下，建议选择精度尽量高的模型；同时建议选择不同结构或者系列的模型进行融合，比如在精度相似的情况下，ResNet50_vd与Xception65的模型融合结果往往比ResNet50_vd与ResNet101_vd的模型融合结果要好一些。 >> * Q: 使用固定的模型进行预测时有哪些比较常用的加速方法？ -* A: （1）使用性能更优的GPU进行预测；（2）增大预测的batch size；（3）使用TenorRT以及FP16半精度浮点数等方法进行预测。 +* A:（1）使用性能更优的GPU进行预测；（2）增大预测的batch size；（3）使用TenorRT以及FP16半精度浮点数等方法进行预测。 diff --git a/docs/zh_CN/image_recognition_pipeline/feature_extraction.md b/docs/zh_CN/image_recognition_pipeline/feature_extraction.md index c3e6d4b546d07b54f3346f4c5a06f1b1ae4de31c..7e572846ea05bd3d3e2769b528da1aeb459ac2cc 100644 --- a/docs/zh_CN/image_recognition_pipeline/feature_extraction.md +++ b/docs/zh_CN/image_recognition_pipeline/feature_extraction.md @@ -17,7 +17,7 @@ ## 1. 简介 -特征提取是图像识别中的关键一环，它的作用是将输入的图片转化为固定维度的特征向量，用于后续的[向量检索](./vector_search.md)。好的特征需要具备相似度保持性，即在特征空间中，相似度高的图片对其特征相似度要比较高（距离比较近），相似度低的图片对，其特征相似度要比较小（距离比较远）。[Deep Metric Learning](../algorithm_introduction/metric_learning.md) 用以研究如何通过深度学习的方法获得具有强表征能力的特征。 +特征提取是图像识别中的关键一环，它的作用是将输入的图片转化为固定维度的特征向量，用于后续的[向量检索](./vector_search.md)。好的特征需要具备相似度保持性，即在特征空间中，相似度高的图片对其特征相似度要比较高（距离比较近），相似度低的图片对，其特征相似度要比较小（距离比较远）。[Deep Metric Learning](../algorithm_introduction/metric_learning.md)用以研究如何通过深度学习的方法获得具有强表征能力的特征。 @@ -26,16 +26,16 @@ ![](../../images/feature_extraction_framework.png) 图中各个模块的功能为: -- **Backbone**: 指定所使用的骨干网络。 值得注意的是，PaddleClas 提供的基于 ImageNet 的预训练模型，最后一层的输出为 1000， 我们需要依据所需的特征维度定制最后一层的输出。 +- **Backbone**: 指定所使用的骨干网络。 值得注意的是，PaddleClas 提供的基于 ImageNet 的预训练模型，最后一层的输出为 1000，我们需要依据所需的特征维度定制最后一层的输出。 - **Neck**: 用以特征增强及特征维度变换。 这儿的 Neck，可以是一个简单的 Linear Layer，用来做特征维度变换；也可以是较复杂的 FPN 结构，用以做特征增强。 - **Head**: 用来将 feature 转化为 logits。 除了常用的 Fc Layer 外，还可以替换为 cosmargin, arcmargin, circlemargin 等模块。 -- **Loss**: 指定所使用的 Loss 函数。 我们将 Loss 设计为组合 loss 的形式， 可以方便得将 Classification Loss 和 Pair_wise Loss 组合在一起。 +- **Loss**: 指定所使用的 Loss 函数。 我们将 Loss 设计为组合 loss 的形式，可以方便得将 Classification Loss 和 Pair_wise Loss 组合在一起。 ## 3. 通用识别模型 -在 PP-Shitu 中, 我们采用 [PP_LCNet_x2_5](../models/PP-LCNet.md) 作为骨干网络， Neck 部分选用 Linear Layer, Head 部分选用 [ArcMargin](../../../ppcls/arch/gears/arcmargin.py)， Loss 部分选用 CELoss，详细的配置文件见[通用识别配置文件](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml)。其中，训练数据为如下 7 个公开数据集的汇总： +在 PP-Shitu 中, 我们采用 [PP_LCNet_x2_5](../models/PP-LCNet.md) 作为骨干网络 Neck 部分选用 Linear Layer, Head 部分选用 [ArcMargin](../../../ppcls/arch/gears/arcmargin.py)，Loss 部分选用 CELoss，详细的配置文件见[通用识别配置文件](../../../ppcls/configs/GeneralRecognition/GeneralRecognition_PPLCNet_x2_5.yaml)。其中，训练数据为如下 7 个公开数据集的汇总： | 数据集 | 数据量 | 类别数 | 场景 | 数据集地址 | | :------------: | :-------------: | :-------: | :-------: | :--------: | | Aliproduct | 2498771 | 50030 | 商品 | [地址](https://retailvisionworkshop.github.io/recognition_challenge_2020/) | diff --git a/docs/zh_CN/image_recognition_pipeline/mainbody_detection.md b/docs/zh_CN/image_recognition_pipeline/mainbody_detection.md index c35f7b6fb8b3d46510c1e34040598e71ea97b9bf..3b441f7bc78c28aff2893fe5ec1db0d60dd17d3f 100644 --- a/docs/zh_CN/image_recognition_pipeline/mainbody_detection.md +++ b/docs/zh_CN/image_recognition_pipeline/mainbody_detection.md @@ -52,7 +52,7 @@ * 注意 * 由于部分解压缩软件在解压上述 `tar` 格式文件时存在问题，建议非命令行用户下载 `zip` 格式文件并解压。`tar` 格式文件建议使用命令 `tar xf xxx.tar` 解压。 - * 速度评测机器的 CPU 具体信息为：`Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz`，速度指标为开启 mkldnn ，线程数设置为 10 测试得到。 + * 速度评测机器的 CPU 具体信息为：`Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz`，速度指标为开启 mkldnn，线程数设置为 10 测试得到。 * 主体检测的预处理过程较为耗时，平均每张图在上述机器上的时间在 40~55 ms 左右，没有包含在上述的预测耗时统计中。 @@ -91,7 +91,7 @@ PP-YOLO 由 [PaddleDetection](https://github.com/PaddlePaddle/PaddleDetection) 更多关于 PP-YOLO 的详细介绍可以参考：[PP-YOLO 模型](https://github.com/PaddlePaddle/PaddleDetection/blob/release%2F2.1/configs/ppyolo/README_cn.md)。 -在服务端主体检测任务中，为了保证检测效果，我们使用 ResNet50vd-DCN 作为检测模型的骨干网络，使用配置文件 [ppyolov2_r50vd_dcn_365e_coco.yml](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.1/configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml) ，更换为自定义的主体检测数据集，进行训练，最终得到检测模型。 +在服务端主体检测任务中，为了保证检测效果，我们使用 ResNet50vd-DCN 作为检测模型的骨干网络，使用配置文件 [ppyolov2_r50vd_dcn_365e_coco.yml](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.1/configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml)，更换为自定义的主体检测数据集，进行训练，最终得到检测模型。 @@ -152,7 +152,7 @@ ppyolov2_r50vd_dcn.yml：主要说明模型和主干网络的情况 ppyolov2_reader.yml：主要说明数据读取器配置，如 batch size，并发加载子进程数等，同时包含读取后预处理操作，如 resize、数据增强等等 ``` -在主体检测任务中，需要将 `datasets/coco_detection.yml` 中的 `num_classes` 参数修改为 1 （只有 1 个前景类别），同时将训练集和测试集的路径修改为自定义数据集的路径。 +在主体检测任务中，需要将 `datasets/coco_detection.yml` 中的 `num_classes` 参数修改为 1（只有 1 个前景类别），同时将训练集和测试集的路径修改为自定义数据集的路径。 此外，也可以根据实际情况，修改上述文件，比如，如果显存溢出，可以将 batch size 和学习率等比缩小等。 @@ -211,7 +211,7 @@ export CUDA_VISIBLE_DEVICES=0 python tools/infer.py -c configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml --infer_img=your_image_path.jpg --output_dir=infer_output/ --draw_threshold=0.5 -o weights=output/ppyolov2_r50vd_dcn_365e_coco/model_final ``` -`--draw_threshold` 是个可选参数. 根据 [NMS](https://ieeexplore.ieee.org/document/1699659) 的计算，不同阈值会产生不同的结果 `keep_top_k` 表示设置输出目标的最大数量，默认值为 100 ，用户可以根据自己的实际情况进行设定。 +`--draw_threshold` 是个可选参数. 根据 [NMS](https://ieeexplore.ieee.org/document/1699659) 的计算，不同阈值会产生不同的结果 `keep_top_k` 表示设置输出目标的最大数量，默认值为 100，用户可以根据自己的实际情况进行设定。 @@ -229,12 +229,12 @@ python tools/export_model.py -c configs/ppyolo/ppyolov2_r50vd_dcn_365e_coco.yml 更多模型导出教程，请参考： [EXPORT_MODEL](https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.1/deploy/EXPORT_MODEL.md) -最终，目录 `inference/ppyolov2_r50vd_dcn_365e_coco` 中包含 `inference.pdiparams`, `inference.pdiparams.info` 以及 `inference.pdmodel` 文件，其中 `inference.pdiparams` 为保存的 inference 模型权重文件， `inference.pdmodel` 为保存的 inference 模型结构文件。 +最终，目录 `inference/ppyolov2_r50vd_dcn_365e_coco` 中包含 `inference.pdiparams`, `inference.pdiparams.info` 以及 `inference.pdmodel` 文件，其中 `inference.pdiparams` 为保存的 inference 模型权重文件，`inference.pdmodel` 为保存的 inference 模型结构文件。 导出模型之后，在主体检测与识别任务中，就可以将检测模型的路径更改为该 inference 模型路径，完成预测。 -以商品识别为例，其配置文件为 [inference_product.yaml](../../../deploy/configs/inference_product.yaml) ，修改其中的 `Global.det_inference_model_dir` 字段为导出的主体检测 inference 模型目录，参考[图像识别快速开始教程](../quick_start/quick_start_recognition.md) ，即可完成商品检测与识别过程。 +以商品识别为例，其配置文件为 [inference_product.yaml](../../../deploy/configs/inference_product.yaml)，修改其中的 `Global.det_inference_model_dir` 字段为导出的主体检测 inference 模型目录，参考[图像识别快速开始教程](../quick_start/quick_start_recognition.md)，即可完成商品检测与识别过程。 ### FAQ diff --git a/docs/zh_CN/image_recognition_pipeline/vector_search.md b/docs/zh_CN/image_recognition_pipeline/vector_search.md index a020c16771c6d493cd249e4935056edef44b7d88..0dc8b8b0bc541412b3e775eae55972939b9e989c 100644 --- a/docs/zh_CN/image_recognition_pipeline/vector_search.md +++ b/docs/zh_CN/image_recognition_pipeline/vector_search.md @@ -34,7 +34,7 @@ ## 1. 检索库安装 -`Faiss`具体安装方法如下： +`Faiss` 具体安装方法如下： ```python pip install faiss-cpu==1.7.1post2 diff --git a/docs/zh_CN/inference_deployment/cpp_deploy.md b/docs/zh_CN/inference_deployment/cpp_deploy.md index d9260843550bc8483ba01dc0a966b5c7b7fe7ace..1b26557aabf4180d15e7a3c7ad783332e6aa0e49 100644 --- a/docs/zh_CN/inference_deployment/cpp_deploy.md +++ b/docs/zh_CN/inference_deployment/cpp_deploy.md @@ -167,7 +167,7 @@ tar -xf paddle_inference.tgz sh tools/build_demo.sh ``` -具体地，`tools/build_demo.sh`中内容如下： +具体地，`tools/build_demo.sh` 中内容如下： ```shell OpenCV_DIR=path/to/opencv @@ -224,7 +224,7 @@ make -j sh tools/build_lib.sh ``` -具体地，`tools/build_lib.sh`中内容如下： +具体地，`tools/build_lib.sh` 中内容如下： ```shell OpenCV_DIR=path/to/opencv @@ -281,7 +281,7 @@ inference/ * resize_short_size：预处理时图像缩放大小； * crop_size：预处理时图像裁剪后的大小。 -然后修改`tools/run.sh`： +然后修改 `tools/run.sh`： * `./build/clas_system ./tools/config.txt ./docs/imgs/ILSVRC2012_val_00000666.JPEG` * 上述命令中分别为：编译得到的可执行文件 `clas_system`；运行时的配置文件 `config.txt`；待预测的图像。 diff --git a/docs/zh_CN/inference_deployment/cpp_deploy_on_windows.md b/docs/zh_CN/inference_deployment/cpp_deploy_on_windows.md index 22458c51b18dc87e9b01412d663f1ec8dfa652d4..6dca4b0a8f8c56c1b14031c5c1d00a81cd11c1cb 100755 --- a/docs/zh_CN/inference_deployment/cpp_deploy_on_windows.md +++ b/docs/zh_CN/inference_deployment/cpp_deploy_on_windows.md @@ -16,7 +16,7 @@ PaddleClas 在 Windows 平台下基于 `Visual Studio 2019 Community` 进行了 ## 1. 前置条件 * Visual Studio 2019 -* CUDA 9.0 / CUDA 10.0，cudnn 7.6+ （仅在使用 GPU 版本的预测库时需要） +* CUDA 9.0 / CUDA 10.0，cudnn 7.6+（仅在使用 GPU 版本的预测库时需要） * CMake 3.0+ 请确保系统已经正确安装并配置好上述基本软件，其中： @@ -49,7 +49,7 @@ paddle_inference_install_dir ### 1.2 安装配置 OpenCV -1. 在 OpenCV 官网下载适用于 Windows 平台的 3.4.6 版本，[下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download) ； +1. 在 OpenCV 官网下载适用于 Windows 平台的 3.4.6 版本，[下载地址](https://sourceforge.net/projects/opencvlibrary/files/3.4.6/opencv-3.4.6-vc14_vc15.exe/download)； 2. 运行下载的可执行文件，将 OpenCV 解压至指定目录，如 `D:\projects\opencv`； 3. 配置环境变量，如下流程所示： * 此电脑（我的电脑）-> 属性 -> 高级系统设置 -> 环境变量； @@ -67,7 +67,7 @@ paddle_inference_install_dir ![step2.1](../../images/inference_deployment/vs2019_step2.png) -选择项目代码所在路径，并打开`CMakeList.txt`： +选择项目代码所在路径，并打开 `CMakeList.txt`： ![step2.2](../../images/inference_deployment/vs2019_step3.png) @@ -97,9 +97,9 @@ paddle_inference_install_dir * `CMAKE_BACKWARDS_COMPATIBILITY` 的值请根据自己 `cmake` 版本设置，`cmake` 版本可以通过命令：`cmake --version` 查询； * `CUDA_LIB` 、 `CUDNN_LIB` 的值仅需在使用 **GPU 版本**预测库时指定，其中 CUDA 库版本尽量对齐，**使用 9.0、10.0 版本，不使用 9.2、10.1 等版本 CUDA 库**； * 在设置 `CUDA_LIB`、`CUDNN_LIB`、`OPENCV_DIR`、`PADDLE_LIB` 时，点击 `浏览`，分别设置相应的路径； - * `CUDA_LIB`和`CUDNN_LIB`：该路径取决于 CUDA 与 CUDNN 的安装位置。 - * `OpenCV_DIR`：该路径下需要有`.cmake`文件，一般为`opencv/build/`； - * `PADDLE_LIB`：该路径下需要有`CMakeCache.txt`文件，一般为`paddle_inference_install_dir/`。 + * `CUDA_LIB` 和 `CUDNN_LIB`：该路径取决于 CUDA 与 CUDNN 的安装位置。 + * `OpenCV_DIR`：该路径下需要有`.cmake` 文件，一般为 `opencv/build/`； + * `PADDLE_LIB`：该路径下需要有 `CMakeCache.txt` 文件，一般为 `paddle_inference_install_dir/`。 * 在使用 `CPU` 版预测库时，请不要勾选 `WITH_GPU` - `保存到 JSON`。 ![step4](../../images/inference_deployment/vs2019_step5.png) diff --git a/docs/zh_CN/inference_deployment/paddle_hub_serving_deploy.md b/docs/zh_CN/inference_deployment/paddle_hub_serving_deploy.md index db583bebf9c126a8bfc08594295846d2d7108351..6ad4e239e76ae7fc29f69c7175eae06c50c21c93 100644 --- a/docs/zh_CN/inference_deployment/paddle_hub_serving_deploy.md +++ b/docs/zh_CN/inference_deployment/paddle_hub_serving_deploy.md @@ -54,7 +54,7 @@ pip3 install paddlehub==2.1.0 --upgrade -i https://pypi.tuna.tsinghua.edu.cn/sim "inference_model_dir": "../inference/" ``` 需要注意， - * 模型文件（包括 `.pdmodel` 与 `.pdiparams`）名称必须为`inference`。 + * 模型文件（包括 `.pdmodel` 与 `.pdiparams`）名称必须为 `inference`。 * 我们也提供了大量基于 ImageNet-1k 数据集的预训练模型，模型列表及下载地址详见[模型库概览](../models/models_intro.md)，也可以使用自己训练转换好的模型。 @@ -101,7 +101,7 @@ $ hub serving start --modules Module1==Version1 \ |--modules/-m| [**必选**] PaddleHub Serving 预安装模型，以多个 Module==Version 键值对的形式列出
*`当不指定 Version 时，默认选择最新版本`*| |--port/-p| [**可选**] 服务端口，默认为 8866| |--use_multiprocess| [**可选**] 是否启用并发方式，默认为单进程方式，推荐多核 CPU 机器使用此方式
*`Windows 操作系统只支持单进程方式`*| -|--workers| [**可选**] 在并发方式下指定的并发任务数，默认为`2*cpu_count-1`，其中`cpu_count`为 CPU 核数| +|--workers| [**可选**] 在并发方式下指定的并发任务数，默认为 `2*cpu_count-1`，其中 `cpu_count` 为 CPU 核数| 如按默认参数启动服务：```hub serving start -m clas_system``` @@ -115,7 +115,7 @@ $ hub serving start --modules Module1==Version1 \ ```hub serving start -c config.json``` -其中，`config.json`格式如下： +其中，`config.json` 格式如下： ```json { @@ -137,14 +137,14 @@ $ hub serving start --modules Module1==Version1 \ ``` **参数说明**： -* `init_args`中的可配参数与`module.py`中的`_initialize`函数接口一致。其中， - - 当`use_gpu`为`true`时，表示使用 GPU 启动服务。 - - 当`enable_mkldnn`为`true`时，表示使用 MKL-DNN 加速。 -* `predict_args`中的可配参数与`module.py`中的`predict`函数接口一致。 +* `init_args` 中的可配参数与 `module.py` 中的 `_initialize` 函数接口一致。其中， + - 当 `use_gpu` 为 `true` 时，表示使用 GPU 启动服务。 + - 当 `enable_mkldnn` 为 `true` 时，表示使用 MKL-DNN 加速。 +* `predict_args` 中的可配参数与 `module.py` 中的 `predict` 函数接口一致。 **注意**： * 使用配置文件启动服务时，将使用配置文件中的参数设置，其他命令行参数将被忽略； -* 如果使用 GPU 预测(即，`use_gpu`置为`true`)，则需要在启动服务之前，设置 `CUDA_VISIBLE_DEVICES` 环境变量来指定所使用的 GPU 卡号，如：`export CUDA_VISIBLE_DEVICES=0`； +* 如果使用 GPU 预测(即，`use_gpu` 置为 `true`)，则需要在启动服务之前，设置 `CUDA_VISIBLE_DEVICES` 环境变量来指定所使用的 GPU 卡号，如：`export CUDA_VISIBLE_DEVICES=0`； * **`use_gpu` 不可与 `use_multiprocess` 同时为 `true`**； * **`use_gpu` 与 `enable_mkldnn` 同时为 `true` 时，将忽略 `enable_mkldnn`，而使用 GPU**。 @@ -170,13 +170,13 @@ python hubserving/test_hubserving.py server_url image_path * **server_url**：服务地址，格式为 `http://[ip_address]:[port]/predict/[module_name]` * **image_path**：测试图像路径，可以是单张图片路径，也可以是图像集合目录路径。 -* **batch_size**：[**可选**] 以`batch_size`大小为单位进行预测，默认为`1`。 -* **resize_short**：[**可选**] 预处理时，按短边调整大小，默认为`256`。 -* **crop_size**：[**可选**] 预处理时，居中裁剪的大小，默认为`224`。 -* **normalize**：[**可选**] 预处理时，是否进行`normalize`，默认为`True`。 -* **to_chw**：[**可选**] 预处理时，是否调整为`CHW`顺序，默认为`True`。 +* **batch_size**：[**可选**] 以 `batch_size` 大小为单位进行预测，默认为 `1`。 +* **resize_short**：[**可选**] 预处理时，按短边调整大小，默认为 `256`。 +* **crop_size**：[**可选**] 预处理时，居中裁剪的大小，默认为 `224`。 +* **normalize**：[**可选**] 预处理时，是否进行 `normalize`，默认为 `True`。 +* **to_chw**：[**可选**] 预处理时，是否调整为 `CHW` 顺序，默认为 `True`。 -**注意**：如果使用`Transformer`系列模型，如`DeiT_***_384`, `ViT_***_384`等，请注意模型的输入数据尺寸，需要指定`--resize_short=384 --crop_size=384`。 +**注意**：如果使用 `Transformer` 系列模型，如 `DeiT_***_384`, `ViT_***_384` 等，请注意模型的输入数据尺寸，需要指定`--resize_short=384 --crop_size=384`。 访问示例： @@ -203,7 +203,7 @@ list: 返回结果 1. 停止服务 ```hub serving stop --port/-p XXXX``` -2. 到相应的`module.py`和`params.py`等文件中根据实际需求修改代码。`module.py`修改后需要重新安装（`hub install hubserving/clas/`）并部署。在进行部署前，可通过`python hubserving/clas/module.py`测试已安装服务模块。 +2. 到相应的 `module.py` 和 `params.py` 等文件中根据实际需求修改代码。`module.py` 修改后需要重新安装（`hub install hubserving/clas/`）并部署。在进行部署前，可通过 `python hubserving/clas/module.py` 测试已安装服务模块。 3. 卸载旧服务包 ```hub uninstall clas_system``` @@ -220,7 +220,7 @@ list: 返回结果 ```python "inference_model_dir": ``` - * 更改后处理时返回的`top-k`结果数量： + * 更改后处理时返回的 `top-k` 结果数量： ```python 'topk': ``` @@ -229,4 +229,4 @@ list: 返回结果 'class_id_map_file': ``` -为了避免不必要的延时以及能够以 batch_size 进行预测，数据预处理逻辑（包括 `resize`、`crop` 等操作）均在客户端完成，因此需要在 `PaddleClas/deploy/hubserving/test_hubserving.py#L35-L52`中修改。 +为了避免不必要的延时以及能够以 batch_size 进行预测，数据预处理逻辑（包括 `resize`、`crop` 等操作）均在客户端完成，因此需要在 `PaddleClas/deploy/hubserving/test_hubserving.py#L35-L52` 中修改。 diff --git a/docs/zh_CN/inference_deployment/paddle_lite_deploy.md b/docs/zh_CN/inference_deployment/paddle_lite_deploy.md index 7cfae540a2086176be01ca5ff663309553ddb136..8c147f100b7efe785223b43cf951ae437b09c91c 100644 --- a/docs/zh_CN/inference_deployment/paddle_lite_deploy.md +++ b/docs/zh_CN/inference_deployment/paddle_lite_deploy.md @@ -58,9 +58,9 @@ cd Paddle-Lite git checkout develop ./lite/tools/build_android.sh --arch=armv8 --with_cv=ON --with_extra=ON ``` -**注意**：编译 Paddle-Lite 获得预测库时，需要打开`--with_cv=ON --with_extra=ON`两个选项，`--arch`表示`arm`版本，这里指定为 armv8，更多编译命令介绍请参考[Linux x86 环境下编译适用于 Android 的库](https://paddle-lite.readthedocs.io/zh/latest/source_compile/linux_x86_compile_android.html)，关于其他平台的编译操作，具体请参考[PaddleLite](https://paddle-lite.readthedocs.io/zh/latest/)中`源码编译`部分。 +**注意**：编译 Paddle-Lite 获得预测库时，需要打开`--with_cv=ON --with_extra=ON` 两个选项，`--arch` 表示 `arm` 版本，这里指定为 armv8，更多编译命令介绍请参考[Linux x86 环境下编译适用于 Android 的库](https://paddle-lite.readthedocs.io/zh/latest/source_compile/linux_x86_compile_android.html)，关于其他平台的编译操作，具体请参考[PaddleLite](https://paddle-lite.readthedocs.io/zh/latest/)中`源码编译`部分。 -直接下载预测库并解压后，可以得到`inference_lite_lib.android.armv8/`文件夹，通过编译 Paddle-Lite 得到的预测库位于`Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/`文件夹下。 +直接下载预测库并解压后，可以得到 `inference_lite_lib.android.armv8/`文件夹，通过编译 Paddle-Lite 得到的预测库位于 `Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/`文件夹下。 预测库的文件目录如下： ``` diff --git a/docs/zh_CN/inference_deployment/paddle_serving_deploy.md b/docs/zh_CN/inference_deployment/paddle_serving_deploy.md index 84c3beb8b4a396d3017e46d2b04e404831df39e3..9e2e33186ce4492100c239ba49227fd671942fd5 100644 --- a/docs/zh_CN/inference_deployment/paddle_serving_deploy.md +++ b/docs/zh_CN/inference_deployment/paddle_serving_deploy.md @@ -80,7 +80,7 @@ ResNet50_vd 推理模型转换完成后，会在当前文件夹多出 `ResNet50_ |- serving_client_conf.prototxt |- serving_client_conf.stream.prototxt ``` -得到模型文件之后，需要修改 serving_server_conf.prototxt 中的 alias 名字： 将`feed_var`中的`alias_name`改为`image`, 将`fetch_var`中的`alias_name`改为`prediction` +得到模型文件之后，需要修改 serving_server_conf.prototxt 中的 alias 名字： 将 `feed_var` 中的 `alias_name` 改为 `image`, 将 `fetch_var` 中的 `alias_name` 改为 `prediction` **备注**: Serving 为了兼容不同模型的部署，提供了输入输出重命名的功能。这样，不同的模型在推理部署时，只需要修改配置文件的 alias_name 即可，无需修改代码即可完成推理部署。 修改后的 serving_server_conf.prototxt 如下所示: @@ -154,7 +154,7 @@ python3 -m paddle_serving_client.convert --dirname ./general_PPLCNet_x2_5_lite_v --serving_server ./general_PPLCNet_x2_5_lite_v1.0_serving/ \ --serving_client ./general_PPLCNet_x2_5_lite_v1.0_client/ ``` -识别推理模型转换完成后，会在当前文件夹多出`general_PPLCNet_x2_5_lite_v1.0_serving/` 和`general_PPLCNet_x2_5_lite_v1.0_serving/`的文件夹。修改`general_PPLCNet_x2_5_lite_v1.0_serving/`目录下的 serving_server_conf.prototxt 中的 alias 名字： 将`fetch_var`中的`alias_name`改为`features`。 +识别推理模型转换完成后，会在当前文件夹多出 `general_PPLCNet_x2_5_lite_v1.0_serving/` 和 `general_PPLCNet_x2_5_lite_v1.0_serving/` 的文件夹。修改 `general_PPLCNet_x2_5_lite_v1.0_serving/` 目录下的 serving_server_conf.prototxt 中的 alias 名字： 将 `fetch_var` 中的 `alias_name` 改为 `features`。 修改后的 serving_server_conf.prototxt 内容如下： ``` feed_var { @@ -183,9 +183,9 @@ python3 -m paddle_serving_client.convert --dirname ./picodet_PPLCNet_x2_5_mainbo --serving_server ./picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/ \ --serving_client ./picodet_PPLCNet_x2_5_mainbody_lite_v1.0_client/ ``` -检测 inference 模型转换完成后，会在当前文件夹多出`picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/` 和`picodet_PPLCNet_x2_5_mainbody_lite_v1.0_client/`的文件夹。 +检测 inference 模型转换完成后，会在当前文件夹多出 `picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/` 和 `picodet_PPLCNet_x2_5_mainbody_lite_v1.0_client/` 的文件夹。 -**注意:** 此处不需要修改`picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/`目录下的 serving_server_conf.prototxt 中的 alias 名字。 +**注意:** 此处不需要修改 `picodet_PPLCNet_x2_5_mainbody_lite_v1.0_serving/` 目录下的 serving_server_conf.prototxt 中的 alias 名字。 - 下载并解压已经构建后的检索库 index ``` diff --git a/docs/zh_CN/inference_deployment/python_deploy.md b/docs/zh_CN/inference_deployment/python_deploy.md index 1997bd4964a496a532ae421ceec87483f9cbe77c..39843df12d17265fc586b160003e3361edb8a14a 100644 --- a/docs/zh_CN/inference_deployment/python_deploy.md +++ b/docs/zh_CN/inference_deployment/python_deploy.md @@ -32,7 +32,7 @@ python python/predict_cls.py -c configs/inference_cls.yaml * `Global.use_tensorrt`：是否使用 TesorRT 预测引擎，默认为 `False`； * `Global.use_gpu`：是否使用 GPU 预测，默认为 `True`； * `Global.enable_mkldnn`：是否启用 `MKL-DNN` 加速库，默认为 `False`。注意 `enable_mkldnn` 与 `use_gpu` 同时为 `True` 时，将忽略 `enable_mkldnn`，而使用 GPU 预测； -* `Global.use_fp16`：是否启用 `FP16` ，默认为 `False`； +* `Global.use_fp16`：是否启用 `FP16`，默认为 `False`； * `PreProcess`：用于数据预处理配置； * `PostProcess`：由于后处理配置； * `PostProcess.Topk.class_id_map_file`：数据集 label 的映射文件，默认为 `./utils/imagenet1k_label_list.txt`，该文件为 PaddleClas 所使用的 ImageNet 数据集 label 映射文件。 diff --git a/docs/zh_CN/inference_deployment/whl_deploy.md b/docs/zh_CN/inference_deployment/whl_deploy.md index f29cffa7747a180fa2158cc897ca770d2d9a125d..09f5314df12ceb51c332a487e6f66c5a3cdf01ff 100644 --- a/docs/zh_CN/inference_deployment/whl_deploy.md +++ b/docs/zh_CN/inference_deployment/whl_deploy.md @@ -15,7 +15,7 @@ PaddleClas 支持 Python Whl 包方式进行预测，目前 Whl 包方式仅支 - [4.3 使用本地模型文件预测](#4.3) - [4.4 批量预测](#4.4) - [4.5 对网络图片进行预测](#4.5) - - [4.6 对`NumPy.ndarray`格式数据进行预测](#4.6) + - [4.6 对 `NumPy.ndarray` 格式数据进行预测](#4.6) - [4.7 保存预测结果](#4.7) - [4.8 指定 label name](#4.8) @@ -38,7 +38,7 @@ pip3 install dist/* ## 2. 快速开始 -* 使用`ResNet50`模型，以下图（`PaddleClas/docs/images/inference_deployment/whl_demo.jpg`）为例进行说明。 +* 使用 `ResNet50` 模型，以下图（`PaddleClas/docs/images/inference_deployment/whl_demo.jpg`）为例进行说明。
@@ -90,7 +90,7 @@ Predict complete! * class_id_map_file(str): `class id` 与 `label` 的映射关系文件。默认使用 `ImageNet1K` 数据集的映射关系。 * save_dir(str): 将预测结果作为预标注数据保存的路径，默认为 `None`，即不保存。 -**注意**: 如果使用`Transformer`系列模型，如`DeiT_***_384`, `ViT_***_384`等，请注意模型的输入数据尺寸，需要设置参数`resize_short=384`, `crop_size=384`，如下所示。 +**注意**: 如果使用 `Transformer` 系列模型，如 `DeiT_***_384`, `ViT_***_384` 等，请注意模型的输入数据尺寸，需要设置参数 `resize_short=384`, `crop_size=384`，如下所示。 * 命令行中 ```bash @@ -121,7 +121,7 @@ paddleclas -h ### 4.2 使用 PaddleClas 提供的预训练模型进行预测 -可以使用 PaddleClas 提供的预训练模型来预测，并通过参数`model_name`指定。此时 PaddleClas 会根据`model_name`自动下载指定模型，并保存在目录`~/.paddleclas/`下。 +可以使用 PaddleClas 提供的预训练模型来预测，并通过参数 `model_name` 指定。此时 PaddleClas 会根据 `model_name` 自动下载指定模型，并保存在目录`~/.paddleclas/`下。 * Python ```python @@ -139,7 +139,7 @@ paddleclas --model_name='ResNet50' --infer_imgs='docs/images/inference_deploymen ### 4.3 使用本地模型文件预测 -可以使用本地的模型文件进行预测，通过参数`inference_model_dir`指定模型文件目录即可。需要注意，模型文件目录下必须包含`inference.pdmodel`和`inference.pdiparams`两个文件。 +可以使用本地的模型文件进行预测，通过参数 `inference_model_dir` 指定模型文件目录即可。需要注意，模型文件目录下必须包含 `inference.pdmodel` 和 `inference.pdiparams` 两个文件。 * Python ```python @@ -176,7 +176,7 @@ paddleclas --model_name='ResNet50' --infer_imgs='docs/images/' --batch_size 2 ### 4.5 对网络图片进行预测 -可以对网络图片进行预测，只需通过参数`infer_imgs`指定图片`url`。此时图片会下载并保存在`~/.paddleclas/images/`目录下。 +可以对网络图片进行预测，只需通过参数 `infer_imgs` 指定图片 `url`。此时图片会下载并保存在`~/.paddleclas/images/`目录下。 * Python ```python @@ -193,8 +193,8 @@ paddleclas --model_name='ResNet50' --infer_imgs='https://raw.githubusercontent.c ``` -### 4.6 对`NumPy.ndarray`格式数据进行预测 -在 Python 中，可以对`Numpy.ndarray`格式的图像数据进行预测，只需通过参数`infer_imgs`指定即可。注意该图像数据必须为三通道图像数据。 +### 4.6 对 `NumPy.ndarray` 格式数据进行预测 +在 Python 中，可以对 `Numpy.ndarray` 格式的图像数据进行预测，只需通过参数 `infer_imgs` 指定即可。注意该图像数据必须为三通道图像数据。 * python ```python @@ -208,7 +208,7 @@ print(next(result)) ### 4.7 保存预测结果 -可以指定参数`pre_label_out_dir='./output_pre_label/'`，将图片按其 top1 预测结果保存到`pre_label_out_dir`目录下对应类别的文件夹中。 +可以指定参数 `pre_label_out_dir='./output_pre_label/'`，将图片按其 top1 预测结果保存到 `pre_label_out_dir` 目录下对应类别的文件夹中。 * python ```python @@ -226,9 +226,9 @@ paddleclas --model_name='ResNet50' --infer_imgs='docs/images/whl/' --save_dir='. ### 4.8 指定 label name -可以通过参数`class_id_map_file`指定`class id`与`lable`的对应关系。PaddleClas 默认使用 ImageNet1K 的 label_name（`ppcls/utils/imagenet1k_label_list.txt`）。 +可以通过参数 `class_id_map_file` 指定 `class id` 与 `lable` 的对应关系。PaddleClas 默认使用 ImageNet1K 的 label_name（`ppcls/utils/imagenet1k_label_list.txt`）。 -`class_id_map_file`文件内容格式应为： +`class_id_map_file` 文件内容格式应为： ``` class_idclass_name<\n> diff --git a/docs/zh_CN/installation/install_paddle.md b/docs/zh_CN/installation/install_paddle.md index b6ce085e19940c01a66347492a6f13a236496797..0013ae8f6798511d31792da6ccb843cad588c0c6 100644 --- a/docs/zh_CN/installation/install_paddle.md +++ b/docs/zh_CN/installation/install_paddle.md @@ -8,7 +8,7 @@ - [3. 通过 pip 安装 PaddlePaddle](#3) - [4. 验证安装](#4) -目前， **PaddleClas** 要求 **PaddlePaddle** 版本 `>=2.0`。建议使用我们提供的 Docker 运行 PaddleClas，有关 Docker、nvidia-docker 的相关使用教程可以参考[链接](https://www.runoob.com/Docker/Docker-tutorial.html)。如果不使用 Docker，可以直接跳过 [2.（建议）使用 Docker 环境](#2) 部分内容，从 [3. 通过 pip 安装 PaddlePaddle](#3) 部分开始。 +目前，**PaddleClas** 要求 **PaddlePaddle** 版本 `>=2.0`。建议使用我们提供的 Docker 运行 PaddleClas，有关 Docker、nvidia-docker 的相关使用教程可以参考[链接](https://www.runoob.com/Docker/Docker-tutorial.html)。如果不使用 Docker，可以直接跳过 [2.（建议）使用 Docker 环境](#2) 部分内容，从 [3. 通过 pip 安装 PaddlePaddle](#3) 部分开始。 @@ -16,9 +16,9 @@ **版本要求**： - python 3.x -- CUDA >= 10.1 (如果使用 `paddlepaddle-gpu`) -- cuDNN >= 7.6.4 (如果使用 `paddlepaddle-gpu`) -- nccl >= 2.1.2 (如果使用分布式训练/评估) +- CUDA >= 10.1（如果使用 `paddlepaddle-gpu`） +- cuDNN >= 7.6.4（如果使用 `paddlepaddle-gpu`） +- nccl >= 2.1.2（如果使用分布式训练/评估） - gcc >= 8.2 **建议**： diff --git a/docs/zh_CN/introduction/function_intro.md b/docs/zh_CN/introduction/function_intro.md index 8df08cc82cbf96abcecb0e3b7ef26e6b3dcf02cd..3e1bfd6a9d3050cddb589a864149762b494a7537 100644 --- a/docs/zh_CN/introduction/function_intro.md +++ b/docs/zh_CN/introduction/function_intro.md @@ -8,9 +8,9 @@ - 丰富的预训练模型库：提供了 36 个系列共 175 个 ImageNet 预训练模型，其中 7 个精选系列模型支持结构快速修改。 -- 全面易用的特征学习组件：集成 arcmargin , triplet loss 等 12 度量学习方法，通过配置文件即可随意组合切换。 +- 全面易用的特征学习组件：集成 arcmargin, triplet loss 等 12 度量学习方法，通过配置文件即可随意组合切换。 -- SSLD 知识蒸馏： 14 个分类预训练模型，精度普遍提升 3% 以上；其中 ResNet50_vd 模型在 ImageNet-1k 数据集上的 Top-1 精度达到了 84.0% ， Res2Net200_vd 预训练模型 Top-1 精度高达 85.1% 。 +- SSLD 知识蒸馏： 14 个分类预训练模型，精度普遍提升 3% 以上；其中 ResNet50_vd 模型在 ImageNet-1k 数据集上的 Top-1 精度达到了 84.0%，Res2Net200_vd 预训练模型 Top-1 精度高达 85.1% 。 - 数据增广：支持 AutoAugment 、 Cutout 、 Cutmix 等 8 种数据增广算法详细介绍、代码复现和在统一实验环境下的效果评估。 @@ -19,4 +19,4 @@
-更多关于图像识别快速体验、算法详解、模型训练评估与预测部署方法，请参考[首页 README文档教程](../../../README_ch.md)。 +更多关于图像识别快速体验、算法详解、模型训练评估与预测部署方法，请参考[首页 README 文档教程](../../../README_ch.md)。 diff --git a/docs/zh_CN/models/DLA.md b/docs/zh_CN/models/DLA.md index 5ae2da7400ced7e0fcd4e328dee0807de3cf30bd..1ef61b3e4eb1b1dc992abe3548a3f5e78a3ac8ea 100644 --- a/docs/zh_CN/models/DLA.md +++ b/docs/zh_CN/models/DLA.md @@ -1,18 +1,18 @@ -# DLA系列 +# DLA 系列 ---- ## 目录 * [1. 概述](#1) -* [2. 精度、FLOPS和参数量](#2) +* [2. 精度、FLOPS 和参数量](#2) ## 1. 概述 -DLA (Deep Layer Aggregation)。 视觉识别需要丰富的表示形式，其范围从低到高，范围从小到大，分辨率从精细到粗糙。即使卷积网络中的要素深度很深，仅靠隔离层还是不够的：将这些表示法进行复合和聚合可改善对内容和位置的推断。尽管已合并了残差连接以组合各层，但是这些连接本身是“浅”的，并且只能通过简单的一步操作来融合。作者通过更深层的聚合来增强标准体系结构，以更好地融合各层的信息。Deep Layer Aggregation 结构迭代地和分层地合并了特征层次结构，以使网络具有更高的准确性和更少的参数。跨体系结构和任务的实验表明，与现有的分支和合并方案相比，Deep Layer Aggregation 可提高识别和分辨率。[论文地址](https://arxiv.org/abs/1707.06484)。 +DLA(Deep Layer Aggregation)。 视觉识别需要丰富的表示形式，其范围从低到高，范围从小到大，分辨率从精细到粗糙。即使卷积网络中的要素深度很深，仅靠隔离层还是不够的：将这些表示法进行复合和聚合可改善对内容和位置的推断。尽管已合并了残差连接以组合各层，但是这些连接本身是“浅”的，并且只能通过简单的一步操作来融合。作者通过更深层的聚合来增强标准体系结构，以更好地融合各层的信息。Deep Layer Aggregation 结构迭代地和分层地合并了特征层次结构，以使网络具有更高的准确性和更少的参数。跨体系结构和任务的实验表明，与现有的分支和合并方案相比，Deep Layer Aggregation 可提高识别和分辨率。[论文地址](https://arxiv.org/abs/1707.06484)。 -## 2. 精度、FLOPS和参数量 +## 2. 精度、FLOPS 和参数量 | Model | Params (M) | FLOPs (G) | Top-1 (%) | Top-5 (%) | |:-----------------:|:----------:|:---------:|:---------:|:---------:| diff --git a/docs/zh_CN/models/ESNet.md b/docs/zh_CN/models/ESNet.md index 3de926fa5c9aa63ef94d1fdaa1d723ba6d2820d4..de604cb83b5b0e7efeedf63d6e45d307fb979fec 100644 --- a/docs/zh_CN/models/ESNet.md +++ b/docs/zh_CN/models/ESNet.md @@ -1,9 +1,9 @@ -# ESNet系列 +# ESNet 系列 --- ## 目录 * [1. 概述](#) -* [2. 精度、FLOPs和参数量](#FLOPs) +* [2. 精度、FLOPs 和参数量](#FLOPs) @@ -13,7 +13,7 @@ ESNet(Enhanced ShuffleNet)是百度自研的一个轻量级网络，该网络在 -## 2.精度、FLOPs和参数量 +## 2.精度、FLOPs 和参数量 | Models | Top1 | Top5 | FLOPs
(M) | Params
(M) | |:--:|:--:|:--:|:--:|:--:| diff --git a/docs/zh_CN/models/EfficientNet_and_ResNeXt101_wsl.md b/docs/zh_CN/models/EfficientNet_and_ResNeXt101_wsl.md index e6015aedf2ec63c5a69b9954190066960beae4ff..5ce43b7d7b833067d8f3273907e16b8b154c7f9f 100644 --- a/docs/zh_CN/models/EfficientNet_and_ResNeXt101_wsl.md +++ b/docs/zh_CN/models/EfficientNet_and_ResNeXt101_wsl.md @@ -1,11 +1,11 @@ -# EfficientNet 与 ResNeXt101_wsl系列 +# EfficientNet 与 ResNeXt101_wsl 系列 ----- ## 目录 * [1. 概述](#1) -* [2. 精度、FLOPS和参数量](#2) -* [3. 基于 V100 GPU的预测速度](#3) -* [4. 基于 T4 GPU的预测速度](#4) +* [2. 精度、FLOPS 和参数量](#2) +* [3. 基于 V100 GPU 的预测速度](#3) +* [4. 基于 T4 GPU 的预测速度](#4) ## 1. 概述 diff --git a/docs/zh_CN/models/HarDNet.md b/docs/zh_CN/models/HarDNet.md index bbdf458e0cdd06f7e3d5dcb9682802ec792e7abf..01f6f374cbaab69c374bc308f66b29ca0f6a67d3 100644 --- a/docs/zh_CN/models/HarDNet.md +++ b/docs/zh_CN/models/HarDNet.md @@ -1,4 +1,4 @@ -# HarDNet系列 +# HarDNet 系列 --- ## 目录 diff --git a/docs/zh_CN/models/MixNet.md b/docs/zh_CN/models/MixNet.md index c44460b7bb81dac7757b543f10b147fe7718e735..ab7878027b387748896ef53f5e8de7edaa4c2aec 100644 --- a/docs/zh_CN/models/MixNet.md +++ b/docs/zh_CN/models/MixNet.md @@ -1,4 +1,4 @@ -# MixNet系列 +# MixNet 系列 --- ## 目录 @@ -9,16 +9,16 @@ ## 1. 概述 -MixNet是谷歌出的一篇关于轻量级网络的文章，主要工作就在于探索不同大小的卷积核的组合。作者发现目前网络有以下两个问题： +MixNet 是谷歌出的一篇关于轻量级网络的文章，主要工作就在于探索不同大小的卷积核的组合。作者发现目前网络有以下两个问题： - 小的卷积核感受野小，参数少，但是准确率不高 - 大的卷积核感受野大，准确率相对略高，但是参数也相对增加了很多 -为了解决上面两个问题，文中提出一种新的混合深度分离卷积(MDConv)(mixed depthwise convolution)，将不同的核大小混合在一个卷积运算中，并且基于AutoML的搜索空间，提出了一系列的网络叫做MixNets，在ImageNet上取得了较好的效果。[论文地址](https://arxiv.org/pdf/1907.09595.pdf) +为了解决上面两个问题，文中提出一种新的混合深度分离卷积(MDConv)(mixed depthwise convolution)，将不同的核大小混合在一个卷积运算中，并且基于 AutoML 的搜索空间，提出了一系列的网络叫做 MixNets，在 ImageNet 上取得了较好的效果。[论文地址](https://arxiv.org/pdf/1907.09595.pdf) -## 2. 精度、FLOPS和参数量 +## 2. 精度、FLOPS 和参数量 | Models | Top1 | Top5 | Reference
top1| FLOPS
(M) | Params
(M) | |:--:|:--:|:--:|:--:|:--:|----| @@ -26,4 +26,4 @@ MixNet是谷歌出的一篇关于轻量级网络的文章，主要工作就在 | MixNet_M | 77.67 | 93.64 | 77.0 | 357.119 | 5.065 | | MixNet_L | 78.60 | 94.37 | 78.9 | 579.017 | 7.384 | -关于Inference speed等信息，敬请期待。 +关于 Inference speed 等信息，敬请期待。 diff --git a/docs/zh_CN/models/Mobile.md b/docs/zh_CN/models/Mobile.md index 6f8d66a424b5ec1d8ba177e46f420fcca29196c0..7940152467046012ec0892def4f92e0c6f8441a6 100644 --- a/docs/zh_CN/models/Mobile.md +++ b/docs/zh_CN/models/Mobile.md @@ -14,7 +14,7 @@ MobileNetV1 是 Google 于 2017 年发布的用于移动设备或嵌入式设备 MobileNetV2 是 Google 继 MobileNetV1 提出的一种轻量级网络。相比 MobileNetV1，MobileNetV2 提出了 Linear bottlenecks 与 Inverted residual block 作为网络基本结构，通过大量地堆叠这些基本模块，构成了 MobileNetV2 的网络结构。最终，在 FLOPS 只有 MobileNetV1 的一半的情况下取得了更高的分类精度。 -ShuffleNet系列网络是旷视提出的轻量化网络结构，到目前为止，该系列网络一共有两种典型的结构，即 ShuffleNetV1 与 ShuffleNetV2。ShuffleNet 中的 Channel Shuffle 操作可以将组间的信息进行交换，并且可以实现端到端的训练。在 ShuffleNetV2 的论文中，作者提出了设计轻量级网络的四大准则，并且根据四大准则与 ShuffleNetV1 的不足，设计了 ShuffleNetV2 网络。 +ShuffleNet 系列网络是旷视提出的轻量化网络结构，到目前为止，该系列网络一共有两种典型的结构，即 ShuffleNetV1 与 ShuffleNetV2。ShuffleNet 中的 Channel Shuffle 操作可以将组间的信息进行交换，并且可以实现端到端的训练。在 ShuffleNetV2 的论文中，作者提出了设计轻量级网络的四大准则，并且根据四大准则与 ShuffleNetV1 的不足，设计了 ShuffleNetV2 网络。 MobileNetV3 是 Google 于 2019 年提出的一种基于 NAS 的新的轻量级网络，为了进一步提升效果，将 relu 和 sigmoid 激活函数分别替换为 hard_swish 与 hard_sigmoid 激活函数，同时引入了一些专门减小网络计算量的改进策略。 @@ -29,11 +29,11 @@ GhostNet 是华为于 2020 年提出的一种全新的轻量化网络结构， ![](../../images/models/T4_benchmark/t4.fp32.bs4.mobile_trt.params.png) -目前 PaddleClas 开源的的移动端系列的预训练模型一共有 35 个，其指标如图所示。从图片可以看出，越新的轻量级模型往往有更优的表现，MobileNetV3代表了目前主流的轻量级神经网络结构。在 MobileNetV3 中，作者为了获得更高的精度，在 global-avg-pooling 后使用了 1x1 的卷积。该操作大幅提升了参数量但对计算量影响不大，所以如果从存储角度评价模型的优异程度，MobileNetV3优势不是很大，但由于其更小的计算量，使得其有更快的推理速度。此外，我们模型库中的 ssld 蒸馏模型表现优异，从各个考量角度下，都刷新了当前轻量级模型的精度。由于 MobileNetV3 模型结构复杂，分支较多，对 GPU 并不友好，GPU 预测速度不如 MobileNetV1。GhostNet 于 2020 年提出，通过引入 ghost 的网络设计理念，大大降低了计算量和参数量，同时在精度上也超过前期最高的 MobileNetV3 网络结构。 +目前 PaddleClas 开源的的移动端系列的预训练模型一共有 35 个，其指标如图所示。从图片可以看出，越新的轻量级模型往往有更优的表现，MobileNetV3 代表了目前主流的轻量级神经网络结构。在 MobileNetV3 中，作者为了获得更高的精度，在 global-avg-pooling 后使用了 1x1 的卷积。该操作大幅提升了参数量但对计算量影响不大，所以如果从存储角度评价模型的优异程度，MobileNetV3 优势不是很大，但由于其更小的计算量，使得其有更快的推理速度。此外，我们模型库中的 ssld 蒸馏模型表现优异，从各个考量角度下，都刷新了当前轻量级模型的精度。由于 MobileNetV3 模型结构复杂，分支较多，对 GPU 并不友好，GPU 预测速度不如 MobileNetV1。GhostNet 于 2020 年提出，通过引入 ghost 的网络设计理念，大大降低了计算量和参数量，同时在精度上也超过前期最高的 MobileNetV3 网络结构。 -## 2. 精度、FLOPS和参数量 +## 2. 精度、FLOPS 和参数量 | Models | Top1 | Top5 | Reference
top1 | Reference
top5 | FLOPS
(G) | Parameters
(M) | |:--:|:--:|:--:|:--:|:--:|:--:|:--:| diff --git a/docs/zh_CN/models/ReXNet.md b/docs/zh_CN/models/ReXNet.md index 410800203f968da9b810b0b2b5ceef93f5dc2e2d..97ccec85cb8fd52c63c4473817746d2ab7ea9168 100644 --- a/docs/zh_CN/models/ReXNet.md +++ b/docs/zh_CN/models/ReXNet.md @@ -1,4 +1,4 @@ -# ReXNet系列 +# ReXNet 系列 --- ## 目录 @@ -9,7 +9,7 @@ ## 1. 概述 -ReXNet 是 NAVER 集团 ClovaAI 研发中心基于一种网络架构设计新范式而构建的网络。针对现有网络中存在的`Representational Bottleneck`问题，作者提出了一组新的设计原则。作者认为传统的网络架构设计范式会产生表达瓶颈，进而影响模型的性能。为研究此问题，作者研究了上万个随机网络生成特征的 `matric rank`，同时进一步研究了网络层中通道配置方案。基于此，作者提出了一组简单而有效的设计原则，以消除表达瓶颈问题。[论文地址](https://arxiv.org/pdf/2007.00992.pdf) +ReXNet 是 NAVER 集团 ClovaAI 研发中心基于一种网络架构设计新范式而构建的网络。针对现有网络中存在的 `Representational Bottleneck` 问题，作者提出了一组新的设计原则。作者认为传统的网络架构设计范式会产生表达瓶颈，进而影响模型的性能。为研究此问题，作者研究了上万个随机网络生成特征的 `matric rank`，同时进一步研究了网络层中通道配置方案。基于此，作者提出了一组简单而有效的设计原则，以消除表达瓶颈问题。[论文地址](https://arxiv.org/pdf/2007.00992.pdf) diff --git a/docs/zh_CN/models/RedNet.md b/docs/zh_CN/models/RedNet.md index 1b4dfd4625526fc78f5a042588eebde0dc9b3792..8ffb8a1353c8f21be1dfd3e3b081326b2ce5e384 100644 --- a/docs/zh_CN/models/RedNet.md +++ b/docs/zh_CN/models/RedNet.md @@ -1,4 +1,4 @@ -# RedNet系列 +# RedNet 系列 --- ## 目录 diff --git a/docs/zh_CN/models/RepVGG.md b/docs/zh_CN/models/RepVGG.md index 26c3c62f9403c0b9144100fd1d6dea7f79544748..29e2247137df36e9ed51d8497bab12a85f091cb0 100644 --- a/docs/zh_CN/models/RepVGG.md +++ b/docs/zh_CN/models/RepVGG.md @@ -8,7 +8,7 @@ ## 概述 -RepVGG(Making VGG-style ConvNets Great Again)系列模型是由清华大学(丁贵广团队)、旷视科技(孙剑等人)、港科大和阿伯里斯特威斯大学在2021 年提出的一个简单但强大的卷积神经网络架构，该架构具有类似于 VGG 的推理时间主体，该主体仅由 3x3 卷积和ReLU 的堆栈组成，而训练时间模型具有多分支拓扑。训练时间和推理时间架构的这种解耦是通过结构重新参数化(re-parameterization)技术实现的，因此该模型称为RepVGG。[论文地址](https://arxiv.org/abs/2101.03697)。 +RepVGG(Making VGG-style ConvNets Great Again)系列模型是由清华大学(丁贵广团队)、旷视科技(孙剑等人)、港科大和阿伯里斯特威斯大学在 2021 年提出的一个简单但强大的卷积神经网络架构，该架构具有类似于 VGG 的推理时间主体，该主体仅由 3x3 卷积和 ReLU 的堆栈组成，而训练时间模型具有多分支拓扑。训练时间和推理时间架构的这种解耦是通过结构重新参数化(re-parameterization)技术实现的，因此该模型称为 RepVGG。[论文地址](https://arxiv.org/abs/2101.03697)。 ## 2. 精度、FLOPS 和参数量 @@ -26,4 +26,4 @@ RepVGG(Making VGG-style ConvNets Great Again)系列模型是由清华大学(丁 | RepVGG_B2g4 | 0.7881 | 0.9448 | 0.7938 | | | RepVGG_B3g4 | 0.7965 | 0.9485 | 0.8021 | | -关于Params、FLOPs、Inference speed 等信息，敬请期待。 +关于 Params、FLOPs、Inference speed 等信息，敬请期待。 diff --git a/docs/zh_CN/models/ResNet_and_vd.md b/docs/zh_CN/models/ResNet_and_vd.md index c005c609b1ae45de9405c3cde6790c7e8a571848..2edeb3bb1f6f74ff6ee8a03b2a0bcb5aa61bff64 100644 --- a/docs/zh_CN/models/ResNet_and_vd.md +++ b/docs/zh_CN/models/ResNet_and_vd.md @@ -13,7 +13,7 @@ ResNet 系列模型是在 2015 年提出的，一举在 ILSVRC2015 比赛中取得冠军，top5 错误率为 3.57%。该网络创新性的提出了残差结构，通过堆叠多个残差结构从而构建了 ResNet 网络。实验表明使用残差块可以有效地提升收敛速度和精度。 -斯坦福大学的 Joyce Xu 将 ResNet 称为「真正重新定义了我们看待神经网络的方式」的三大架构之一。由于 ResNet 卓越的性能，越来越多的来自学术界和工业界学者和工程师对其结构进行了改进，比较出名的有 Wide-ResNet, ResNet-vc ,ResNet-vd, Res2Net 等，其中 ResNet-vc 与 ResNet-vd 的参数量和计算量与 ResNet 几乎一致，所以在此我们将其与 ResNet 统一归为 ResNet 系列。 +斯坦福大学的 Joyce Xu 将 ResNet 称为「真正重新定义了我们看待神经网络的方式」的三大架构之一。由于 ResNet 卓越的性能，越来越多的来自学术界和工业界学者和工程师对其结构进行了改进，比较出名的有 Wide-ResNet, ResNet-vc,ResNet-vd, Res2Net 等，其中 ResNet-vc 与 ResNet-vd 的参数量和计算量与 ResNet 几乎一致，所以在此我们将其与 ResNet 统一归为 ResNet 系列。 本次发布 ResNet 系列的模型包括 ResNet50，ResNet50_vd，ResNet50_vd_ssld，ResNet200_vd 等 14 个预训练模型。在训练层面上，ResNet 的模型采用了训练 ImageNet 的标准训练流程，而其余改进版模型采用了更多的训练策略，如 learning rate 的下降方式采用了 cosine decay，引入了 label smoothing 的标签正则方式，在数据预处理加入了 mixup 的操作，迭代总轮数从 120 个 epoch 增加到 200 个 epoch。 @@ -56,7 +56,7 @@ ResNet 系列模型是在 2015 年提出的，一举在 ILSVRC2015 比赛中取 | Fix_ResNet50_vd_ssld_v2 | 0.840 | 0.970 | | | 17.696 | 25.580 | | ResNet101_vd_ssld | 0.837 | 0.967 | | | 16.100 | 44.570 | -* 注：`ResNet50_vd_ssld_v2`是在`ResNet50_vd_ssld`训练策略的基础上加上 AutoAugment 训练得到，`Fix_ResNet50_vd_ssld_v2`是固定`ResNet50_vd_ssld_v2`除 FC 层外所有的网络参数，在 320x320 的图像输入分辨率下，基于 ImageNet1k 数据集微调得到。 +* 注：`ResNet50_vd_ssld_v2` 是在 `ResNet50_vd_ssld` 训练策略的基础上加上 AutoAugment 训练得到，`Fix_ResNet50_vd_ssld_v2` 是固定 `ResNet50_vd_ssld_v2` 除 FC 层外所有的网络参数，在 320x320 的图像输入分辨率下，基于 ImageNet1k 数据集微调得到。 diff --git a/docs/zh_CN/models/models_intro.md b/docs/zh_CN/models/models_intro.md index 8fba66cc022c8ca308f6ece585190120ea48c325..0c30be7e4d16ae429507a795ace3fe3ad4f493a8 100644 --- a/docs/zh_CN/models/models_intro.md +++ b/docs/zh_CN/models/models_intro.md @@ -319,7 +319,7 @@ -**注意**：以上模型中 EfficientNetB1-B7 的预训练模型转自[pytorch版 EfficientNet](https://github.com/lukemelas/EfficientNet-PyTorch)，ResNeXt101_wsl 系列预训练模型转自[官方 repo](https://github.com/facebookresearch/WSL-Images)，剩余预训练模型均基于飞桨训练得到的，并在 configs 里给出了相应的训练超参数。 +**注意**：以上模型中 EfficientNetB1-B7 的预训练模型转自[pytorch 版 EfficientNet](https://github.com/lukemelas/EfficientNet-PyTorch)，ResNeXt101_wsl 系列预训练模型转自[官方 repo](https://github.com/facebookresearch/WSL-Images)，剩余预训练模型均基于飞桨训练得到的，并在 configs 里给出了相应的训练超参数。 diff --git a/docs/zh_CN/models_training/classification.md b/docs/zh_CN/models_training/classification.md index 75f816731a3e22745a9a0e107982d1aaac511688..0e3a4f8f0bf924bc79e0ddbaee5a94779c150e51 100644 --- a/docs/zh_CN/models_training/classification.md +++ b/docs/zh_CN/models_training/classification.md @@ -2,7 +2,7 @@ --- 图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。图像分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。 -一般来说，图像分类通过手工特征或特征学习方法对整个图像进行全部描述，然后使用分类器判别物体类别，因此如何提取图像的特征至关重要。在深度学习算法之前使用较多的是基于词袋 (Bag of Words) 模型的物体分类方法。而基于深度学习的图像分类方法，可以通过有监督或无监督的方式学习层次化的特征描述，从而取代了手工设计或选择图像特征的工作。深度学习模型中的卷积神经网络 (Convolution Neural Network, CNN) 近年来在图像领域取得了惊人的成绩，CNN 直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征的提取和高层抽象，模型输出直接是图像识别的结果。这种基于“输入-输出”直接端到端的学习方法取得了非常好的效果，得到了广泛的应用。 +一般来说，图像分类通过手工特征或特征学习方法对整个图像进行全部描述，然后使用分类器判别物体类别，因此如何提取图像的特征至关重要。在深度学习算法之前使用较多的是基于词袋(Bag of Words)模型的物体分类方法。而基于深度学习的图像分类方法，可以通过有监督或无监督的方式学习层次化的特征描述，从而取代了手工设计或选择图像特征的工作。深度学习模型中的卷积神经网络(Convolution Neural Network, CNN)近年来在图像领域取得了惊人的成绩，CNN 直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征的提取和高层抽象，模型输出直接是图像识别的结果。这种基于“输入-输出”直接端到端的学习方法取得了非常好的效果，得到了广泛的应用。 图像分类是计算机视觉里很基础但又重要的一个领域，其研究成果一直影响着计算机视觉甚至深度学习的发展，图像分类有很多子领域，如多标签分类、细粒度分类等，此处只对单标签图像分类做一个简述。 @@ -18,7 +18,7 @@ - [2.2 模型准备](#2.2) - [2.3 模型训练](#2.3) - [2.4 模型评估](#2.4) -- [3. 使用方法介绍](#3) +- [3. 使用方法介绍](#3) - [3.1 基于 CPU /单卡 GPU 上的训练与评估](#3.1) - [3.1.1 模型训练](#3.1.1) - [3.1.2 模型微调](#3.1.2) @@ -39,7 +39,7 @@ ### 1.1 ImageNet-1k -ImageNet 项目是一个大型视觉数据库，用于视觉目标识别软件研究。该项目已手动注释了 1400 多万张图像，以指出图片中的对象，并在至少 100 万张图像中提供了边框。ImageNet-1k 是 ImageNet 数据集的子集，其包含 1000 个类别。训练集包含 1281167 个图像数据，验证集包含 50000 个图像数据。2010 年以来，ImageNet 项目每年举办一次图像分类竞赛，即 ImageNet 大规模视觉识别挑战赛 (ILSVRC)。挑战赛使用的数据集即为 ImageNet-1k。到目前为止，ImageNet-1k 已经成为计算机视觉领域发展的最重要的数据集之一，其促进了整个计算机视觉的发展，很多计算机视觉下游任务的初始化模型都是基于该数据集训练得到的权重。 +ImageNet 项目是一个大型视觉数据库，用于视觉目标识别软件研究。该项目已手动注释了 1400 多万张图像，以指出图片中的对象，并在至少 100 万张图像中提供了边框。ImageNet-1k 是 ImageNet 数据集的子集，其包含 1000 个类别。训练集包含 1281167 个图像数据，验证集包含 50000 个图像数据。2010 年以来，ImageNet 项目每年举办一次图像分类竞赛，即 ImageNet 大规模视觉识别挑战赛(ILSVRC)。挑战赛使用的数据集即为 ImageNet-1k。到目前为止，ImageNet-1k 已经成为计算机视觉领域发展的最重要的数据集之一，其促进了整个计算机视觉的发展，很多计算机视觉下游任务的初始化模型都是基于该数据集训练得到的权重。 ### 1.2 CIFAR-10/CIFAR-100 @@ -54,7 +54,7 @@ CIFAR-10 数据集由 10 个类的 60000 个彩色图像组成，图像分辨率 ### 2.1 数据及其预处理 -数据的质量及数量往往可以决定一个模型的好坏。在图像分类领域，数据包括图像及标签。在大部分情形下，带有标签的数据比较匮乏，所以数量很难达到使模型饱和的程度，为了可以使模型学习更多的图像特征，图像数据在进入模型之前要经过很多图像变换或者数据增强，来保证输入图像数据的多样性，从而保证模型有更好的泛化能力。PaddleClas 提供了训练 ImageNet-1k 的标准图像变换，也提供了多种数据增强的方法，相关代码可以查看[数据处理](../../../ppcls/data/preprocess)，配置文件可以参考[数据增强配置文件](../../../ppcls/configs/ImageNet/DataAugment)， 相关数据增强算法详见[增强介绍文档](../algorithm_introduction/DataAugmentation.md)。 +数据的质量及数量往往可以决定一个模型的好坏。在图像分类领域，数据包括图像及标签。在大部分情形下，带有标签的数据比较匮乏，所以数量很难达到使模型饱和的程度，为了可以使模型学习更多的图像特征，图像数据在进入模型之前要经过很多图像变换或者数据增强，来保证输入图像数据的多样性，从而保证模型有更好的泛化能力。PaddleClas 提供了训练 ImageNet-1k 的标准图像变换，也提供了多种数据增强的方法，相关代码可以查看[数据处理](../../../ppcls/data/preprocess)，配置文件可以参考[数据增强配置文件](../../../ppcls/configs/ImageNet/DataAugment)，相关数据增强算法详见[增强介绍文档](../algorithm_introduction/DataAugmentation.md)。 @@ -311,7 +311,7 @@ python3 tools/export_model.py \ 其中，`Global.pretrained_model` 用于指定模型文件路径，该路径仍无需包含模型文件后缀名（如 [3.1.3 模型恢复训练](#3.1.3)）。 -上述命令将生成模型结构文件(`inference.pdmodel`) 和模型权重文件(`inference.pdiparams`)，然后可以使用预测引擎进行推理： +上述命令将生成模型结构文件(`inference.pdmodel`)和模型权重文件(`inference.pdiparams`)，然后可以使用预测引擎进行推理： 进入 deploy 目录下： diff --git a/docs/zh_CN/models_training/config_description.md b/docs/zh_CN/models_training/config_description.md index 614b76a45db4378b4b447fc73a98836e239c0e11..b8b2969c61681b04d30bfc0f4fb2c5ba07b0cf5b 100644 --- a/docs/zh_CN/models_training/config_description.md +++ b/docs/zh_CN/models_training/config_description.md @@ -261,7 +261,7 @@ batch_transform_ops 中参数的含义： 2.`BackboneStopLayer.name` 的获取方式可以通过将模型可视化后获取，可视化方式可以参考 [Netron](https://github.com/lutzroeder/netron) 或者 [visualdl](https://github.com/PaddlePaddle/VisualDL)。 -3.调用 `tools/export_model.py` 会将模型的权重转为 inference model，其中 `infer_add_softmax` 参数会控制是否在其后增加 `Softmax` 激活函数，代码中默认为 `True`（分类任务中最后的输出层会接`Softmax`激活函数），识别任务中特征层无须接激活函数，此处要设置为 `False`。 +3.调用 `tools/export_model.py` 会将模型的权重转为 inference model，其中 `infer_add_softmax` 参数会控制是否在其后增加 `Softmax` 激活函数，代码中默认为 `True`（分类任务中最后的输出层会接 `Softmax` 激活函数），识别任务中特征层无须接激活函数，此处要设置为 `False`。 #### 3.2 评估指标(Metric) diff --git a/docs/zh_CN/models_training/recognition.md b/docs/zh_CN/models_training/recognition.md index 3c274a980e4f778ebc1779d669cf5da40aca1c32..f833b38893f5d4a4c6897f4f73e03552db1415b5 100644 --- a/docs/zh_CN/models_training/recognition.md +++ b/docs/zh_CN/models_training/recognition.md @@ -169,7 +169,7 @@ python3 -m paddle.distributed.launch tools/train.py \ [Eval][Epoch 1][Avg]recall1: 0.46962, recall5: 0.75608, mAP: 0.21238 ... ``` -此处配置文件的 Backbone 是 MobileNetV1，如果想使用其他 Backbone，可以重写参数 `Arch.Backbone.name`，比如命令中增加 `-o Arch.Backbone.name={其他 Backbone}`。此外，由于不同模型`Neck`部分的输入维度不同，更换 Backbone 后可能需要改写此处的输入大小，改写方式类似替换 Backbone 的名字。 +此处配置文件的 Backbone 是 MobileNetV1，如果想使用其他 Backbone，可以重写参数 `Arch.Backbone.name`，比如命令中增加 `-o Arch.Backbone.name={其他 Backbone}`。此外，由于不同模型 `Neck` 部分的输入维度不同，更换 Backbone 后可能需要改写此处的输入大小，改写方式类似替换 Backbone 的名字。 在训练 Loss 部分，此处使用了 [CELoss](../../../ppcls/loss/celoss.py) 和 [TripletLossV2](../../../ppcls/loss/triplet.py)，配置文件如下： @@ -209,7 +209,7 @@ python3 -m paddle.distributed.launch tools/train.py \ **注意**： -* `-o Global.checkpoints` 参数无需包含断点权重文件的后缀名，上述训练命令会在训练过程中生成如下所示的断点权重文件，若想从断点 `5` 继续训练，则 `Global.checkpoints` 参数只需设置为 `"./output/RecModel/epoch_5"` ，PaddleClas 会自动补充后缀名。 +* `-o Global.checkpoints` 参数无需包含断点权重文件的后缀名，上述训练命令会在训练过程中生成如下所示的断点权重文件，若想从断点 `5` 继续训练，则 `Global.checkpoints` 参数只需设置为 `"./output/RecModel/epoch_5"`，PaddleClas 会自动补充后缀名。 ```shell output/ @@ -311,7 +311,7 @@ pip install faiss-cpu==1.7.1post2 - 度量学习（Metric Learning） -度量学习研究如何在一个特定的任务上学习一个距离函数，使得该距离函数能够帮助基于近邻的算法 (kNN、k-means 等) 取得较好的性能。深度度量学习(Deep Metric Learning)是度量学习的一种方法，它的目标是学习一个从原始特征到低维稠密的向量空间（嵌入空间，embedding space）的映射，使得同类对象在嵌入空间上使用常用的距离函数（欧氏距离、cosine 距离等）计算的距离比较近，而不同类的对象之间的距离则比较远。深度度量学习在计算机视觉领域取得了非常多的成功的应用，比如人脸识别、商品识别、图像检索、行人重识别等。更详细的介绍请参考[此文档](../algorithm_introduction/metric_learning.md)。 +度量学习研究如何在一个特定的任务上学习一个距离函数，使得该距离函数能够帮助基于近邻的算法（kNN、k-means 等）取得较好的性能。深度度量学习(Deep Metric Learning)是度量学习的一种方法，它的目标是学习一个从原始特征到低维稠密的向量空间（嵌入空间，embedding space）的映射，使得同类对象在嵌入空间上使用常用的距离函数（欧氏距离、cosine 距离等）计算的距离比较近，而不同类的对象之间的距离则比较远。深度度量学习在计算机视觉领域取得了非常多的成功的应用，比如人脸识别、商品识别、图像检索、行人重识别等。更详细的介绍请参考[此文档](../algorithm_introduction/metric_learning.md)。 diff --git a/docs/zh_CN/others/VisualDL.md b/docs/zh_CN/others/VisualDL.md index 4c15a132f38c75d261b81cba1ae9ce59656ab31b..ac88d4f412fa593d7ba776259b490fb4da9ba83e 100644 --- a/docs/zh_CN/others/VisualDL.md +++ b/docs/zh_CN/others/VisualDL.md @@ -43,7 +43,7 @@ python3 tools/train.py -c config.yaml visualdl --logdir ./output/vdl/ ``` -上述命令中，参数`--logdir`用于指定保存 VisualDL 日志的目录，VisualDL 将遍历并且迭代寻找指定目录的子目录，将所有实验结果进行可视化。也同样可以使用下述参数设定 VisualDL 服务的 ip 及端口号： +上述命令中，参数`--logdir` 用于指定保存 VisualDL 日志的目录，VisualDL 将遍历并且迭代寻找指定目录的子目录，将所有实验结果进行可视化。也同样可以使用下述参数设定 VisualDL 服务的 ip 及端口号： * `--host`：设定 IP，默认为 127.0.0.1 * `--port`：设定端口，默认为 8040 diff --git a/docs/zh_CN/others/competition_support.md b/docs/zh_CN/others/competition_support.md index 4e7f5647a81a0f73c1245447dd9bdc098c4e9742..f20eba4d8abe5660580ece3eb6d3498401f66ddc 100644 --- a/docs/zh_CN/others/competition_support.md +++ b/docs/zh_CN/others/competition_support.md @@ -1,6 +1,6 @@ ### 赛事支持 -PaddleClas的建设源于百度实际视觉业务应用的淬炼和视觉前沿能力的探索，助力多个视觉重点赛事取得领先成绩，并且持续推进更多的前沿视觉问题的解决和落地应用。 +PaddleClas 的建设源于百度实际视觉业务应用的淬炼和视觉前沿能力的探索，助力多个视觉重点赛事取得领先成绩，并且持续推进更多的前沿视觉问题的解决和落地应用。 * 2018 年 Kaggle Open Images V4 图像目标检测挑战赛冠军 diff --git a/docs/zh_CN/others/feature_visiualization.md b/docs/zh_CN/others/feature_visiualization.md index 7bce94d3245b8dd11a56814f68d0d5dcfa2b5f2a..4406e1afe5d4f52aceb1cb84f67a19204a395ef3 100644 --- a/docs/zh_CN/others/feature_visiualization.md +++ b/docs/zh_CN/others/feature_visiualization.md @@ -72,7 +72,7 @@ python tools/feature_maps_visualization/fm_vis.py \ + `-i`：待预测的图片文件路径，如 `./test.jpeg` + `-c`：特征图维度，如 `5` + `-p`：权重文件路径，如 `./ResNet50_pretrained` -+ `--interpolation`: 图像插值方式， 默认值 1 ++ `--interpolation`: 图像插值方式，默认值 1 + `--save_path`：保存路径，如：`./tools/` + `--use_gpu`：是否使用 GPU 预测，默认值：True @@ -97,6 +97,6 @@ python tools/feature_maps_visualization/fm_vis.py \ --use_gpu=False ``` -* 输出特征图保存为`output.png`，如下所示。 +* 输出特征图保存为 `output.png`，如下所示。 ![](../../images/feature_maps/feature_visualization_output.jpg) diff --git a/docs/zh_CN/others/more_demo.md b/docs/zh_CN/others/more_demo.md index 5971e7e3dd4b6065481725dbf953f46fb021b3ba..14ed1a3dd32c1a9cd0c2d9ded10fa73f21ad974a 100644 --- a/docs/zh_CN/others/more_demo.md +++ b/docs/zh_CN/others/more_demo.md @@ -36,7 +36,7 @@
-- logo识别 +- logo 识别
diff --git a/docs/zh_CN/others/paddle_mobile_inference.md b/docs/zh_CN/others/paddle_mobile_inference.md index c51ed5b819e05ff9a13e372dcf876c931983c713..d1a156b1240c4ec296b99a707396f73467efa600 100644 --- a/docs/zh_CN/others/paddle_mobile_inference.md +++ b/docs/zh_CN/others/paddle_mobile_inference.md @@ -15,7 +15,7 @@ [Paddle-Lite](https://github.com/PaddlePaddle/Paddle-Lite) 是飞桨推出的一套功能完善、易用性强且性能卓越的轻量化推理引擎。 轻量化体现在使用较少比特数用于表示神经网络的权重和激活，能够大大降低模型的体积，解决终端设备存储空间有限的问题，推理性能也整体优于其他框架。 -[PaddleClas](https://github.com/PaddlePaddle/PaddleClas) 使用 Paddle-Lite 进行了[移动端模型的性能评估](../models/Mobile.md)，本部分以`ImageNet1k`数据集的`MobileNetV1`模型为例，介绍怎样使用`Paddle-Lite`，在移动端(基于骁龙855 的安卓开发平台)对进行模型速度评估。 +[PaddleClas](https://github.com/PaddlePaddle/PaddleClas) 使用 Paddle-Lite 进行了[移动端模型的性能评估](../models/Mobile.md)，本部分以 `ImageNet1k` 数据集的 `MobileNetV1` 模型为例，介绍怎样使用 `Paddle-Lite`，在移动端(基于骁龙855的安卓开发平台)对进行模型速度评估。 @@ -25,7 +25,7 @@ ### 2.1 导出 inference 模型 -* 首先需要将训练过程中保存的模型存储为用于预测部署的固化模型，可以使用`tools/export_model.py`导出 inference 模型，具体使用方法如下。 +* 首先需要将训练过程中保存的模型存储为用于预测部署的固化模型，可以使用 `tools/export_model.py` 导出 inference 模型，具体使用方法如下。 ```shell python tools/export_model.py \ @@ -70,7 +70,7 @@ PC 端和手机连接成功后，使用下面的命令开始模型评估。 sh deploy/lite/benchmark/benchmark.sh ./benchmark_bin_v8 ./inference result_armv8.txt true ``` -其中 `./benchmark_bin_v8` 为 benchmark 二进制文件路径，`./inference` 为所有需要评测的模型的路径，`result_armv8.txt`为保存的结果文件，最后的参数`true`表示在评估之后会首先进行模型优化。最终在当前文件夹下会输出`result_armv8.txt`的评估结果文件，具体信息如下。 +其中 `./benchmark_bin_v8` 为 benchmark 二进制文件路径，`./inference` 为所有需要评测的模型的路径，`result_armv8.txt` 为保存的结果文件，最后的参数 `true` 表示在评估之后会首先进行模型优化。最终在当前文件夹下会输出 `result_armv8.txt` 的评估结果文件，具体信息如下。 ``` PaddleLite Benchmark @@ -84,7 +84,7 @@ Threads=4 Warmup=10 Repeats=30 MobileNetV1 min = 10.03200 max = 9.94300 average = 9.97627 ``` -这里给出了不同线程数下的模型预测速度，单位为 FPS，以线程数为 1 为例，MobileNetV1 在骁龙855 上的平均速度为 `30.79750FPS`。 +这里给出了不同线程数下的模型预测速度，单位为 FPS，以线程数为 1 为例，MobileNetV1 在骁龙855上的平均速度为 `30.79750FPS`。 @@ -132,6 +132,6 @@ Threads=4 Warmup=10 Repeats=30 MobileNetV1_lite min = 10.00600 max = 9.90000 average = 9.96177 ``` -以线程数为 1 为例，MobileNetV1 在骁龙855 上的平均速度为`30.84173 ms`。 +以线程数为 1 为例，MobileNetV1 在骁龙855上的平均速度为 `30.84173 ms`。 更加具体的参数解释与 Paddle-Lite 使用方法可以参考 [Paddle-Lite 文档](https://paddle-lite.readthedocs.io/zh/latest/)。 diff --git a/docs/zh_CN/others/train_with_DALI.md b/docs/zh_CN/others/train_with_DALI.md index a0c3557028f96f8069866e7a39d3a9408c3cca8a..db93de14149d9d46b0e32abd927b071112d4e8ec 100644 --- a/docs/zh_CN/others/train_with_DALI.md +++ b/docs/zh_CN/others/train_with_DALI.md @@ -31,7 +31,7 @@ ## 3. 使用 DALI -PaddleClas 支持在静态图训练方式中使用 DALI 加速，由于 DALI 仅支持 GPU 训练，因此需要设置 GPU，且 DALI 需要占用 GPU 显存，需要为 DALI 预留显存。使用 DALI 训练只需在训练配置文件中设置字段`use_dali=True`，或通过以下命令启动训练即可： +PaddleClas 支持在静态图训练方式中使用 DALI 加速，由于 DALI 仅支持 GPU 训练，因此需要设置 GPU，且 DALI 需要占用 GPU 显存，需要为 DALI 预留显存。使用 DALI 训练只需在训练配置文件中设置字段 `use_dali=True`，或通过以下命令启动训练即可： ```shell # 设置用于训练的 GPU 卡号 diff --git a/docs/zh_CN/others/transfer_learning.md b/docs/zh_CN/others/transfer_learning.md index b24852b343fde6b65528fe62d7ac73162813bc1d..da321fa96d54108327c170c0a8321d4949198e94 100644 --- a/docs/zh_CN/others/transfer_learning.md +++ b/docs/zh_CN/others/transfer_learning.md @@ -27,7 +27,7 @@ ImageNet 作为业界常用的图像分类数据被大家广泛使用，已经 ### 1.2 贝叶斯搜索 -贝叶斯搜索，即贝叶斯优化，在搜索空间中随机选取超参数点，采用高斯过程，即根据上一个超参数点的结果，更新当前的先验信息，计算前面 n 个超参数点的后验概率分布，得到搜索空间中每一个超参数点的期望均值和方差，其中期望均值越大表示接近最优指标的可能性越大，方差越大表示不确定性越大。通常将选择期望均值大的超参数点称为`exporitation`，选择方差大的超参数点称为`exploration`。在贝叶斯优化中通过定义`acquisition function`权衡期望均值和方差。贝叶斯搜索认为当前选择的超参数点是处于最大值可能出现的位置。 +贝叶斯搜索，即贝叶斯优化，在搜索空间中随机选取超参数点，采用高斯过程，即根据上一个超参数点的结果，更新当前的先验信息，计算前面 n 个超参数点的后验概率分布，得到搜索空间中每一个超参数点的期望均值和方差，其中期望均值越大表示接近最优指标的可能性越大，方差越大表示不确定性越大。通常将选择期望均值大的超参数点称为 `exporitation`，选择方差大的超参数点称为 `exploration`。在贝叶斯优化中通过定义 `acquisition function` 权衡期望均值和方差。贝叶斯搜索认为当前选择的超参数点是处于最大值可能出现的位置。 ------ @@ -68,7 +68,7 @@ Mixup: [False, True] - 上述实验验证了贝叶斯搜索相比网格搜索，在减少搜索次数 10 倍左右条件下，精度只下降 0%~0.4%。 -- 当搜索空间进一步扩大时，例如将是否进行 AutoAugment，RandAugment，Cutout， Cutmix 以及 Dropout 这些正则化策略作为选择时，贝叶斯搜索能够在获取较优精度的前提下，有效地降低搜索次数。 +- 当搜索空间进一步扩大时，例如将是否进行 AutoAugment，RandAugment，Cutout，Cutmix 以及 Dropout 这些正则化策略作为选择时，贝叶斯搜索能够在获取较优精度的前提下，有效地降低搜索次数。 diff --git a/docs/zh_CN/quick_start/quick_start_classification_new_user.md b/docs/zh_CN/quick_start/quick_start_classification_new_user.md index 54b83f011c6c8845851d76c74f2f022f413497b4..69b46ea43ea323205504b9bc87600ea975671b6d 100644 --- a/docs/zh_CN/quick_start/quick_start_classification_new_user.md +++ b/docs/zh_CN/quick_start/quick_start_classification_new_user.md @@ -101,8 +101,8 @@ python tools/train.py -c ./ppcls/configs/quick_start/new_user/ShuffleNetV2_x0_25 ``` - `-c` 参数是指定训练的配置文件路径，训练的具体超参数可查看 `yaml` 文件 -- `yaml`文`Global.device` 参数设置为`cpu`，即使用 CPU 进行训练（若不设置，此参数默认为`True`） -- `yaml`文件中`epochs`参数设置为 20，说明对整个数据集进行 20 个 epoch 迭代，预计训练 20 分钟左右（不同 CPU，训练时间略有不同），此时训练模型不充分。若提高训练模型精度，请将此参数设大，如**40**，训练时间也会相应延长 +- `yaml` 文件中 `Global.device` 参数设置为 `cpu`，即使用 CPU 进行训练（若不设置，此参数默认为 `True`） +- `yaml` 文件中 `epochs` 参数设置为 20，说明对整个数据集进行 20 个 epoch 迭代，预计训练 20 分钟左右（不同 CPU，训练时间略有不同），此时训练模型不充分。若提高训练模型精度，请将此参数设大，如**40**，训练时间也会相应延长 #### 4.1.2 使用预训练模型 @@ -139,7 +139,7 @@ python tools/train.py -c ./ppcls/configs/quick_start/new_user/ShuffleNetV2_x0_25 python tools/train.py -c ./ppcls/configs/quick_start/ResNet50_vd.yaml ``` -训练完成后，验证集的`Top1 Acc`曲线如下所示，最高准确率为 0.2735。训练精度曲线下图所示 +训练完成后，验证集的 `Top1 Acc` 曲线如下所示，最高准确率为 0.2735。训练精度曲线下图所示
diff --git a/docs/zh_CN/quick_start/quick_start_classification_professional.md b/docs/zh_CN/quick_start/quick_start_classification_professional.md index c6c73246db0217252771264f3d22198f4be8456f..72b52096976680d8849f807c2e2e694e0ad786a0 100644 --- a/docs/zh_CN/quick_start/quick_start_classification_professional.md +++ b/docs/zh_CN/quick_start/quick_start_classification_professional.md @@ -94,7 +94,7 @@ python3 -m paddle.distributed.launch \ 验证集最高准确率为 0.718 左右，加载预训练模型之后，CIFAR100 数据集精度大幅提升，绝对精度涨幅 30%。 -* 基于 ImageNet1k 分类预训练模型 ResNet50_vd_ssld_pretrained （准确率 82.39%）进行微调，训练脚本如下所示。 +* 基于 ImageNet1k 分类预训练模型 ResNet50_vd_ssld_pretrained（准确率 82.39%）进行微调，训练脚本如下所示。 ```shell export CUDA_VISIBLE_DEVICES=0,1,2,3 @@ -220,7 +220,7 @@ python3 -m paddle.distributed.launch \ * **注意** * 蒸馏过程中，教师模型使用的预训练模型为 CIFAR100 数据集上的训练结果，学生模型使用的是 ImageNet1k 数据集上精度为 75.32% 的 MobileNetV3_large_x1_0 预训练模型。 - * 该蒸馏过程无须使用真实标签，所以可以使用更多的无标签数据，在使用过程中，可以将无标签数据生成假的 `train_list.txt` ，然后与真实的 `train_list.txt` 进行合并, 用户可以根据自己的数据自行体验。 + * 该蒸馏过程无须使用真实标签，所以可以使用更多的无标签数据，在使用过程中，可以将无标签数据生成假的 `train_list.txt`，然后与真实的 `train_list.txt` 进行合并, 用户可以根据自己的数据自行体验。 @@ -268,7 +268,7 @@ python3 tools/export_model.py \ -o Global.pretrained_model=output_CIFAR/ResNet50_vd/best_model ``` -* 默认会在 `inference` 文件夹下生成 `inference.pdiparams`、`inference.pdmodel`和 `inference.pdiparams.info` 文件。 +* 默认会在 `inference` 文件夹下生成 `inference.pdiparams`、`inference.pdmodel` 和 `inference.pdiparams.info` 文件。 使用预测引擎进行推理： diff --git a/docs/zh_CN/quick_start/quick_start_recognition.md b/docs/zh_CN/quick_start/quick_start_recognition.md index 2f733f538fcd7077247396e7a56c2c3d844c8656..d2ef775f59b37e89d08284128459c80b66786ab4 100644 --- a/docs/zh_CN/quick_start/quick_start_recognition.md +++ b/docs/zh_CN/quick_start/quick_start_recognition.md @@ -52,7 +52,7 @@ **注意** -1. windows 环境下如果没有安装 wget , 可以按照下面的步骤安装 wget 与 tar 命令，也可以在下载模型时将链接复制到浏览器中下载，并解压放置在相应目录下； linux 或者 macOS 用户可以右键点击，然后复制下载链接，即可通过 `wget` 命令下载。 +1. windows 环境下如果没有安装 wget, 可以按照下面的步骤安装 wget 与 tar 命令，也可以在下载模型时将链接复制到浏览器中下载，并解压放置在相应目录下； linux 或者 macOS 用户可以右键点击，然后复制下载链接，即可通过 `wget` 命令下载。 2. 如果 macOS 环境下没有安装 `wget` 命令，可以运行下面的命令进行安装。 ```shell @@ -62,7 +62,7 @@ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/ brew install wget ``` -4. 如果希望在 windows 环境下安装 wget ，可以参考：[链接](https://www.cnblogs.com/jeshy/p/10518062.html)；如果希望在 windows 环境中安装 tar 命令，可以参考：[链接](https://www.cnblogs.com/chooperman/p/14190107.html)。 +4. 如果希望在 windows 环境下安装 wget，可以参考：[链接](https://www.cnblogs.com/jeshy/p/10518062.html)；如果希望在 windows 环境中安装 tar 命令，可以参考：[链接](https://www.cnblogs.com/chooperman/p/14190107.html)。 * 可以按照下面的命令下载并解压数据与模型 @@ -107,7 +107,7 @@ wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_da ├── ... ``` -其中 `gallery` 文件夹中存放的是用于构建索引库的原始图像，`index` 表示基于原始图像构建得到的索引库信息， `test_images` 文件夹中存放的是用于测试识别效果的图像列表。 +其中 `gallery` 文件夹中存放的是用于构建索引库的原始图像，`index` 表示基于原始图像构建得到的索引库信息，`test_images` 文件夹中存放的是用于测试识别效果的图像列表。 `models` 文件夹下应有如下文件结构： @@ -125,7 +125,7 @@ wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/data/drink_da **注意** -如果使用服务端通用识别模型， Demo 数据需要重新提取特征、够建索引，方式如下： +如果使用服务端通用识别模型，Demo 数据需要重新提取特征、够建索引，方式如下： ```shell # 下面是使用下载的服务端商品识别模型进行索引库构建 @@ -144,7 +144,7 @@ python3.7 python/build_gallery.py -c configs/build_general.yaml -o Global.rec_in pip install faiss-cpu==1.7.1post2 ``` -若使用时，不能正常引用，则 `uninstall` 之后，重新 `install` ，尤其是 windows 下。 +若使用时，不能正常引用，则 `uninstall` 之后，重新 `install`，尤其是 windows 下。 @@ -247,7 +247,7 @@ python3.7 python/predict_system.py -c configs/inference_general.yaml -o Global.i 然后需要编辑记录了图像路径和标签信息的文本文件，这里 PaddleClas 将更正后的标签信息文件放在了 `drink_dataset_v1.0/gallery/drink_label_all.txt` 文件中。可以与默认的 `drink_dataset_v1.0/gallery/drink_label.txt` 标签文件进行对比，添加了光明和三元系列牛奶的索引图像。 -每一行的文本中，第一个字段表示图像的相对路径，第二个字段表示图像对应的标签信息，中间用 `\t` 键分隔开（注意：有些编辑器会将 `tab` 自动转换为 `空格` ，这种情况下会导致文件解析报错）。 +每一行的文本中，第一个字段表示图像的相对路径，第二个字段表示图像对应的标签信息，中间用 `\t` 键分隔开（注意：有些编辑器会将 `tab` 自动转换为 `空格`，这种情况下会导致文件解析报错）。 @@ -259,7 +259,7 @@ python3.7 python/predict_system.py -c configs/inference_general.yaml -o Global.i python3.7 python/build_gallery.py -c configs/build_general.yaml -o IndexProcess.data_file="./drink_dataset_v1.0/gallery/drink_label_all.txt" -o IndexProcess.index_dir="./drink_dataset_v1.0/index_all" ``` -最终新的索引信息保存在文件夹 `./drink_dataset_v1.0/index_all` 中。 +最终新的索引信息保存在文件夹 `./drink_dataset_v1.0/index_all` 中。具体 `yaml` 请参考[向量检索文档](../image_recognition_pipeline/vector_search.md)。