diff --git a/README_cn.md b/README_cn.md index 93eac4ef7a5eb4925b5fecef07f98408f7ff70a0..7eebde8d195109498ba772f38048b676ba093741 100644 --- a/README_cn.md +++ b/README_cn.md @@ -5,8 +5,6 @@

-**飞桨目标检测开发套件，端到端地完成从训练到部署的全流程目标检测应用。** -

@@ -16,529 +14,708 @@

+## 🌈简介 -
- - -
- -## 🚀 热门活动 -- 🎊 **【AI快车道两日课】手把手教你将PP-YOLOE+用于旋转框、小目标检测，达成SOTA性能** - - ⏰ **时间：11月16-17日 晚上8:15** - - **11月16日：更高效更鲁棒的小目标检测器PP-YOLOE-SOD** - - **11月17日：SOTA旋转框检测器PP-YOLOE-R** - - 🎁 **扫码入群即可获取专属直播链接与技术大礼包！** - +PaddleDetection是一个基于PaddlePaddle的目标检测端到端开发套件，在提供丰富的模型组件和测试基准的同时，注重端到端的产业落地应用，通过打造产业级特色模型|工具、建设产业应用范例等手段，帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通，快速进行落地应用。 -
- -
+| [**通用目标检测**](#pp-yoloe-高精度目标检测模型) | [**小目标检测**](#pp-yoloe-sod-高精度小目标检测模型) | [**旋转框检测**](#pp-yoloe-r-高性能旋转框检测模型) | [**3D目标物检测**](https://github.com/PaddlePaddle/Paddle3D) | +| :--------------------------------------------------------------------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------------------------: | :--------------------------------------------------------------------------------------------------------------------------------------------: | +| | | | | +| [**人脸检测**](#模型库) | [**2D关键点检测**](#️pp-tinypose-人体骨骼关键点识别) | [**多目标追踪**](#pp-tracking-实时多目标跟踪系统) | [**实例分割**](#模型库) | +| | | | | +| [**车辆分析——车牌识别**](#️pp-vehicle-实时车辆分析工具) | [**车辆分析——车流统计**](#️pp-vehicle-实时车辆分析工具) | [**车辆分析——违章检测**](#️pp-vehicle-实时车辆分析工具) | [**车辆分析——属性分析**](#️pp-vehicle-实时车辆分析工具) | +| | | | | +| [**行人分析——闯入分析**](#pp-human-实时行人分析工具) | [**行人分析——行为分析**](#pp-human-实时行人分析工具) | [**行人分析——属性分析**](#pp-human-实时行人分析工具) | [**行人分析——人流统计**](#pp-human-实时行人分析工具) | +| | | | | -## 贡献代码 +## ✨主要特性 -PaddleDetection非常欢迎你加入到飞桨社区的开源建设中，参与贡献方式可以参考[文档](docs/contribution/README.md) +#### 🧩模块化设计 +PaddleDetection将检测模型解耦成不同的模块组件，通过自定义模块组件组合，用户可以便捷高效地完成检测模型的搭建。`传送门`：[🧩模块组件](#模块组件)。 -同时我们也会组织专项活动，引导大家参与到PaddleDetection的开发中： +#### 📱丰富的模型库 +PaddleDetection支持大量的最新主流的算法基准以及预训练模型，涵盖2D/3D目标检测、实例分割、人脸检测、关键点检测、多目标跟踪、半监督学习等方向。`传送门`：[📱模型库](#模型库)、[⚖️模型性能对比](#️模型性能对比)。 -- [Yes, PP-YOLOE! 基于PP-YOLOE的算法开发](https://github.com/PaddlePaddle/PaddleDetection/issues/7345) +#### 🎗️产业特色模型|产业工具 +PaddleDetection打造产业级特色模型以及分析工具：PP-YOLOE+、PP-PicoDet、PP-TinyPose、PP-HumanV2、PP-Vehicle等，针对通用、高频垂类应用场景提供深度优化解决方案以及高度集成的分析工具，降低开发者的试错、选择成本，针对业务场景快速应用落地。`传送门`：[🎗️产业特色模型|产业工具](#️产业特色模型产业工具-1)。 -## 产品动态 +#### 💡🏆产业级部署实践 +PaddleDetection整理工业、农业、林业、交通、医疗、金融、能源电力等AI应用范例，打通数据标注-模型训练-模型调优-预测部署全流程，持续降低目标检测技术产业落地门槛。`传送门`：[💡产业实践范例](#产业实践范例)、[🏆企业应用案例](#企业应用案例)。 +
+

+ +

+
-- 🔥 **2022.11.15：发布基于PP-YOLOE+扩展的旋转框、小目标检测SOTA模型** - - 旋转框检测模型[PP-YOLOE-R](configs/rotate/ppyoloe_r) - - Anchor-free旋转框检测SOTA模型，精度速度双高 - - 云边一体，s/m/l/x四个模型适配不用算力硬件 - - 部署友好，避免使用特殊算子，能够轻松使用TensorRT加速 - - 小目标检测模型[PP-YOLOE-SOD](configs/smalldet) - - 基于切图的端到端检测方案 - - 基于原图的检测模型，精度达VisDrone开源最优 +## 📣最新进展 +**💎稳定版本** -- 2022.8.26：PaddleDetection发布[release/2.5版本](https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5) - - 🗳 特色模型： +位于[`release/2.5`](https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5)分支，最新的[**v2.5**](https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5)版本已经在 2022.09.13 发布，版本发新详细内容请参考[v2.5.0更新日志](https://github.com/PaddlePaddle/PaddleDetection/releases/tag/v2.5.0)，重点更新： +- [🎗️产业特色模型|产业工具](#️产业特色模型产业工具-1)： - 发布[PP-YOLOE+](configs/ppyoloe)，最高精度提升2.4% mAP，达到54.9% mAP，模型训练收敛速度提升3.75倍，端到端预测速度最高提升2.3倍；多个下游任务泛化性提升 - 发布[PicoDet-NPU](configs/picodet)模型，支持模型全量化部署；新增[PicoDet](configs/picodet)版面分析模型 - 发布[PP-TinyPose升级版](./configs/keypoint/tiny_pose/)增强版，在健身、舞蹈等场景精度提升9.1% AP，支持侧身、卧躺、跳跃、高抬腿等非常规动作 - - 🔮 场景能力： - 发布行人分析工具[PP-Human v2](./deploy/pipeline)，新增打架、打电话、抽烟、闯入四大行为识别，底层算法性能升级，覆盖行人检测、跟踪、属性三类核心算法能力，提供保姆级全流程开发及模型优化策略，支持在线视频流输入 - 首次发布[PP-Vehicle](./deploy/pipeline)，提供车牌识别、车辆属性分析（颜色、车型）、车流量统计以及违章检测四大功能，兼容图片、在线视频流、视频输入，提供完善的二次开发文档教程 - - 💡 前沿算法： +- [📱模型库](#模型库)： - 全面覆盖的[YOLO家族](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/docs/MODEL_ZOO_cn.md)经典与最新算法模型的代码库[PaddleYOLO](https://github.com/PaddlePaddle/PaddleYOLO): 包括YOLOv3，百度飞桨自研的实时高精度目标检测模型PP-YOLOE，以及前沿检测算法YOLOv4、YOLOv5、YOLOX，YOLOv6及YOLOv7 - 新增基于[ViT](configs/vitdet)骨干网络高精度检测模型，COCO数据集精度达到55.7% mAP；新增[OC-SORT](configs/mot/ocsort)多目标跟踪模型；新增[ConvNeXt](configs/convnext)骨干网络 - - 📋 产业范例：新增[智能健身](https://aistudio.baidu.com/aistudio/projectdetail/4385813)、[打架识别](https://aistudio.baidu.com/aistudio/projectdetail/4086987?channelType=0&channel=0)、[来客分析](https://aistudio.baidu.com/aistudio/projectdetail/4230123?channelType=0&channel=0)、车辆结构化范例 +- [💡产业实践范例](#产业实践范例)： + - 新增[智能健身](https://aistudio.baidu.com/aistudio/projectdetail/4385813)、[打架识别](https://aistudio.baidu.com/aistudio/projectdetail/4086987?channelType=0&channel=0)、[来客分析](https://aistudio.baidu.com/aistudio/projectdetail/4230123?channelType=0&channel=0) + +**🧬预览版本** + +位于[`develop`](https://github.com/PaddlePaddle/PaddleDetection/tree/develop)分支，体验最新功能请切换到[该分支](https://github.com/PaddlePaddle/PaddleDetection/tree/develop)，最近更新： +- [📱模型库](#模型库)： + - 新增[半监督检测模型](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det); +- [🎗️产业特色模型|产业工具](#️产业特色模型产业工具-1)： + - 发布**旋转框检测模型**[PP-YOLOE-R](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rotate/ppyoloe_r)：Anchor-free旋转框检测SOTA模型，精度速度双高、云边一体，s/m/l/x四个模型适配不用算力硬件、部署友好，避免使用特殊算子，能够轻松使用TensorRT加速； + - 发布**小目标检测模型**[PP-YOLOE-SOD](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/smalldet)：基于切图的端到端检测方案、基于原图的检测模型，精度达VisDrone开源最优； + +## 👫开源社区 + +- **📑项目合作：** 如果您是企业开发者且有明确的目标检测垂类应用需求，请扫描如下二维码入群，并联系`群管理员AI`后可免费与官方团队展开不同层次的合作。 +- **🏅️社区贡献：** PaddleDetection非常欢迎你加入到飞桨社区的开源建设中，参与贡献方式可以参考[开源项目开发指南](docs/contribution/README.md)。 +- **💻直播教程：** PaddleDetection会定期在飞桨直播间([B站:飞桨PaddlePaddle](https://space.bilibili.com/476867757)、[微信: 飞桨PaddlePaddle](https://mp.weixin.qq.com/s/6ji89VKqoXDY6SSGkxS8NQ))，针对发新内容、以及产业范例、使用教程等进行直播分享。 +- **🎁加入社区：** **微信扫描二维码并填写问卷之后，加入交流群领取20G重磅目标检测学习大礼包，包括：** + - 往期直播录播&PPT + - 30+行人车辆等垂类高性能预训练模型 + - 七大任务开源数据集下载链接汇总 + - 40+前沿检测领域顶会算法 + - 15+从零上手目标检测理论与实践视频课程 + - 10+工业安防交通全流程项目实操（含源码） + +
+ +

PaddleDetection官方交流群二维码

+
-- [更多版本发布](https://github.com/PaddlePaddle/PaddleDetection/releases) +- **🎈社区近期活动** + + - **💻直播教程** + - `传送门`：[Yes, PP-YOLOE！80.73mAP、38.5mAP，旋转框、小目标检测能力双SOTA！](https://mp.weixin.qq.com/s/6ji89VKqoXDY6SSGkxS8NQ) + - **🏅️社区贡献** + - `传送门`：[Yes, PP-YOLOE! 基于PP-YOLOE的算法开发](https://github.com/PaddlePaddle/PaddleDetection/issues/7345) + - **🎊YOLO Vision世界学术交流大会🎊** + - **PaddleDetection**受邀参与首个以**YOLO为主题**的**YOLO-VISION**世界大会，与全球AI领先开发者学习交流。 + - `传送门`：[YOLO-VISION](https://ultralytics.com/yolo-vision) +
+ +
-## 简介 +## 🍱安装 -**PaddleDetection**为基于飞桨PaddlePaddle的端到端目标检测套件，内置**30+模型算法**及**300+预训练模型**，覆盖**目标检测、实例分割、跟踪、关键点检测**等方向，其中包括**服务器端和移动端高精度、轻量级**产业级SOTA模型、冠军方案和学术前沿算法，并提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案，在打通数据处理、模型开发、训练、压缩、部署全流程的基础上，提供丰富的案例及教程，加速算法产业落地应用。 +参考[安装说明](docs/tutorials/INSTALL_cn.md)进行安装。 -
- -
+## 🔥教程 +**深度学习入门教程** -## 特性 +- [零基础入门深度学习](https://www.paddlepaddle.org.cn/tutorials/projectdetail/4676538) +- [零基础入门目标检测](https://aistudio.baidu.com/aistudio/education/group/info/1617) -- **模型丰富**: 包含**目标检测**、**实例分割**、**人脸检测**、****关键点检测****、**多目标跟踪**等**300+个预训练模型**，涵盖多种**全球竞赛冠军**方案。 -- **使用简洁**：模块化设计，解耦各个网络组件，开发者轻松搭建、试用各种检测模型及优化策略，快速得到高性能、定制化的算法。 -- **端到端打通**: 从数据增强、组网、训练、压缩、部署端到端打通，并完备支持**云端**/**边缘端**多架构、多设备部署。 -- **高性能**: 基于飞桨的高性能内核，模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。 +**快速开始** -
- -
+- [快速体验](docs/tutorials/QUICK_STARTED_cn.md) +- [示例：30分钟快速开发交通标志检测模型](docs/tutorials/GETTING_STARTED_cn.md) + +**数据准备** +- [数据准备](docs/tutorials/data/README.md) +- [数据处理模块](docs/advanced_tutorials/READER.md) + +**配置文件说明** +- [RCNN参数说明](docs/tutorials/config_annotation/faster_rcnn_r50_fpn_1x_coco_annotation.md) +- [PP-YOLO参数说明](docs/tutorials/config_annotation/ppyolo_r50vd_dcn_1x_coco_annotation.md) + +**模型开发** -## 技术交流 +- [新增检测模型](docs/advanced_tutorials/MODEL_TECHNICAL.md) +- 二次开发 + - [目标检测](docs/advanced_tutorials/customization/detection.md) + - [关键点检测](docs/advanced_tutorials/customization/keypoint_detection.md) + - [多目标跟踪](docs/advanced_tutorials/customization/pphuman_mot.md) + - [行为识别](docs/advanced_tutorials/customization/action_recognotion/) + - [属性识别](docs/advanced_tutorials/customization/pphuman_attribute.md) -- 如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过[GitHub Issues](https://github.com/PaddlePaddle/PaddleDetection/issues)给我们提issues。 +**部署推理** -- **欢迎加入PaddleDetection 微信用户群（扫码填写问卷即可入群）** - - **入群福利 💎：获取PaddleDetection团队整理的重磅学习大礼包🎁** - - 📊 福利一：获取飞桨联合业界企业整理的开源数据集 - - 👨‍🏫 福利二：获取PaddleDetection历次发版直播视频与最新直播咨询 - - 🗳 福利三：获取垂类场景预训练模型集合，包括工业、安防、交通等5+行业场景 - - 🗂 福利四：获取10+全流程产业实操范例，覆盖火灾烟雾检测、人流量计数等产业高频场景 -
- -
+- [模型导出教程](deploy/EXPORT_MODEL.md) +- [模型压缩](https://github.com/PaddlePaddle/PaddleSlim) + - [剪裁/量化/蒸馏教程](configs/slim) +- [Paddle Inference部署](deploy/README.md) + - [Python端推理部署](deploy/python) + - [C++端推理部署](deploy/cpp) +- [Paddle Lite部署](deploy/lite) +- [Paddle Serving部署](deploy/serving) +- [ONNX模型导出](deploy/EXPORT_ONNX_MODEL.md) +- [推理benchmark](deploy/BENCHMARK_INFER.md) + +## 🔑FAQ +- [FAQ/常见问题汇总](docs/tutorials/FAQ) -## 套件结构概览 +## 🧩模块组件 - + + + + + + + + + +
- Architectures + Backbones - Backbones + Necks + + Loss - Components + Common - Data Augmentation + Data Augmentation
+ + + + + + + +
  • Post-processing
      • -
      Object Detection -
        -
      • Faster RCNN
        • -
      • FPN
        • -
      • Cascade-RCNN
        • -
      • PSS-Det
        • -
      • RetinaNet
        • -
      • YOLOv3
        • -
      • YOLOv5
        • -
      • YOLOv6
        • -
      • YOLOv7
        • -
      • PP-YOLOv1/v2
        • -
      • PP-YOLO-Tiny
        • -
      • PP-YOLOE
        • -
      • PP-YOLOE+
        • -
      • PP-YOLOE-R
        • -
      • PP-YOLOE-SOD
        • -
      • YOLOX
        • -
      • YOLOF
        • -
      • SSD
        • -
      • CenterNet
        • -
      • FCOS
        • -
      • FCOS-R
        • -
      • TTFNet
        • -
      • TOOD
        • -
      • GFL
        • -
      • PP-PicoDet
        • -
      • DETR
        • -
      • Deformable DETR
        • -
      • Swin Transformer
        • -
      • Sparse RCNN
        • -
      -
      Instance Segmentation -
        -
      • Mask RCNN
        • -
      • Cascade Mask RCNN
        • -
      • SOLOv2
        • -
      -
      Face Detection
        -
      • BlazeFace
        • -
      -
      Multi-Object-Tracking +
    • SoftNMS
      • +
    • MatrixNMS
      • +
    + +
  • Training
      • -
    • JDE
      • -
    • FairMOT
      • -
    • DeepSORT
      • -
    • ByteTrack
      • -
    • OC-SORT
      • -
    -
    KeyPoint-Detection
      -
    • HRNet
      • -
    • HigherHRNet
      • -
    • Lite-HRNet
      • -
    • PP-TinyPose
      • -
    - +
  • FP16 training
    • +
  • Multi-machine training
    • + + +
  • Common
    • +     		-
    Details
      -
    • ResNet(&vd)
      • -
    • Res2Net(&vd)
      • -
    • CSPResNet
      • -
    • SENet
      • -
    • Res2Net
      • -
    • HRNet
      • -
    • Lite-HRNet
      • -
    • DarkNet
      • -
    • CSPDarkNet
      • -
    • MobileNetv1/v3
      • -
    • ShuffleNet
      • -
    • GhostNet
      • -
    • BlazeNet
      • -
    • DLA
      • -
    • HardNet
      • -
    • LCNet
      • -
    • ESNet
      • -
    • Swin-Transformer
      • -
    • ConvNeXt
      • -
    • Vision Transformer
      • -
    +
  • Resize
    • +
  • Lighting
    • +
  • Flipping
    • +
  • Expand
    • +
  • Crop
    • +
  • Color Distort
    • +
  • Random Erasing
    • +
  • Mixup
    • +
  • AugmentHSV
    • +
  • Mosaic
    • +
  • Cutmix
    • +
  • Grid Mask
    • +
  • Auto Augment
    • +
  • Random Perspective
    • + +
    + +## 📱模型库 + + + + + + + + + + + - - +
  • HRNet
    • +
  • HigherHRNet
    • +
  • Lite-HRNet
    • +
  • PP-TinyPose
    • + +
    + 2D Detection -
    Common -
      -
    • Sync-BN
      • -
    • Group Norm
      • -
    • DCNv2
      • -
    • EMA
      • -
    - -
    KeyPoint -
      -
    • DarkPose
      • -
    - -
    FPN -
      -
    • BiFPN
      • -
    • CSP-PAN
      • -
    • Custom-PAN
      • -
    • ES-PAN
      • -
    • HRFPN
      • -
    - -
    Loss -
      -
    • Smooth-L1
      • -
    • GIoU/DIoU/CIoU
      • -
    • IoUAware
      • -
    • Focal Loss
      • -
    • CT Focal Loss
      • -
    • VariFocal Loss
      • -
    - -
    Post-processing -
      -
    • SoftNMS
      • -
    • MatrixNMS
      • -
    + Multi Object Tracking +     		+ KeyPoint Detection + + Others +
    + + + -
    Speed -
      -
    • FP16 training
      • -
    • Multi-machine training
      • -
    -     		-
    Details
      -
    • Resize
      • -
    • Lighting
      • -
    • Flipping
      • -
    • Expand
      • -
    • Crop
      • -
    • Color Distort
      • -
    • Random Erasing
      • -
    • Mixup
      • -
    • AugmentHSV
      • -
    • Mosaic
      • -
    • Cutmix
      • -
    • Grid Mask
      • -
    • Auto Augment
      • -
    • Random Perspective
      • -
    -
    + +
  • Instance Segmentation
    • + +
  • Face Detection
    • + +
  • Semi-Supervised Detection
    • + +
  • 3D Detection
    • + +
  • Vehicle Analysis Toolbox
    • + +
  • Human Analysis Toolbox
    • + +
  • Sport Analysis Toolbox
    • +
    -## 模型性能概览 +## ⚖️模型性能对比 -
    - 云端模型性能对比 +#### 🖥️服务器端模型性能对比 各模型结构和骨干网络的代表模型在COCO数据集上精度mAP和单卡Tesla V100上预测速度(FPS)对比图。 -
    - +
    +
    -**说明：** +`说明`： +- ViT为ViT-Cascade-Faster-RCNN模型，COCO数据集mAP高达55.7% +- Cascade-Faster-RCNN为Cascade-Faster-RCNN-ResNet50vd-DCN，PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS +- PP-YOLOE是对PP-YOLO v2模型的进一步优化，L版本在COCO数据集mAP为51.6%，Tesla V100预测速度78.1FPS +- PP-YOLOE+是对PPOLOE模型的进一步优化，L版本在COCO数据集mAP为53.3%，Tesla V100预测速度78.1FPS +- YOLOX和YOLOv5均为基于PaddleDetection复现算法，YOLOv5代码在PaddleYOLO中，参照PaddleYOLO_MODEL +- 图中模型均可在[📱模型库](#模型库)中获取 -- `ViT`为`ViT-Cascade-Faster-RCNN`模型，COCO数据集mAP高达55.7% -- `Cascade-Faster-RCNN`为`Cascade-Faster-RCNN-ResNet50vd-DCN`，PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS -- `PP-YOLOE`是对`PP-YOLO v2`模型的进一步优化，L版本在COCO数据集mAP为51.6%，Tesla V100预测速度78.1FPS -- `PP-YOLOE+`是对`PPOLOE`模型的进一步优化，L版本在COCO数据集mAP为53.3%，Tesla V100预测速度78.1FPS -- [`YOLOX`](configs/yolox)和[`YOLOv5`](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov5)均为基于PaddleDetection复现算法，`YOLOv5`代码在[`PaddleYOLO`](https://github.com/PaddlePaddle/PaddleYOLO)中，参照[PaddleYOLO_MODEL](docs/feature_models/PaddleYOLO_MODEL.md) -- 图中模型均可在[模型库](#模型库)中获取 - -
    - -
    - 移动端模型性能对比 +#### ⌚️移动端模型性能对比 各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图。 -
    - +
    +
    -**说明：** -- 测试数据均使用高通骁龙865(4\*A77 + 4\*A55)处理器batch size为1, 开启4线程测试，测试使用NCNN预测库，测试脚本见[MobileDetBenchmark](https://github.com/JiweiMaster/MobileDetBenchmark) -- [PP-PicoDet](configs/picodet)及[PP-YOLO-Tiny](configs/ppyolo)为PaddleDetection自研模型，其余模型PaddleDetection暂未提供 +`说明`： -
    - -## 模型库 +- 测试数据均使用高通骁龙865(4xA77+4xA55)处理器，batch size为1, 开启4线程测试，测试使用NCNN预测库，测试脚本见[MobileDetBenchmark](https://github.com/JiweiMaster/MobileDetBenchmark) +- PP-PicoDet及PP-YOLO-Tiny为PaddleDetection自研模型，可在[📱模型库](#模型库)中获取，其余模型PaddleDetection暂未提供 -
    - 1. 通用检测 +## 🎗️产业特色模型|产业工具 -#### [PP-YOLOE+](./configs/ppyoloe)系列 推荐场景：Nvidia V100, T4等云端GPU和Jetson系列等边缘端设备 +### 💎PP-YOLOE 高精度目标检测模型 -| 模型名称 | COCO精度（mAP） | V100 TensorRT FP16速度(FPS) | 配置文件 | 模型下载 | -|:---------- |:-----------:|:-------------------------:|:-----------------------------------------------------:|:------------------------------------------------------------------------------------:| -| PP-YOLOE+_s | 43.9 | 333.3 | [链接](configs/ppyoloe/ppyoloe_plus_crn_s_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_s_80e_coco.pdparams) | -| PP-YOLOE+_m | 50.0 | 208.3 | [链接](configs/ppyoloe/ppyoloe_plus_crn_m_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_m_80e_coco.pdparams) | -| PP-YOLOE+_l | 53.3 | 149.2 | [链接](configs/ppyoloe/ppyoloe_plus_crn_l_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_l_80e_coco.pdparams) | -| PP-YOLOE+_x | 54.9 | 95.2 | [链接](configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_x_80e_coco.pdparams) | +PP-YOLOE是基于PP-YOLOv2的卓越的单阶段Anchor-free模型，超越了多种流行的YOLO模型。PP-YOLOE避免了使用诸如Deformable Convolution或者Matrix NMS之类的特殊算子，以使其能轻松地部署在多种多样的硬件上。其使用大规模数据集obj365预训练模型进行预训练，可以在不同场景数据集上快速调优收敛。 -#### [PP-PicoDet](./configs/picodet)系列 推荐场景：ARM CPU(RK3399, 树莓派等) 和NPU(比特大陆，晶晨等)移动端芯片和x86 CPU设备 +`传送门`：[PP-YOLOE说明](configs/ppyoloe/README_cn.md)。 -| 模型名称 | COCO精度（mAP） | 骁龙865 四线程速度(ms) | 配置文件 | 模型下载 | -|:---------- |:-----------:|:---------------:|:---------------------------------------------------:|:---------------------------------------------------------------------------------:| -| PicoDet-XS | 23.5 | 7.81 | [链接](configs/picodet/picodet_xs_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_xs_320_coco_lcnet.pdparams) | -| PicoDet-S | 29.1 | 9.56 | [链接](configs/picodet/picodet_s_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_s_320_coco_lcnet.pdparams) | -| PicoDet-M | 34.4 | 17.68 | [链接](configs/picodet/picodet_m_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_m_320_coco_lcnet.pdparams) | -| PicoDet-L | 36.1 | 25.21 | [链接](configs/picodet/picodet_l_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_l_320_coco_lcnet.pdparams) | +`传送门`：[arXiv论文](https://arxiv.org/abs/2203.16250)。 -#### 前沿检测算法 +
    + 预训练模型(点击展开) -| 模型名称 | COCO精度（mAP） | V100 TensorRT FP16速度(FPS) | 配置文件 | 模型下载 | -|:------------------------------------------------------------------ |:-----------:|:-------------------------:|:------------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:| -| [YOLOX-l](configs/yolox) | 50.1 | 107.5 | [链接](configs/yolox/yolox_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolox_l_300e_coco.pdparams) | -| [YOLOv5-l](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov5) | 48.6 | 136.0 | [链接](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov5/yolov5_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolov5_l_300e_coco.pdparams) | -| [YOLOv7-l](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov7) | 51.0 | 135.0 | [链接](https://github.com/PaddlePaddle/PaddleYOLO/tree/develop/configs/yolov7/yolov7_l_300e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/yolov7_l_300e_coco.pdparams) | +| 模型名称 | COCO精度（mAP） | V100 TensorRT FP16速度(FPS) | 推荐部署硬件 | 配置文件 | 模型下载 | +| :---------- | :-------------: | :-------------------------: | :----------: | :-----------------------------------------------------: | :-------------------------------------------------------------------------------------: | +| PP-YOLOE+_l | 53.3 | 149.2 | 服务器 | [链接](configs/ppyoloe/ppyoloe_plus_crn_l_80e_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_crn_m_80e_coco.pdparams) | -**注意:** -- `YOLOv5`和`YOLOv7`代码在[`PaddleYOLO`](https://github.com/PaddlePaddle/PaddleYOLO)中，为基于`PaddleDetection`复现的算法，可参照[PaddleYOLO_MODEL](docs/feature_models/PaddleYOLO_MODEL.md)。 +`传送门`：[全部预训练模型](configs/ppyoloe/README_cn.md)。 +
    -#### 其他通用检测模型 [文档链接](docs/MODEL_ZOO_cn.md) +
    + 产业应用代码示例(点击展开) +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| ---- | ----------------- | --------------------------------------------------------------------------------------------- | ------------------------------------------------------------- | --------------------------------------------------- | +| 农业 | 农作物检测 | 用于葡萄栽培中基于图像的监测和现场机器人技术，提供了来自5种不同葡萄品种的实地实例 | [PP-YOLOE+ 下游任务](./configs/ppyoloe/application/README.md) | [下载链接](./configs/ppyoloe/application/README.md) | +| 通用 | 低光场景检测 | 低光数据集使用ExDark，包括从极低光环境到暮光环境等10种不同光照条件下的图片。 | [PP-YOLOE+ 下游任务](./configs/ppyoloe/application/README.md) | [下载链接](./configs/ppyoloe/application/README.md) | +| 工业 | PCB电路板瑕疵检测 | 工业数据集使用PKU-Market-PCB，该数据集用于印刷电路板（PCB）的瑕疵检测，提供了6种常见的PCB缺陷 | [PP-YOLOE+ 下游任务](./configs/ppyoloe/application/README.md) | [下载链接](./configs/ppyoloe/application/README.md) |
    +### 💎PP-YOLOE-R 高性能旋转框检测模型 + +PP-YOLOE-R是一个高效的单阶段Anchor-free旋转框检测模型，基于PP-YOLOE+引入了一系列改进策略来提升检测精度。根据不同的硬件对精度和速度的要求，PP-YOLOE-R包含s/m/l/x四个尺寸的模型。在DOTA 1.0数据集上，PP-YOLOE-R-l和PP-YOLOE-R-x在单尺度训练和测试的情况下分别达到了78.14mAP和78.28 mAP，这在单尺度评估下超越了几乎所有的旋转框检测模型。通过多尺度训练和测试，PP-YOLOE-R-l和PP-YOLOE-R-x的检测精度进一步提升至80.02mAP和80.73 mAP，超越了所有的Anchor-free方法并且和最先进的Anchor-based的两阶段模型精度几乎相当。在保持高精度的同时，PP-YOLOE-R避免使用特殊的算子，例如Deformable Convolution或Rotated RoI Align，使其能轻松地部署在多种多样的硬件上。 + +`传送门`：[PP-YOLOE-R说明](https://github.com/thinkthinking/PaddleDetection/tree/develop/configs/rotate/ppyoloe_r)。 + +`传送门`：[arXiv论文](https://arxiv.org/abs/2211.02386)。 +
    - 2. 实例分割 + 预训练模型(点击展开) -| 模型名称 | 模型简介 | 推荐场景 | COCO精度(mAP) | 配置文件 | 模型下载 | -|:----------------- |:------------ |:---- |:--------------------------------:|:---------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------:| -| Mask RCNN | 两阶段实例分割算法 | 云边端 | box AP: 41.4
    mask AP: 37.5 | [链接](configs/mask_rcnn/mask_rcnn_r50_vd_fpn_2x_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/mask_rcnn_r50_vd_fpn_2x_coco.pdparams) | -| Cascade Mask RCNN | 两阶段实例分割算法 | 云边端 | box AP: 45.7
    mask AP: 39.7 | [链接](configs/mask_rcnn/cascade_mask_rcnn_r50_vd_fpn_ssld_2x_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/cascade_mask_rcnn_r50_vd_fpn_ssld_2x_coco.pdparams) | -| SOLOv2 | 轻量级单阶段实例分割算法 | 云边端 | mask AP: 38.0 | [链接](configs/solov2/solov2_r50_fpn_3x_coco.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/solov2_r50_fpn_3x_coco.pdparams) | +| 模型 | Backbone | mAP | V100 TRT FP16 (FPS) | RTX 2080 Ti TRT FP16 (FPS) | Params (M) | FLOPs (G) | 学习率策略 | 角度表示 | 数据增广 | GPU数目 | 每GPU图片数目 | 模型下载 | 配置文件 | +| :----------: | :------: | :---: | :-----------------: | :------------------------: | :--------: | :-------: | :--------: | :------: | :------: | :-----: | :-----------: | :---------------------------------------------------------------------------------: | :----------------------------------------------------------------------------------------------------------------------------: | +| PP-YOLOE-R-l | CRN-l | 80.02 | 69.7 | 48.3 | 53.29 | 281.65 | 3x | oc | MS+RR | 4 | 2 | [model](https://paddledet.bj.bcebos.com/models/ppyoloe_r_crn_l_3x_dota_ms.pdparams) | [config](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rotate/ppyoloe_r/ppyoloe_r_crn_l_3x_dota_ms.yml) | +`传送门`：[全部预训练模型](https://github.com/thinkthinking/PaddleDetection/tree/develop/configs/rotate/ppyoloe_r)。
    - 3. 关键点检测 + 产业应用代码示例(点击展开) -| 模型名称 | 模型简介 | 推荐场景 | COCO精度（AP） | 速度 | 配置文件 | 模型下载 | -|:------------------------------------------- |:---------------------------------------------------------------- |:---------------------------------- |:----------:|:-----------------------:|:-------------------------------------------------------:|:---------------------------------------------------------------------------------------:| -| HRNet-w32 + DarkPose |
    top-down 关键点检测算法
    输入尺寸384x288
    |
    云边端
    | 78.3 | T4 TensorRT FP16 2.96ms | [链接](configs/keypoint/hrnet/dark_hrnet_w32_384x288.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/keypoint/dark_hrnet_w32_384x288.pdparams) | -| HRNet-w32 + DarkPose | top-down 关键点检测算法
    输入尺寸256x192 | 云边端 | 78.0 | T4 TensorRT FP16 1.75ms | [链接](configs/keypoint/hrnet/dark_hrnet_w32_256x192.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/keypoint/dark_hrnet_w32_256x192.pdparams) | -| [PP-TinyPose](./configs/keypoint/tiny_pose) | 轻量级关键点算法
    输入尺寸256x192 | 移动端 | 68.8 | 骁龙865 四线程 6.30ms | [链接](configs/keypoint/tiny_pose/tinypose_256x192.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_256x192.pdparams) | -| [PP-TinyPose](./configs/keypoint/tiny_pose) | 轻量级关键点算法
    输入尺寸128x96 | 移动端 | 58.1 | 骁龙865 四线程 2.37ms | [链接](configs/keypoint/tiny_pose/tinypose_128x96.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_128x96.pdparams) | +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| ---- | ---------- | --------------------------------------------------------------------- | --------------------------------------------------------------------------------------- | --------------------------------------------------------------------- | +| 通用 | 旋转框检测 | 手把手教你上手PP-YOLOE-R旋转框检测，10分钟将脊柱数据集精度训练至95mAP | [基于PP-YOLOE-R的旋转框检测](https://aistudio.baidu.com/aistudio/projectdetail/5058293) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/5058293) | +
    -#### 其他关键点检测模型 [文档链接](configs/keypoint) +### 💎PP-YOLOE-SOD 高精度小目标检测模型 -
    +PP-YOLOE-SOD(Small Object Detection)是PaddleDetection团队针对小目标检测提出的检测方案，在VisDrone-DET数据集上单模型精度达到38.5mAP，达到了SOTA性能。其分别基于切图拼图流程优化的小目标检测方案以及基于原图模型算法优化的小目标检测方案。同时提供了数据集自动分析脚本，只需输入数据集标注文件，便可得到数据集统计结果，辅助判断数据集是否是小目标数据集以及是否需要采用切图策略，同时给出网络超参数参考值。 -
    - 4. 多目标跟踪PP-Tracking +`传送门`：[PP-YOLOE-SOD 小目标检测模型](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/smalldet)。 -| 模型名称 | 模型简介 | 推荐场景 | 精度 | 配置文件 | 模型下载 | -|:--------- |:------------------------ |:---------------------------------- |:----------------------:|:---------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------:| -| ByteTrack | SDE多目标跟踪算法 仅包含检测模型 | 云边端 | MOT-17 test: 78.4 | [链接](configs/mot/bytetrack/bytetrack_yolox.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/mot/yolox_x_24e_800x1440_mix_det.pdparams) | -| FairMOT | JDE多目标跟踪算法 多任务联合学习方法 | 云边端 | MOT-16 test: 75.0 | [链接](configs/mot/fairmot/fairmot_dla34_30e_1088x608.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/mot/fairmot_dla34_30e_1088x608.pdparams) | -| OC-SORT | SDE多目标跟踪算法 仅包含检测模型 | 云边端 | MOT-17 half val: 75.5 | [链接](configs/mot/ocsort/ocsort_yolox.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/mot/yolox_x_24e_800x1440_mix_mot_ch.pdparams) | +
    + 预训练模型(点击展开) +- VisDrone数据集预训练模型 -#### 其他多目标跟踪模型 [文档链接](configs/mot) +| 模型 | COCOAPI mAPval
    0.5:0.95 | COCOAPI mAPval
    0.5 | COCOAPI mAPtest_dev
    0.5:0.95 | COCOAPI mAPtest_dev
    0.5 | MatlabAPI mAPtest_dev
    0.5:0.95 | MatlabAPI mAPtest_dev
    0.5 | 下载 | 配置文件 | +| :------------------ | :-----------------------------: | :------------------------: | :----------------------------------: | :-----------------------------: | :------------------------------------: | :-------------------------------: | :---------------------------------------------------------------------------------------------: | :----------------------------------------------------------: | +| **PP-YOLOE+_SOD-l** | **31.9** | **52.1** | **25.6** | **43.5** | **30.25** | **51.18** | [下载链接](https://paddledet.bj.bcebos.com/models/ppyoloe_plus_sod_crn_l_80e_visdrone.pdparams) | [配置文件](visdrone/ppyoloe_plus_sod_crn_l_80e_visdrone.yml) | +`传送门`：[全部预训练模型](https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/smalldet)。
    - 5. 产业级实时行人分析工具PP-Human + 产业应用代码示例(点击展开) + +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| ---- | ---------- | ---------------------------------------------------- | ------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------- | +| 通用 | 小目标检测 | 基于PP-YOLOE-SOD的无人机航拍图像检测案例全流程实操。 | [基于PP-YOLOE-SOD的无人机航拍图像检测](https://aistudio.baidu.com/aistudio/projectdetail/5036782) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/5036782) | +
    + +### 💫PP-PicoDet 超轻量实时目标检测模型 +全新的轻量级系列模型PP-PicoDet，在移动端具有卓越的性能，成为全新SOTA轻量级模型。 -| 任务 | 端到端速度（ms）| 模型方案 | 模型体积 | -| :---------: | :-------: | :------: |:------: | -| 行人检测（高精度） | 25.1ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | -| 行人检测（轻量级） | 16.2ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_pipeline.zip) | 27M | -| 行人跟踪（高精度） | 31.8ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | -| 行人跟踪（轻量级） | 21.0ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_pipeline.zip) | 27M | -| 属性识别（高精度） | 单人8.5ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/PPHGNet_small_person_attribute_954_infer.zip) | 目标检测：182M
    属性识别：86M | -| 属性识别（轻量级） | 单人7.1ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/PPLCNet_x1_0_person_attribute_945_infer.zip) | 目标检测：182M
    属性识别：86M | -| 摔倒识别 | 单人10ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [关键点检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/dark_hrnet_w32_256x192.zip)
    [基于关键点行为识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/STGCN.zip) | 多目标跟踪：182M
    关键点检测：101M
    基于关键点行为识别：21.8M | -| 闯入识别 | 31.8ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | -| 打架识别 | 19.7ms | [视频分类](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 90M | -| 抽烟识别 | 单人15.1ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [基于人体id的目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/ppyoloe_crn_s_80e_smoking_visdrone.zip) | 目标检测：182M
    基于人体id的目标检测：27M | -| 打电话识别 | 单人ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [基于人体id的图像分类](https://bj.bcebos.com/v1/paddledet/models/pipeline/PPHGNet_tiny_calling_halfbody.zip) | 目标检测：182M
    基于人体id的图像分类：45M | +`传送门`：[PP-PicoDet说明](configs/picodet/README.md)。 +`传送门`：[arXiv论文](https://arxiv.org/abs/2111.00902)。 -点击模型方案中的模型即可下载指定模型 +
    + 预训练模型(点击展开) -详细信息参考[文档](deploy/pipeline) +| 模型名称 | COCO精度（mAP） | 骁龙865 四线程速度(FPS) | 推荐部署硬件 | 配置文件 | 模型下载 | +| :-------- | :-------------: | :---------------------: | :------------: | :--------------------------------------------------: | :----------------------------------------------------------------------------------: | +| PicoDet-L | 36.1 | 39.7 | 移动端、嵌入式 | [链接](configs/picodet/picodet_l_320_coco_lcnet.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/picodet_l_320_coco_lcnet.pdparams) | +`传送门`：[全部预训练模型](configs/picodet/README.md)。
    +
    - 6. 产业级实时车辆分析工具PP-Vehicle + 产业应用代码示例(点击展开) -| 任务 | 端到端速度（ms）| 模型方案 | 模型体积 | -| :---------: | :-------: | :------: |:------: | -| 车辆检测（高精度） | 25.7ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | -| 车辆检测（轻量级） | 13.2ms | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_ppvehicle.zip) | 27M | -| 车辆跟踪（高精度） | 40ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | -| 车辆跟踪（轻量级） | 25ms | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_s_36e_ppvehicle.zip) | 27M | -| 车牌识别 | 4.68ms | [车牌检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_det_infer.tar.gz)
    [车牌识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_rec_infer.tar.gz) | 车牌检测：3.9M
    车牌字符识别： 12M | -| 车辆属性 | 7.31ms | [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/vehicle_attribute_model.zip) | 7.2M | +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| -------- | ------------ | ------------------------------------------------------------------------------------------------------------------------------ | ----------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------- | +| 智慧城市 | 道路垃圾检测 | 通过在市政环卫车辆上安装摄像头对路面垃圾检测并分析，实现对路面遗撒的垃圾进行监控，记录并通知环卫人员清理，大大提升了环卫人效。 | [基于PP-PicoDet的路面垃圾检测](https://aistudio.baidu.com/aistudio/projectdetail/3846170?channelType=0&channel=0) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/3846170?channelType=0&channel=0) | +
    -点击模型方案中的模型即可下载指定模型 +### 📡PP-Tracking 实时多目标跟踪系统 -详细信息参考[文档](deploy/pipeline) +PaddleDetection团队提供了实时多目标跟踪系统PP-Tracking，是基于PaddlePaddle深度学习框架的业界首个开源的实时多目标跟踪系统，具有模型丰富、应用广泛和部署高效三大优势。 PP-Tracking支持单镜头跟踪(MOT)和跨镜头跟踪(MTMCT)两种模式，针对实际业务的难点和痛点，提供了行人跟踪、车辆跟踪、多类别跟踪、小目标跟踪、流量统计以及跨镜头跟踪等各种多目标跟踪功能和应用，部署方式支持API调用和GUI可视化界面，部署语言支持Python和C++，部署平台环境支持Linux、NVIDIA Jetson等。 -
    +`传送门`：[PP-Tracking说明](configs/mot/README.md)。 +
    + 预训练模型(点击展开) -## 文档教程 +| 模型名称 | 模型简介 | 精度 | 速度(FPS) | 推荐部署硬件 | 配置文件 | 模型下载 | +| :-------- | :----------------------------------: | :--------------------: | :-------: | :--------------------: | :--------------------------------------------------------: | :------------------------------------------------------------------------------------------------: | +| ByteTrack | SDE多目标跟踪算法 仅包含检测模型 | MOT-17 test: 78.4 | - | 服务器、移动端、嵌入式 | [链接](configs/mot/bytetrack/bytetrack_yolox.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/mot/yolox_x_24e_800x1440_mix_det.pdparams) | +| FairMOT | JDE多目标跟踪算法 多任务联合学习方法 | MOT-16 test: 75.0 | - | 服务器、移动端、嵌入式 | [链接](configs/mot/fairmot/fairmot_dla34_30e_1088x608.yml) | [下载地址](https://paddledet.bj.bcebos.com/models/mot/fairmot_dla34_30e_1088x608.pdparams) | +| OC-SORT | SDE多目标跟踪算法 仅包含检测模型 | MOT-17 half val: 75.5 | - | 服务器、移动端、嵌入式 | [链接](configs/mot/ocsort/ocsort_yolox.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/mot/yolox_x_24e_800x1440_mix_mot_ch.pdparams) | +
    -### 入门教程 +
    + 产业应用代码示例(点击展开) -- [安装说明](docs/tutorials/INSTALL_cn.md) -- [快速体验](docs/tutorials/QUICK_STARTED_cn.md) -- [数据准备](docs/tutorials/data/README.md) -- [PaddleDetection全流程使用](docs/tutorials/GETTING_STARTED_cn.md) -- [FAQ/常见问题汇总](docs/tutorials/FAQ) +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| ---- | ---------- | -------------------------- | ---------------------------------------------------------------------------------------------- | --------------------------------------------------------------------- | +| 通用 | 多目标跟踪 | 快速上手单镜头、多镜头跟踪 | [PP-Tracking之手把手玩转多目标跟踪](https://aistudio.baidu.com/aistudio/projectdetail/3022582) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/3022582) | +
    -### 进阶教程 +### ⛷️PP-TinyPose 人体骨骼关键点识别 -- 参数配置 +PaddleDetection 中的关键点检测部分紧跟最先进的算法，包括 Top-Down 和 Bottom-Up 两种方法，可以满足用户的不同需求。同时，PaddleDetection 提供针对移动端设备优化的自研实时关键点检测模型 PP-TinyPose。 - - [RCNN参数说明](docs/tutorials/config_annotation/faster_rcnn_r50_fpn_1x_coco_annotation.md) - - [PP-YOLO参数说明](docs/tutorials/config_annotation/ppyolo_r50vd_dcn_1x_coco_annotation.md) +`传送门`：[PP-TinyPose说明](configs/keypoint/tiny_pose)。 -- 模型压缩(基于[PaddleSlim](https://github.com/PaddlePaddle/PaddleSlim)) +
    + 预训练模型(点击展开) - - [剪裁/量化/蒸馏教程](configs/slim) +| 模型名称 | 模型简介 | COCO精度（AP） | 速度(FPS) | 推荐部署硬件 | 配置文件 | 模型下载 | +| :---------: | :----------------------------------: | :------------: | :-----------------------: | :------------: | :-----------------------------------------------------: | :--------------------------------------------------------------------------------------: | +| PP-TinyPose | 轻量级关键点算法
    输入尺寸256x192 | 68.8 | 骁龙865 四线程: 158.7 FPS | 移动端、嵌入式 | [链接](configs/keypoint/tiny_pose/tinypose_256x192.yml) | [下载地址](https://bj.bcebos.com/v1/paddledet/models/keypoint/tinypose_256x192.pdparams) | -- [推理部署](deploy/README.md) +`传送门`：[全部预训练模型](configs/keypoint/README.md)。 +
    - - [模型导出教程](deploy/EXPORT_MODEL.md) - - [Paddle Inference部署](deploy/README.md) - - [Python端推理部署](deploy/python) - - [C++端推理部署](deploy/cpp) - - [Paddle-Lite部署](deploy/lite) - - [Paddle Serving部署](deploy/serving) - - [ONNX模型导出](deploy/EXPORT_ONNX_MODEL.md) - - [推理benchmark](deploy/BENCHMARK_INFER.md) +
    + 产业应用代码示例(点击展开) -- 进阶开发 +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| ---- | ---- | ---------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------- | +| 运动 | 健身 | 提供从模型选型、数据准备、模型训练优化，到后处理逻辑和模型部署的全流程可复用方案，有效解决了复杂健身动作的高效识别，打造AI虚拟健身教练！ | [基于PP-TinyPose增强版的智能健身动作识别](https://aistudio.baidu.com/aistudio/projectdetail/4385813) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/4385813) | +
    - - [数据处理模块](docs/advanced_tutorials/READER.md) - - [新增检测模型](docs/advanced_tutorials/MODEL_TECHNICAL.md) - - 二次开发教程 - - [目标检测](docs/advanced_tutorials/customization/detection.md) - - [关键点检测](docs/advanced_tutorials/customization/keypoint_detection.md) - - [多目标跟踪](docs/advanced_tutorials/customization/pphuman_mot.md) - - [行为识别](docs/advanced_tutorials/customization/action_recognotion/) - - [属性识别](docs/advanced_tutorials/customization/pphuman_attribute.md) +### 🏃🏻PP-Human 实时行人分析工具 -### 课程专栏 +PaddleDetection深入探索核心行业的高频场景，提供了行人开箱即用分析工具，支持图片/单镜头视频/多镜头视频/在线视频流多种输入方式，广泛应用于智慧交通、智慧城市、工业巡检等领域。支持服务器端部署及TensorRT加速，T4服务器上可达到实时。 +PP-Human支持四大产业级功能：五大异常行为识别、26种人体属性分析、实时人流计数、跨镜头（ReID）跟踪。 -- **【理论基础】[目标检测7日打卡营](https://aistudio.baidu.com/aistudio/education/group/info/1617)：** 目标检测任务综述、RCNN系列目标检测算法详解、YOLO系列目标检测算法详解、PP-YOLO优化策略与案例分享、AnchorFree系列算法介绍和实践 +`传送门`：[PP-Human行人分析工具使用指南](deploy/pipeline/README.md)。 + +
    + 预训练模型(点击展开) + +| 任务 | T4 TensorRT FP16: 速度（FPS） | 推荐部署硬件 | 模型下载 | 模型体积 | +| :----------------: | :---------------------------: | :----------: | :--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :---------------------------------------------------------------: | +| 行人检测（高精度） | 39.8 | 服务器 | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | +| 行人跟踪（高精度） | 31.4 | 服务器 | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | +| 属性识别（高精度） | 单人 117.6 | 服务器 | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/PPHGNet_small_person_attribute_954_infer.zip) | 目标检测：182M
    属性识别：86M | +| 摔倒识别 | 单人 100 | 服务器 | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [关键点检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/dark_hrnet_w32_256x192.zip)
    [基于关键点行为识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/STGCN.zip) | 多目标跟踪：182M
    关键点检测：101M
    基于关键点行为识别：21.8M | +| 闯入识别 | 31.4 | 服务器 | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 182M | +| 打架识别 | 50.8 | 服务器 | [视频分类](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip) | 90M | +| 抽烟识别 | 340.1 | 服务器 | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [基于人体id的目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/ppyoloe_crn_s_80e_smoking_visdrone.zip) | 目标检测：182M
    基于人体id的目标检测：27M | +| 打电话识别 | 166.7 | 服务器 | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_pipeline.zip)
    [基于人体id的图像分类](https://bj.bcebos.com/v1/paddledet/models/pipeline/PPHGNet_tiny_calling_halfbody.zip) | 目标检测：182M
    基于人体id的图像分类：45M | + +`传送门`：[完整预训练模型](deploy/pipeline/README.md)。 +
    -- **【产业实践】[AI快车道产业级目标检测技术与应用](https://aistudio.baidu.com/aistudio/education/group/info/23670)：** 目标检测超强目标检测算法矩阵、实时行人分析系统PP-Human、目标检测产业应用全流程拆解与实践 +
    + 产业应用代码示例(点击展开) -- **【行业特色】2022.3.26 [智慧城市行业七日课](https://aistudio.baidu.com/aistudio/education/group/info/25620)：** 城市规划、城市治理、智慧政务、交通管理、社区治理 +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| -------- | -------- | ---------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------ | ---------------------------------------------------------------------------------------- | +| 智能安防 | 摔倒检测 | 飞桨行人分析PP-Human中提供的摔倒识别算法，采用了关键点+时空图卷积网络的技术，对摔倒姿势无限制、背景环境无要求。 | [基于PP-Human v2的摔倒检测](https://aistudio.baidu.com/aistudio/projectdetail/4606001) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/4606001) | +| 智能安防 | 打架识别 | 本项目基于PaddleVideo视频开发套件训练打架识别模型，然后将训练好的模型集成到PaddleDetection的PP-Human中，助力行人行为分析。 | [基于PP-Human的打架识别](https://aistudio.baidu.com/aistudio/projectdetail/4086987?contributionType=1) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/4086987?contributionType=1) | +| 智能安防 | 摔倒检测 | 基于PP-Human完成来客分析整体流程。使用PP-Human完成来客分析中非常常见的场景： 1. 来客属性识别(单镜和跨境可视化）；2. 来客行为识别（摔倒识别）。 | [基于PP-Human的来客分析案例教程](https://aistudio.baidu.com/aistudio/projectdetail/4537344) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/4537344) | +
    -- **【学术交流】2022.9.27 [YOLO Vision世界学术交流大会](https://www.youtube.com/playlist?list=PL1FZnkj4ad1NHVC7CMc3pjSQ-JRK-Ev6O)：** PaddleDetection受邀参与首个以YOLO为主题的YOLO Vision世界大会，与全球AI领先开发者学习交流 +### 🏎️PP-Vehicle 实时车辆分析工具 -### [产业实践范例教程](./industrial_tutorial/README.md) +PaddleDetection深入探索核心行业的高频场景，提供了车辆开箱即用分析工具，支持图片/单镜头视频/多镜头视频/在线视频流多种输入方式，广泛应用于智慧交通、智慧城市、工业巡检等领域。支持服务器端部署及TensorRT加速，T4服务器上可达到实时。 +PP-Vehicle囊括四大交通场景核心功能：车牌识别、属性识别、车流量统计、违章检测。 -- [基于PP-YOLOE-R的旋转框检测](https://aistudio.baidu.com/aistudio/projectdetail/5058293) +`传送门`：[PP-Vehicle车辆分析工具指南](deploy/pipeline/README.md)。 -- [基于PP-YOLOE-SOD的无人机航拍图像检测](https://aistudio.baidu.com/aistudio/projectdetail/5036782) +
    + 预训练模型(点击展开) -- [基于PP-Human v2的摔倒检测](https://aistudio.baidu.com/aistudio/projectdetail/4606001) +| 任务 | T4 TensorRT FP16: 速度(FPS) | 推荐部署硬件 | 模型方案 | 模型体积 | +| :----------------: | :-------------------------: | :----------: | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------: | :-------------------------------------: | +| 车辆检测（高精度） | 38.9 | 服务器 | [目标检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | +| 车辆跟踪（高精度） | 25 | 服务器 | [多目标跟踪](https://bj.bcebos.com/v1/paddledet/models/pipeline/mot_ppyoloe_l_36e_ppvehicle.zip) | 182M | +| 车牌识别 | 213.7 | 服务器 | [车牌检测](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_det_infer.tar.gz)
    [车牌识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/ch_PP-OCRv3_rec_infer.tar.gz) | 车牌检测：3.9M
    车牌字符识别： 12M | +| 车辆属性 | 136.8 | 服务器 | [属性识别](https://bj.bcebos.com/v1/paddledet/models/pipeline/vehicle_attribute_model.zip) | 7.2M | -- [基于PP-TinyPose增强版的智能健身动作识别](https://aistudio.baidu.com/aistudio/projectdetail/4385813) +`传送门`：[完整预训练模型](deploy/pipeline/README.md)。 +
    -- [基于PP-PicoDet增强版的路面垃圾检测](https://aistudio.baidu.com/aistudio/projectdetail/3846170?channelType=0&channel=0) +
    + 产业应用代码示例(点击展开) -- [基于FairMOT实现人流量统计](https://aistudio.baidu.com/aistudio/projectdetail/2421822) +| 行业 | 类别 | 亮点 | 文档说明 | 模型下载 | +| -------- | ---------------- | ------------------------------------------------------------------------------------------------------------------ | --------------------------------------------------------------------------------------------- | --------------------------------------------------------------------- | +| 智慧交通 | 交通监控车辆分析 | 本项目基于PP-Vehicle演示智慧交通中最刚需的车流量监控、车辆违停检测以及车辆结构化（车牌、车型、颜色）分析三大场景。 | [基于PP-Vehicle的交通监控分析系统](https://aistudio.baidu.com/aistudio/projectdetail/4512254) | [下载链接](https://aistudio.baidu.com/aistudio/projectdetail/4512254) | +
    -- [基于PP-Human的来客分析案例教程](https://aistudio.baidu.com/aistudio/projectdetail/4537344) +## 💡产业实践范例 -- [更多其他范例](./industrial_tutorial/README.md) +产业实践范例是PaddleDetection针对高频目标检测应用场景，提供的端到端开发示例，帮助开发者打通数据标注-模型训练-模型调优-预测部署全流程。 +针对每个范例我们都通过[AI-Studio](https://ai.baidu.com/ai-doc/AISTUDIO/Tk39ty6ho)提供了项目代码以及说明，用户可以同步运行体验。 -## 应用案例 +`传送门`：[产业实践范例完整列表](industrial_tutorial/README.md) -- [安卓健身APP](https://github.com/zhiboniu/pose_demo_android) -- [多目标跟踪系统GUI可视化界面](https://github.com/yangyudong2020/PP-Tracking_GUi) +- [基于PP-YOLOE-R的旋转框检测](https://aistudio.baidu.com/aistudio/projectdetail/5058293) +- [基于PP-YOLOE-SOD的无人机航拍图像检测](https://aistudio.baidu.com/aistudio/projectdetail/5036782) +- [基于PP-Vehicle的交通监控分析系统](https://aistudio.baidu.com/aistudio/projectdetail/4512254) +- [基于PP-Human v2的摔倒检测](https://aistudio.baidu.com/aistudio/projectdetail/4606001) +- [基于PP-TinyPose增强版的智能健身动作识别](https://aistudio.baidu.com/aistudio/projectdetail/4385813) +- [基于PP-Human的打架识别](https://aistudio.baidu.com/aistudio/projectdetail/4086987?contributionType=1) +- [基于Faster-RCNN的瓷砖表面瑕疵检测](https://aistudio.baidu.com/aistudio/projectdetail/2571419) +- [基于PaddleDetection的PCB瑕疵检测](https://aistudio.baidu.com/aistudio/projectdetail/2367089) +- [基于FairMOT实现人流量统计](https://aistudio.baidu.com/aistudio/projectdetail/2421822) +- [基于YOLOv3实现跌倒检测](https://aistudio.baidu.com/aistudio/projectdetail/2500639) +- [基于PP-PicoDetv2 的路面垃圾检测](https://aistudio.baidu.com/aistudio/projectdetail/3846170?channelType=0&channel=0) +- [基于人体关键点检测的合规检测](https://aistudio.baidu.com/aistudio/projectdetail/4061642?contributionType=1) +- [基于PP-Human的来客分析案例教程](https://aistudio.baidu.com/aistudio/projectdetail/4537344) +- 持续更新中... -## 第三方教程推荐 +## 🏆企业应用案例 -- [PaddleDetection在Windows下的部署(一)](https://zhuanlan.zhihu.com/p/268657833) -- [PaddleDetection在Windows下的部署(二)](https://zhuanlan.zhihu.com/p/280206376) -- [Jetson Nano上部署PaddleDetection经验分享](https://zhuanlan.zhihu.com/p/319371293) -- [安全帽检测YOLOv3模型在树莓派上的部署](https://github.com/PaddleCV-FAQ/PaddleDetection-FAQ/blob/main/Lite%E9%83%A8%E7%BD%B2/yolov3_for_raspi.md) -- [使用SSD-MobileNetv1完成一个项目--准备数据集到完成树莓派部署](https://github.com/PaddleCV-FAQ/PaddleDetection-FAQ/blob/main/Lite%E9%83%A8%E7%BD%B2/ssd_mobilenet_v1_for_raspi.md) +企业应用案例是企业在实生产环境下落地应用PaddleDetection的方案思路，相比产业实践范例其更多强调整体方案设计思路，可供开发者在项目方案设计中做参考。 -## 版本更新 +`传送门`：[企业应用案例完整列表](https://www.paddlepaddle.org.cn/customercase) -版本更新内容请参考[版本更新文档](docs/CHANGELOG.md) +- [中国南方电网——变电站智慧巡检](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2330) +- [国铁电气——轨道在线智能巡检系统](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2280) +- [京东物流——园区车辆行为识别](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2611) +- [中兴克拉—厂区传统仪表统计监测](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2618) +- [宁德时代—动力电池高精度质量检测](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2609) +- [中国科学院空天信息创新研究院——高尔夫球场遥感监测](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2483) +- [御航智能——基于边缘的无人机智能巡检](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2481) +- [普宙无人机——高精度森林巡检](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2121) +- [领邦智能——红外无感测温监控](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2615) +- [北京地铁——口罩检测](https://mp.weixin.qq.com/s/znrqaJmtA7CcjG0yQESWig) +- [音智达——工厂人员违规行为检测](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2288) +- [华夏天信——输煤皮带机器人智能巡检](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2331) +- [优恩物联网——社区住户分类支持广告精准投放](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2485) +- [螳螂慧视——室内3D点云场景物体分割与检测](https://www.paddlepaddle.org.cn/support/news?action=detail&id=2599) +- 持续更新中... -## 许可证书 +## 📝许可证书 本项目的发布受[Apache 2.0 license](LICENSE)许可认证。 -## 引用 +## 📌引用 ``` @misc{ppdet2019, title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.}, author={PaddlePaddle Authors}, -howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}}, -year={2019} -} -``` +howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}}, \ No newline at end of file