Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
风吴痕
cvInfer
提交
37d936fc
C
cvInfer
项目概览
风吴痕
/
cvInfer
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
cvInfer
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
37d936fc
编写于
3月 19, 2024
作者:
风吴痕
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
更新readme.md
上级
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
33 addition
and
0 deletion
+33
-0
readme.md
readme.md
+33
-0
未找到文件。
readme.md
0 → 100644
浏览文件 @
37d936fc
-
https://www.cvmart.net/community/detail/7040
-
https://www.cvmart.net/community/detail/5609
# 1、训练模型 python训练 (略过)
# 2、模型推理部署
-
python推理 纯pytorch,onnx,openvino,tensorrt(pytorch-tensorrt)
-
C++推理 libtorch,c++ onnx,c++ openvino,c++ tensorrt
-
模型压缩,蒸馏,剪枝,量化等 (nncf,nni,distiller,pytorch-quantization,pytorch.fx,TensorRT-PyTorch-Quantization)
-
部署 小服务flask,QT(Pyside6),gradio;NCNN,MNN,TVM,QNNPACK,Mediapipe
| 模型推理部署框架 | 应用平台 |
| ---------------- | ------------------------------------------------------------ |
| NCNN | 移动端 |
| OpenVINO | CPU,GPU,嵌入式平台都可以使用,尤其是在CPU上首选OPenVINO。DepthAI嵌入式空间AI平台。 |
| TensorRT | 只能用在NIVDIA的GPU上的推理框架。NIVDIA的Jetson平台。 |
| Mediapipe | 服务端,移动端,嵌入式平台,TPU。 |
### 研发单位:
-
腾讯公司开发的移动端平台部署工具——NCNN;
-
Intel公司针对自家设备开开发的部署工具——OpenVINO;
-
NVIDIA公司针对自家GPU开发的部署工具——TensorRT;
-
Google针对自家硬件设备和深度学习框架开发的部署工具——Mediapipe;
-
由微软、亚马逊 、Facebook 和 IBM 等公司共同开发的开放神经网络交换格式——ONNX;
### 如何选择:
-
ONNXRuntime 是可以运行在多平台 (Windows,Linux,Mac,Android,iOS) 上的一款推理框架,它接受 ONNX 格式的模型输入,支持 GPU 和 CPU 的推理。唯一不足就是 ONNX 节点粒度较细,推理速度有时候比其他推理框架如 TensorRT 较低。
-
NCNN是针对手机端的部署。优势是开源较早,有非常稳定的社区,开源影响力也较高。
-
OpenVINO 是 Intel 家出的针对 Intel 出品的 CPU 和 GPU 友好的一款推理框架,同时它也是对接不同训练框架如 TensorFlow,Pytorch,Caffe 等。不足之处可能是只支持 Intel 家的硬件产品。
-
TensorRT 针对 NVIDIA 系列显卡具有其他框架都不具备的优势,如果运行在 NVIDIA 显卡上, TensorRT 一般是所有框架中推理最快的。一般的主流的训练框架如TensorFlow 和 Pytorch 都能转换成 TensorRT 可运行的模型。当然了,TensorRT 的限制就是只能运行在 NVIDIA 显卡上,同时不开源 kernel。
-
MediaPipe 不支持除了tensorflow之外的其他深度学习框架。MediaPipe 的主要用例是使用推理模型和其他可重用组件对应用机器学习管道进行快速原型设计。MediaPipe 还有助于将机器学习技术部署到各种不同硬件平台上的演示和应用程序中,为移动、桌面/云、web和物联网设备构建世界级ML解决方案和应用程序。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录