未验证 提交 305090d8 编写于 作者: J Jason 提交者: GitHub

Merge pull request #318 from PaddlePaddle/develop

upgrade to v1.2.1
文件已添加
...@@ -6,9 +6,7 @@ ...@@ -6,9 +6,7 @@
</p> </p>
<p align= "center"> PaddleX -- 飞桨全流程开发工具,以低代码的形式支持开发者快速实现产业实际项目落地 </p> <p align= "center"> PaddleX -- 飞桨全流程开发套件,以低代码的形式支持开发者快速实现产业实际项目落地 </p>
[完整PaddleX在线使用文档目录](https://paddlex.readthedocs.io/zh_CN/develop/index.html)
[![License](https://img.shields.io/badge/license-Apache%202-red.svg)](LICENSE) [![License](https://img.shields.io/badge/license-Apache%202-red.svg)](LICENSE)
[![Version](https://img.shields.io/github/release/PaddlePaddle/PaddleX.svg)](https://github.com/PaddlePaddle/PaddleX/releases) [![Version](https://img.shields.io/github/release/PaddlePaddle/PaddleX.svg)](https://github.com/PaddlePaddle/PaddleX/releases)
...@@ -16,10 +14,14 @@ ...@@ -16,10 +14,14 @@
![support os](https://img.shields.io/badge/os-linux%2C%20win%2C%20mac-yellow.svg) ![support os](https://img.shields.io/badge/os-linux%2C%20win%2C%20mac-yellow.svg)
![QQGroup](https://img.shields.io/badge/QQ_Group-1045148026-52B6EF?style=social&logo=tencent-qq&logoColor=000&logoWidth=20) ![QQGroup](https://img.shields.io/badge/QQ_Group-1045148026-52B6EF?style=social&logo=tencent-qq&logoColor=000&logoWidth=20)
[完整PaddleX在线使用文档目录](https://paddlex.readthedocs.io/zh_CN/develop/index.html)
集成飞桨智能视觉领域**图像分类****目标检测****语义分割****实例分割**任务能力,将深度学习开发全流程从**数据准备****模型训练与优化****多端部署**端到端打通,并提供**统一任务API接口****图形化开发界面Demo**。开发者无需分别安装不同套件,以**低代码**的形式即可快速完成飞桨全流程开发。 集成飞桨智能视觉领域**图像分类****目标检测****语义分割****实例分割**任务能力,将深度学习开发全流程从**数据准备****模型训练与优化****多端部署**端到端打通,并提供**统一任务API接口****图形化开发界面Demo**。开发者无需分别安装不同套件,以**低代码**的形式即可快速完成飞桨全流程开发。
**PaddleX** 经过**质检****安防****巡检****遥感****零售****医疗**等十多个行业实际应用场景验证,沉淀产业实际经验,**并提供丰富的案例实践教程**,全程助力开发者产业实践落地。 **PaddleX** 经过**质检****安防****巡检****遥感****零售****医疗**等十多个行业实际应用场景验证,沉淀产业实际经验,**并提供丰富的案例实践教程**,全程助力开发者产业实践落地。
![](./docs/gui/images/paddlexoverview.png)
## 安装 ## 安装
......
...@@ -232,5 +232,7 @@ class Model { ...@@ -232,5 +232,7 @@ class Model {
std::vector<float> outputs_; std::vector<float> outputs_;
// a predictor which run the model predicting // a predictor which run the model predicting
std::unique_ptr<paddle::PaddlePredictor> predictor_; std::unique_ptr<paddle::PaddlePredictor> predictor_;
// input channel
int input_channel_;
}; };
} // namespace PaddleX } // namespace PaddleX
...@@ -82,6 +82,16 @@ class Normalize : public Transform { ...@@ -82,6 +82,16 @@ class Normalize : public Transform {
virtual void Init(const YAML::Node& item) { virtual void Init(const YAML::Node& item) {
mean_ = item["mean"].as<std::vector<float>>(); mean_ = item["mean"].as<std::vector<float>>();
std_ = item["std"].as<std::vector<float>>(); std_ = item["std"].as<std::vector<float>>();
if (item["min_val"].IsDefined()) {
min_val_ = item["min_val"].as<std::vector<float>>();
} else {
min_val_ = std::vector<float>(mean_.size(), 0.);
}
if (item["max_val"].IsDefined()) {
max_val_ = item["max_val"].as<std::vector<float>>();
} else {
max_val_ = std::vector<float>(mean_.size(), 255.);
}
} }
virtual bool Run(cv::Mat* im, ImageBlob* data); virtual bool Run(cv::Mat* im, ImageBlob* data);
...@@ -89,6 +99,8 @@ class Normalize : public Transform { ...@@ -89,6 +99,8 @@ class Normalize : public Transform {
private: private:
std::vector<float> mean_; std::vector<float> mean_;
std::vector<float> std_; std::vector<float> std_;
std::vector<float> min_val_;
std::vector<float> max_val_;
}; };
/* /*
...@@ -229,6 +241,25 @@ class Padding : public Transform { ...@@ -229,6 +241,25 @@ class Padding : public Transform {
int height_ = 0; int height_ = 0;
std::vector<float> im_value_; std::vector<float> im_value_;
}; };
/*
* @brief
* This class execute clip operation on image matrix
* */
class Clip : public Transform {
public:
virtual void Init(const YAML::Node& item) {
min_val_ = item["min_val"].as<std::vector<float>>();
max_val_ = item["max_val"].as<std::vector<float>>();
}
virtual bool Run(cv::Mat* im, ImageBlob* data);
private:
std::vector<float> min_val_;
std::vector<float> max_val_;
};
/* /*
* @brief * @brief
* This class is transform operations manager. It stores all neccessary * This class is transform operations manager. It stores all neccessary
......
...@@ -66,7 +66,7 @@ void Model::create_predictor(const std::string& model_dir, ...@@ -66,7 +66,7 @@ void Model::create_predictor(const std::string& model_dir,
if (key == "") { if (key == "") {
config.SetModel(model_file, params_file); config.SetModel(model_file, params_file);
} }
if (use_mkl) { if (use_mkl && !use_gpu) {
if (name != "HRNet" && name != "DeepLabv3p" && name != "PPYOLO") { if (name != "HRNet" && name != "DeepLabv3p" && name != "PPYOLO") {
config.EnableMKLDNN(); config.EnableMKLDNN();
config.SetCpuMathLibraryNumThreads(mkl_thread_num); config.SetCpuMathLibraryNumThreads(mkl_thread_num);
...@@ -134,6 +134,11 @@ bool Model::load_config(const std::string& yaml_input) { ...@@ -134,6 +134,11 @@ bool Model::load_config(const std::string& yaml_input) {
int index = labels.size(); int index = labels.size();
labels[index] = item.as<std::string>(); labels[index] = item.as<std::string>();
} }
if (config["_init_params"]["input_channel"].IsDefined()) {
input_channel_ = config["_init_params"]["input_channel"].as<int>();
} else {
input_channel_ = 3;
}
return true; return true;
} }
...@@ -179,7 +184,7 @@ bool Model::predict(const cv::Mat& im, ClsResult* result) { ...@@ -179,7 +184,7 @@ bool Model::predict(const cv::Mat& im, ClsResult* result) {
auto in_tensor = predictor_->GetInputTensor("image"); auto in_tensor = predictor_->GetInputTensor("image");
int h = inputs_.new_im_size_[0]; int h = inputs_.new_im_size_[0];
int w = inputs_.new_im_size_[1]; int w = inputs_.new_im_size_[1];
in_tensor->Reshape({1, 3, h, w}); in_tensor->Reshape({1, input_channel_, h, w});
in_tensor->copy_from_cpu(inputs_.im_data_.data()); in_tensor->copy_from_cpu(inputs_.im_data_.data());
predictor_->ZeroCopyRun(); predictor_->ZeroCopyRun();
// get result // get result
...@@ -226,12 +231,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch, ...@@ -226,12 +231,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch,
auto in_tensor = predictor_->GetInputTensor("image"); auto in_tensor = predictor_->GetInputTensor("image");
int h = inputs_batch_[0].new_im_size_[0]; int h = inputs_batch_[0].new_im_size_[0];
int w = inputs_batch_[0].new_im_size_[1]; int w = inputs_batch_[0].new_im_size_[1];
in_tensor->Reshape({batch_size, 3, h, w}); in_tensor->Reshape({batch_size, input_channel_, h, w});
std::vector<float> inputs_data(batch_size * 3 * h * w); std::vector<float> inputs_data(batch_size * input_channel_ * h * w);
for (int i = 0; i < batch_size; ++i) { for (int i = 0; i < batch_size; ++i) {
std::copy(inputs_batch_[i].im_data_.begin(), std::copy(inputs_batch_[i].im_data_.begin(),
inputs_batch_[i].im_data_.end(), inputs_batch_[i].im_data_.end(),
inputs_data.begin() + i * 3 * h * w); inputs_data.begin() + i * input_channel_ * h * w);
} }
in_tensor->copy_from_cpu(inputs_data.data()); in_tensor->copy_from_cpu(inputs_data.data());
// in_tensor->copy_from_cpu(inputs_.im_data_.data()); // in_tensor->copy_from_cpu(inputs_.im_data_.data());
...@@ -285,7 +290,7 @@ bool Model::predict(const cv::Mat& im, DetResult* result) { ...@@ -285,7 +290,7 @@ bool Model::predict(const cv::Mat& im, DetResult* result) {
int h = inputs_.new_im_size_[0]; int h = inputs_.new_im_size_[0];
int w = inputs_.new_im_size_[1]; int w = inputs_.new_im_size_[1];
auto im_tensor = predictor_->GetInputTensor("image"); auto im_tensor = predictor_->GetInputTensor("image");
im_tensor->Reshape({1, 3, h, w}); im_tensor->Reshape({1, input_channel_, h, w});
im_tensor->copy_from_cpu(inputs_.im_data_.data()); im_tensor->copy_from_cpu(inputs_.im_data_.data());
if (name == "YOLOv3" || name == "PPYOLO") { if (name == "YOLOv3" || name == "PPYOLO") {
...@@ -439,12 +444,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch, ...@@ -439,12 +444,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch,
int h = inputs_batch_[0].new_im_size_[0]; int h = inputs_batch_[0].new_im_size_[0];
int w = inputs_batch_[0].new_im_size_[1]; int w = inputs_batch_[0].new_im_size_[1];
auto im_tensor = predictor_->GetInputTensor("image"); auto im_tensor = predictor_->GetInputTensor("image");
im_tensor->Reshape({batch_size, 3, h, w}); im_tensor->Reshape({batch_size, input_channel_, h, w});
std::vector<float> inputs_data(batch_size * 3 * h * w); std::vector<float> inputs_data(batch_size * input_channel_ * h * w);
for (int i = 0; i < batch_size; ++i) { for (int i = 0; i < batch_size; ++i) {
std::copy(inputs_batch_[i].im_data_.begin(), std::copy(inputs_batch_[i].im_data_.begin(),
inputs_batch_[i].im_data_.end(), inputs_batch_[i].im_data_.end(),
inputs_data.begin() + i * 3 * h * w); inputs_data.begin() + i * input_channel_ * h * w);
} }
im_tensor->copy_from_cpu(inputs_data.data()); im_tensor->copy_from_cpu(inputs_data.data());
if (name == "YOLOv3" || name == "PPYOLO") { if (name == "YOLOv3" || name == "PPYOLO") {
...@@ -584,7 +589,7 @@ bool Model::predict(const cv::Mat& im, SegResult* result) { ...@@ -584,7 +589,7 @@ bool Model::predict(const cv::Mat& im, SegResult* result) {
int h = inputs_.new_im_size_[0]; int h = inputs_.new_im_size_[0];
int w = inputs_.new_im_size_[1]; int w = inputs_.new_im_size_[1];
auto im_tensor = predictor_->GetInputTensor("image"); auto im_tensor = predictor_->GetInputTensor("image");
im_tensor->Reshape({1, 3, h, w}); im_tensor->Reshape({1, input_channel_, h, w});
im_tensor->copy_from_cpu(inputs_.im_data_.data()); im_tensor->copy_from_cpu(inputs_.im_data_.data());
// predict // predict
...@@ -698,12 +703,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch, ...@@ -698,12 +703,12 @@ bool Model::predict(const std::vector<cv::Mat>& im_batch,
int h = inputs_batch_[0].new_im_size_[0]; int h = inputs_batch_[0].new_im_size_[0];
int w = inputs_batch_[0].new_im_size_[1]; int w = inputs_batch_[0].new_im_size_[1];
auto im_tensor = predictor_->GetInputTensor("image"); auto im_tensor = predictor_->GetInputTensor("image");
im_tensor->Reshape({batch_size, 3, h, w}); im_tensor->Reshape({batch_size, input_channel_, h, w});
std::vector<float> inputs_data(batch_size * 3 * h * w); std::vector<float> inputs_data(batch_size * input_channel_ * h * w);
for (int i = 0; i < batch_size; ++i) { for (int i = 0; i < batch_size; ++i) {
std::copy(inputs_batch_[i].im_data_.begin(), std::copy(inputs_batch_[i].im_data_.begin(),
inputs_batch_[i].im_data_.end(), inputs_batch_[i].im_data_.end(),
inputs_data.begin() + i * 3 * h * w); inputs_data.begin() + i * input_channel_ * h * w);
} }
im_tensor->copy_from_cpu(inputs_data.data()); im_tensor->copy_from_cpu(inputs_data.data());
// im_tensor->copy_from_cpu(inputs_.im_data_.data()); // im_tensor->copy_from_cpu(inputs_.im_data_.data());
......
...@@ -20,7 +20,6 @@ ...@@ -20,7 +20,6 @@
#include <string> #include <string>
#include <vector> #include <vector>
namespace PaddleX { namespace PaddleX {
std::map<std::string, int> interpolations = {{"LINEAR", cv::INTER_LINEAR}, std::map<std::string, int> interpolations = {{"LINEAR", cv::INTER_LINEAR},
...@@ -30,16 +29,20 @@ std::map<std::string, int> interpolations = {{"LINEAR", cv::INTER_LINEAR}, ...@@ -30,16 +29,20 @@ std::map<std::string, int> interpolations = {{"LINEAR", cv::INTER_LINEAR},
{"LANCZOS4", cv::INTER_LANCZOS4}}; {"LANCZOS4", cv::INTER_LANCZOS4}};
bool Normalize::Run(cv::Mat* im, ImageBlob* data) { bool Normalize::Run(cv::Mat* im, ImageBlob* data) {
for (int h = 0; h < im->rows; h++) { std::vector<float> range_val;
for (int w = 0; w < im->cols; w++) { for (int c = 0; c < im->channels(); c++) {
im->at<cv::Vec3f>(h, w)[0] = range_val.push_back(max_val_[c] - min_val_[c]);
(im->at<cv::Vec3f>(h, w)[0] / 255.0 - mean_[0]) / std_[0];
im->at<cv::Vec3f>(h, w)[1] =
(im->at<cv::Vec3f>(h, w)[1] / 255.0 - mean_[1]) / std_[1];
im->at<cv::Vec3f>(h, w)[2] =
(im->at<cv::Vec3f>(h, w)[2] / 255.0 - mean_[2]) / std_[2];
}
} }
std::vector<cv::Mat> split_im;
cv::split(*im, split_im);
for (int c = 0; c < im->channels(); c++) {
cv::subtract(split_im[c], cv::Scalar(min_val_[c]), split_im[c]);
cv::divide(split_im[c], cv::Scalar(range_val[c]), split_im[c]);
cv::subtract(split_im[c], cv::Scalar(mean_[c]), split_im[c]);
cv::divide(split_im[c], cv::Scalar(std_[c]), split_im[c]);
}
cv::merge(split_im, *im);
return true; return true;
} }
...@@ -113,11 +116,22 @@ bool Padding::Run(cv::Mat* im, ImageBlob* data) { ...@@ -113,11 +116,22 @@ bool Padding::Run(cv::Mat* im, ImageBlob* data) {
<< ", but they should be greater than 0." << std::endl; << ", but they should be greater than 0." << std::endl;
return false; return false;
} }
cv::Scalar value = cv::Scalar(im_value_[0], im_value_[1], im_value_[2]); std::vector<cv::Mat> padded_im_per_channel;
cv::copyMakeBorder( for (size_t i = 0; i < im->channels(); i++) {
*im, *im, 0, padding_h, 0, padding_w, cv::BORDER_CONSTANT, value); const cv::Mat per_channel = cv::Mat(im->rows + padding_h,
im->cols + padding_w,
CV_32FC1,
cv::Scalar(im_value_[i]));
padded_im_per_channel.push_back(per_channel);
}
cv::Mat padded_im;
cv::merge(padded_im_per_channel, padded_im);
cv::Rect im_roi = cv::Rect(0, 0, im->cols, im->rows);
im->copyTo(padded_im(im_roi));
*im = padded_im;
data->new_im_size_[0] = im->rows; data->new_im_size_[0] = im->rows;
data->new_im_size_[1] = im->cols; data->new_im_size_[1] = im->cols;
return true; return true;
} }
...@@ -163,12 +177,26 @@ bool Resize::Run(cv::Mat* im, ImageBlob* data) { ...@@ -163,12 +177,26 @@ bool Resize::Run(cv::Mat* im, ImageBlob* data) {
return true; return true;
} }
bool Clip::Run(cv::Mat* im, ImageBlob* data) {
std::vector<cv::Mat> split_im;
cv::split(*im, split_im);
for (int c = 0; c < im->channels(); c++) {
cv::threshold(split_im[c], split_im[c], max_val_[c], max_val_[c],
cv::THRESH_TRUNC);
cv::subtract(cv::Scalar(0), split_im[c], split_im[c]);
cv::threshold(split_im[c], split_im[c], min_val_[c], min_val_[c],
cv::THRESH_TRUNC);
cv::divide(split_im[c], cv::Scalar(-1), split_im[c]);
}
cv::merge(split_im, *im);
return true;
}
void Transforms::Init(const YAML::Node& transforms_node, bool to_rgb) { void Transforms::Init(const YAML::Node& transforms_node, bool to_rgb) {
transforms_.clear(); transforms_.clear();
to_rgb_ = to_rgb; to_rgb_ = to_rgb;
for (const auto& item : transforms_node) { for (const auto& item : transforms_node) {
std::string name = item.begin()->first.as<std::string>(); std::string name = item.begin()->first.as<std::string>();
std::cout << "trans name: " << name << std::endl;
std::shared_ptr<Transform> transform = CreateTransform(name); std::shared_ptr<Transform> transform = CreateTransform(name);
transform->Init(item.begin()->second); transform->Init(item.begin()->second);
transforms_.push_back(transform); transforms_.push_back(transform);
...@@ -189,6 +217,8 @@ std::shared_ptr<Transform> Transforms::CreateTransform( ...@@ -189,6 +217,8 @@ std::shared_ptr<Transform> Transforms::CreateTransform(
return std::make_shared<Padding>(); return std::make_shared<Padding>();
} else if (transform_name == "ResizeByLong") { } else if (transform_name == "ResizeByLong") {
return std::make_shared<ResizeByLong>(); return std::make_shared<ResizeByLong>();
} else if (transform_name == "Clip") {
return std::make_shared<Clip>();
} else { } else {
std::cerr << "There's unexpected transform(name='" << transform_name std::cerr << "There's unexpected transform(name='" << transform_name
<< "')." << std::endl; << "')." << std::endl;
...@@ -201,7 +231,7 @@ bool Transforms::Run(cv::Mat* im, ImageBlob* data) { ...@@ -201,7 +231,7 @@ bool Transforms::Run(cv::Mat* im, ImageBlob* data) {
if (to_rgb_) { if (to_rgb_) {
cv::cvtColor(*im, *im, cv::COLOR_BGR2RGB); cv::cvtColor(*im, *im, cv::COLOR_BGR2RGB);
} }
(*im).convertTo(*im, CV_32FC3); (*im).convertTo(*im, CV_32FC(im->channels()));
data->ori_im_size_[0] = im->rows; data->ori_im_size_[0] = im->rows;
data->ori_im_size_[1] = im->cols; data->ori_im_size_[1] = im->cols;
data->new_im_size_[0] = im->rows; data->new_im_size_[0] = im->rows;
......
...@@ -89,7 +89,7 @@ cv::Mat Visualize(const cv::Mat& img, ...@@ -89,7 +89,7 @@ cv::Mat Visualize(const cv::Mat& img,
cv::Mat bin_mask(boxes[i].mask.shape[1], cv::Mat bin_mask(boxes[i].mask.shape[1],
boxes[i].mask.shape[0], boxes[i].mask.shape[0],
CV_32FC1, CV_32FC1,
boxes[i].mask.data.data()); mask_data.data());
cv::Mat full_mask = cv::Mat::zeros(vis_img.size(), CV_8UC1); cv::Mat full_mask = cv::Mat::zeros(vis_img.size(), CV_8UC1);
bin_mask.copyTo(full_mask(roi)); bin_mask.copyTo(full_mask(roi));
cv::Mat mask_ch[3]; cv::Mat mask_ch[3];
......
文件已添加
...@@ -27,7 +27,7 @@ Seg分析器的分析接口,完成以下信息的分析统计: ...@@ -27,7 +27,7 @@ Seg分析器的分析接口,完成以下信息的分析统计:
> * 图像各通道归一化后的均值和方差 > * 图像各通道归一化后的均值和方差
> * 标注图中各类别的数量及比重 > * 标注图中各类别的数量及比重
[代码示例](https://github.com/PaddlePaddle/PaddleX/examples/multi-channel_remote_sensing/tools/analysis.py) [代码示例](https://github.com/PaddlePaddle/PaddleX/blob/develop/examples/multi-channel_remote_sensing/tools/analysis.py)
[统计信息示例](../../examples/multi-channel_remote_sensing/analysis.html#id2) [统计信息示例](../../examples/multi-channel_remote_sensing/analysis.html#id2)
...@@ -43,6 +43,6 @@ Seg分析器用于计算图像截断后的均值和方差的接口。 ...@@ -43,6 +43,6 @@ Seg分析器用于计算图像截断后的均值和方差的接口。
> > * **clip_max_value** (list): 截断的上限,大于max_val的数值均设为max_val。 > > * **clip_max_value** (list): 截断的上限,大于max_val的数值均设为max_val。
> > * **data_info_file** (str): 在analysis()接口中保存的分析结果文件(名为`train_information.pkl`)的路径。 > > * **data_info_file** (str): 在analysis()接口中保存的分析结果文件(名为`train_information.pkl`)的路径。
[代码示例](https://github.com/PaddlePaddle/PaddleX/examples/multi-channel_remote_sensing/tools/cal_clipped_mean_std.py) [代码示例](https://github.com/PaddlePaddle/PaddleX/blob/develop/examples/multi-channel_remote_sensing/tools/cal_clipped_mean_std.py)
[计算结果示例](../../examples/multi-channel_remote_sensing/analysis.html#id4) [计算结果示例](../../examples/multi-channel_remote_sensing/analysis.html#id4)
...@@ -23,8 +23,12 @@ LIME表示与模型无关的局部可解释性,可以解释任何模型。LIME ...@@ -23,8 +23,12 @@ LIME表示与模型无关的局部可解释性,可以解释任何模型。LIME
>* **batch_size** (int): 预测数据batch大小,默认为50。 >* **batch_size** (int): 预测数据batch大小,默认为50。
>* **save_dir** (str): 可解释性可视化结果(保存为png格式文件)和中间文件存储路径。 >* **save_dir** (str): 可解释性可视化结果(保存为png格式文件)和中间文件存储路径。
### 可视化效果
![](./docs/gui/images/LIME.png)
### 使用示例 ### 使用示例
> 对预测可解释性结果可视化的过程可参见[代码](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/interpret/lime.py)。 > 对预测可解释性结果可视化的过程可参见[代码](https://github.com/PaddlePaddle/PaddleX/blob/develop/tutorials/interpret/lime.py)。
......
...@@ -5,35 +5,29 @@ PaddleX在模型训练时,存在以下两种情况需要进行联网下载 ...@@ -5,35 +5,29 @@ PaddleX在模型训练时,存在以下两种情况需要进行联网下载
> 2.模型裁剪训练时,用户没有配置自定义的参数敏感度信息文件`sensitivities_file`,并将`sensitivities_file`配置成了'DEFAULT'字符串,此时PaddleX会自动联网下载模型在标准数据集上计算得到的参数敏感度信息文件。 > 2.模型裁剪训练时,用户没有配置自定义的参数敏感度信息文件`sensitivities_file`,并将`sensitivities_file`配置成了'DEFAULT'字符串,此时PaddleX会自动联网下载模型在标准数据集上计算得到的参数敏感度信息文件。
## 如何在没联网的情况下进行模型训练 用户可以通过本文最末的代码先下载好所有的预训练模型到指定的目录(在代码中我们下载到了`/home/work/paddlex_pretrain`目录)
> 在训练模型时,不管是正常训练还是裁剪训练,用户可以提前准备好预训练权重或参数敏感度信息文档,只需自定义`pretrain_weights`或`sensitivities_file`, 将其设为本地的路径即可。
在训练模型时,需要配置paddlex全局预训练模型路径,将此路径指定到存放了所有预训练模型的路径即可,如下示例代码
```
## 预训练模型下载地址 import paddlex as pdx
> 以下模型均为分类模型权重(UNet除外),用户在训练模型时,需要**根据分类模型的种类或backbone的种类**,选择对应的模型权重进行下载(目标检测在使用ResNet50作为Backbone时,使用下面表格中的ResNet50_cos作为预训练模型) # 在import paddlex指定全局的预训练模型路径
# 模型训练时会跳过下载的过程,使用该目录下载好的模型
| 模型(点击下载) | 数据集 | pdx.pretrain_dir = '/home/work/paddlex_pretrain'
| :------------|:------| ```
| [ResNet18](https://paddle-imagenet-models-name.bj.bcebos.com/ResNet18_pretrained.tar) | ImageNet | 按上方式配置后,之后即可进行无联网模型训练
| [ResNet34](https://paddle-imagenet-models-name.bj.bcebos.com/ResNet34_pretrained.tar) | ImageNet |
| [ResNet50](http://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_pretrained.tar) | ImageNet |
| [ResNet101](http://paddle-imagenet-models-name.bj.bcebos.com/ResNet101_pretrained.tar) | ImageNet | ### 下载所有预训练模型代码
| [ResNet50_vd](https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_pretrained.tar) | ImageNet |
| [ResNet101_vd](https://paddle-imagenet-models-name.bj.bcebos.com/ResNet101_vd_pretrained.tar) | ImageNet | > 所有预训练模型下载解压后约为7.5G
| [MobileNetV1](http://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV1_pretrained.tar) | ImageNet | ```
| [MobileNetV2_x1.0](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV2_pretrained.tar) | ImageNet | from paddlex.cv.models.utils.pretrain_weights import image_pretrain
| [MobileNetV2_x0.5](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV2_x0_5_pretrained.tar) | ImageNet | from paddlex.cv.models.utils.pretrain_weights import coco_pretrain
| [MobileNetV2_x2.0](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV2_x2_0_pretrained.tar) | ImageNet | import paddlehub as hub
| [MobileNetV2_x0.25](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV2_x0_25_pretrained.tar) | ImageNet |
| [MobileNetV2_x1.5](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV2_x1_5_pretrained.tar) | ImageNet | save_dir = '/home/work/paddlex_pretrain'
| [MobileNetV3_small](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_small_x1_0_pretrained.tar) | ImageNet | for name, url in image_pretrain.items():
| [MobileNetV3_large](https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x1_0_pretrained.tar) | ImageNet | hub.download(name, save_dir)
| [DarkNet53](https://paddle-imagenet-models-name.bj.bcebos.com/DarkNet53_ImageNet1k_pretrained.tar) | ImageNet | for name, url in coco_pretrain.items():
| [DenseNet121](https://paddle-imagenet-models-name.bj.bcebos.com/DenseNet121_pretrained.tar) | ImageNet | hub.download(name, save_dir)
| [DenseNet161](https://paddle-imagenet-models-name.bj.bcebos.com/DenseNet161_pretrained.tar) | ImageNet | ```
| [DenseNet201](https://paddle-imagenet-models-name.bj.bcebos.com/DenseNet201_pretrained.tar) | ImageNet |
| [ResNet50_cos](https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_cos_pretrained.tar) | ImageNet |
| [Xception41](https://paddle-imagenet-models-name.bj.bcebos.com/Xception41_deeplab_pretrained.tar) | ImageNet |
| [Xception65](https://paddle-imagenet-models-name.bj.bcebos.com/Xception65_deeplab_pretrained.tar) | ImageNet |
| [ShuffleNetV2](https://paddle-imagenet-models-name.bj.bcebos.com/ShuffleNetV2_pretrained.tar) | ImageNet |
| [UNet](https://paddleseg.bj.bcebos.com/models/unet_coco_v3.tgz) | MSCOCO |
...@@ -39,3 +39,29 @@ paddlex --data_conversion --source labelme --to PascalVOC --pics ./pics --annota ...@@ -39,3 +39,29 @@ paddlex --data_conversion --source labelme --to PascalVOC --pics ./pics --annota
**注意** **注意**
1. 精灵标注的目标检测数据可以在工具内部导出为PascalVOC格式,因此paddlex未提供精灵标注数据到PascalVOC格式的转换 1. 精灵标注的目标检测数据可以在工具内部导出为PascalVOC格式,因此paddlex未提供精灵标注数据到PascalVOC格式的转换
2. 在将LabelMe数据集转换为COCO数据集时,LabelMe的图像文件名和json文件名需要一一对应,才可正确转换 2. 在将LabelMe数据集转换为COCO数据集时,LabelMe的图像文件名和json文件名需要一一对应,才可正确转换
## 手机拍照标注说明
当您收集的样本图像来源于手机拍照时,请注意由于手机拍照信息内附带水平垂直方向信息,这可能会使得在标注和训练时出现问题,因此在拍完照后注意根据方向对照片进行处理,使用如下函数即可解决
```
from PIL import Image, ExifTags
def rotate(im):
try:
for orientation in ExifTags.TAGS.keys():
if ExifTags.TAGS[orientation] == 'Orientation':
break
exif = dict(im._getexif().items())
if exif[orientation] == 3:
im = im.rotate(180, expand=True)
if exif[orientation] == 6:
im = im.rotate(270, expand=True)
if exif[orientation] == 8:
im = im.rotate(90, expand=True)
except:
pass
img_file = '1.jpeg'
im = Image.open(img_file)
rotate(im)
im.save('new_1.jpeg')
```
...@@ -10,12 +10,12 @@ ...@@ -10,12 +10,12 @@
下面,我们按照步骤,实现将一个图像分类模型[MobileNetV3_small_ssld](https://bj.bcebos.com/paddlex/models/mobilenetv3_small_ssld_imagenet.tar.gz)转换成`PaddleHub`的预训练模型,并利用`PaddleHub-Serving`实现一键部署。 下面,我们按照步骤,实现将一个图像分类模型[MobileNetV3_small_ssld](https://bj.bcebos.com/paddlex/models/mobilenetv3_small_ssld_imagenet.tar.gz)转换成`PaddleHub`的预训练模型,并利用`PaddleHub-Serving`实现一键部署。
# 模型部署 ## 模型部署
## 1 部署模型准备 ### 1 部署模型准备
部署模型的格式均为目录下包含`__model__``__params__``model.yml`三个文件,如若不然,则参照[部署模型导出文档](./export_model.md)进行导出。 部署模型的格式均为目录下包含`__model__``__params__``model.yml`三个文件,如若不然,则参照[部署模型导出文档](./export_model.md)进行导出。
## 2 模型转换 ### 2 模型转换
首先,我们将`PaddleX``Inference Model`转换成`PaddleHub`的预训练模型,使用命令`hub convert`即可一键转换,对此命令的说明如下: 首先,我们将`PaddleX``Inference Model`转换成`PaddleHub`的预训练模型,使用命令`hub convert`即可一键转换,对此命令的说明如下:
```shell ```shell
...@@ -45,7 +45,7 @@ $ The converted module is stored in `MobileNetV3_small_ssld_hub_1596077881.86850 ...@@ -45,7 +45,7 @@ $ The converted module is stored in `MobileNetV3_small_ssld_hub_1596077881.86850
``` ```
等待生成成功的提示后,我们就在输出目录中得到了一个`PaddleHub`的一个预训练模型。 等待生成成功的提示后,我们就在输出目录中得到了一个`PaddleHub`的一个预训练模型。
## 3 模型安装 ### 3 模型安装
在模型转换一步中,我们得到了一个`.tar.gz`格式的预训练模型压缩包,在进行部署之前需要先安装到本机,使用命令`hub install`即可一键安装,对此命令的说明如下: 在模型转换一步中,我们得到了一个`.tar.gz`格式的预训练模型压缩包,在进行部署之前需要先安装到本机,使用命令`hub install`即可一键安装,对此命令的说明如下:
```shell ```shell
$ hub install ${MODULE} $ hub install ${MODULE}
...@@ -61,7 +61,7 @@ hub install MobileNetV3_small_ssld_hub_1596077881.868501/mobilenetv3_small_ssld_ ...@@ -61,7 +61,7 @@ hub install MobileNetV3_small_ssld_hub_1596077881.868501/mobilenetv3_small_ssld_
$ Successfully installed mobilenetv3_small_ssld_imagenet_hub $ Successfully installed mobilenetv3_small_ssld_imagenet_hub
``` ```
## 4 模型部署 ### 4 模型部署
下面,我们只需要使用`hub serving`命令即可完成模型的一键部署,对此命令的说明如下: 下面,我们只需要使用`hub serving`命令即可完成模型的一键部署,对此命令的说明如下:
```shell ```shell
$ hub serving start --modules/-m [Module1==Version1, Module2==Version2, ...] \ $ hub serving start --modules/-m [Module1==Version1, Module2==Version2, ...] \
...@@ -107,7 +107,7 @@ $ hub serving start -m mobilenetv3_small_ssld_imagenet_hub ...@@ -107,7 +107,7 @@ $ hub serving start -m mobilenetv3_small_ssld_imagenet_hub
|modules_info|PaddleHub Serving预安装模型,以字典列表形式列出,key为模型名称。其中:<br>`init_args`为模型加载时输入的参数,等同于`paddlehub.Module(**init_args)`<br>`predict_args`为模型预测时输入的参数,以`mobilenetv3_small_ssld_imagenet_hub`为例,等同于`mobilenetv3_small_ssld_imagenet_hub.batch_predict(**predict_args)` |modules_info|PaddleHub Serving预安装模型,以字典列表形式列出,key为模型名称。其中:<br>`init_args`为模型加载时输入的参数,等同于`paddlehub.Module(**init_args)`<br>`predict_args`为模型预测时输入的参数,以`mobilenetv3_small_ssld_imagenet_hub`为例,等同于`mobilenetv3_small_ssld_imagenet_hub.batch_predict(**predict_args)`
|port|服务端口,默认为8866| |port|服务端口,默认为8866|
## 5 测试 ### 5 测试
在第二步模型安装的同时,会生成一个客户端请求示例,存放在模型安装目录,默认为`${HUB_HOME}/.paddlehub/modules`,对于此例,我们可以在`~/.paddlehub/modules/mobilenetv3_small_ssld_imagenet_hub`找到此客户端示例`serving_client_demo.py`,代码如下: 在第二步模型安装的同时,会生成一个客户端请求示例,存放在模型安装目录,默认为`${HUB_HOME}/.paddlehub/modules`,对于此例,我们可以在`~/.paddlehub/modules/mobilenetv3_small_ssld_imagenet_hub`找到此客户端示例`serving_client_demo.py`,代码如下:
```python ```python
......
...@@ -14,7 +14,7 @@ ...@@ -14,7 +14,7 @@
`git clone https://github.com/PaddlePaddle/PaddleX.git` `git clone https://github.com/PaddlePaddle/PaddleX.git`
**说明**:其中`C++`预测代码在`/root/projects/PaddleX/deploy/cpp` 目录,该目录不依赖任何`PaddleX`下其他目录。 **说明**:其中`C++`预测代码在`PaddleX/deploy/cpp` 目录,该目录不依赖任何`PaddleX`下其他目录。
### Step2: 下载PaddlePaddle C++ 预测库 paddle_inference ### Step2: 下载PaddlePaddle C++ 预测库 paddle_inference
......
文件已添加
## FAQ
1. **为什么训练速度这么慢?** 1. **为什么训练速度这么慢?**
...@@ -28,8 +28,18 @@ ...@@ -28,8 +28,18 @@
5. **如何调用后端代码?** 5. **如何调用后端代码?**
PaddleX 团队为您整理了相关的API接口文档,方便您学习和使用。具体请参见[PaddleX API说明文档](https://paddlex.readthedocs.io/zh_CN/latest/apis/index.html) PaddleX 团队为您整理了相关的API接口文档,方便您学习和使用。具体请参见[PaddleX API说明文档](https://paddlex.readthedocs.io/zh_CN/latest/apis/index.html)
6. **如何在离线环境下使用PaddleX?**
PaddleX是支撑用户在本地离线环境中训练模型的,但是如果大家希望使用PaddleX团队为大家准备好的在标准数据集上训练的预训练模型,则需要在线环境进行下载。大家可以参照完整的无联网情况下进行模型训练的[文档](https://github.com/PaddlePaddle/PaddleX/blob/develop/docs/appendix/how_to_offline_run.md)查看如何一键快速下载所有预训练模型。
7. **有没有行业应用案例,或者实现好的工程实例?**
有的,PaddleX提供丰富的行业应用案例和完整的示例项目,请参考[PaddleX产业案例集](https://paddlex.readthedocs.io/zh_CN/develop/examples/index.html)
**如果您有任何问题或建议,欢迎以issue的形式,或加入PaddleX官方QQ群(1045148026)直接反馈您的问题和需求** **如果您有任何问题或建议,欢迎以issue的形式,或加入PaddleX官方QQ群(1045148026)直接反馈您的问题和需求**
......
...@@ -56,4 +56,4 @@ log_level = 2 ...@@ -56,4 +56,4 @@ log_level = 2
from . import interpret from . import interpret
__version__ = '1.2.0' __version__ = '1.2.1'
...@@ -12,6 +12,8 @@ ...@@ -12,6 +12,8 @@
# See the License for the specific language governing permissions and # See the License for the specific language governing permissions and
# limitations under the License. # limitations under the License.
import numpy as np
import paddle import paddle
from paddle import fluid from paddle import fluid
from paddle.fluid.param_attr import ParamAttr from paddle.fluid.param_attr import ParamAttr
......
...@@ -108,7 +108,7 @@ class Predictor: ...@@ -108,7 +108,7 @@ class Predictor:
config.enable_use_gpu(100, gpu_id) config.enable_use_gpu(100, gpu_id)
else: else:
config.disable_gpu() config.disable_gpu()
if use_mkl: if use_mkl and not use_gpu:
if self.model_name not in ["HRNet", "DeepLabv3p", "PPYOLO"]: if self.model_name not in ["HRNet", "DeepLabv3p", "PPYOLO"]:
config.enable_mkldnn() config.enable_mkldnn()
config.set_cpu_math_library_num_threads(mkl_thread_num) config.set_cpu_math_library_num_threads(mkl_thread_num)
......
...@@ -19,7 +19,7 @@ long_description = "PaddlePaddle Entire Process Development Toolkit" ...@@ -19,7 +19,7 @@ long_description = "PaddlePaddle Entire Process Development Toolkit"
setuptools.setup( setuptools.setup(
name="paddlex", name="paddlex",
version='1.2.0', version='1.2.1',
author="paddlex", author="paddlex",
author_email="paddlex@baidu.com", author_email="paddlex@baidu.com",
description=long_description, description=long_description,
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册