Created by: 5idaidai

在这里分享一下之前利用spark对大量数据进行paddle模型预测的经验，个人感觉实现方式比较粗暴，欢迎大家讨论，当然如果开发了新的paddle SDK可能就不用这种方式了，balabala……

1. 利用paddle c++ SDK编写一个预测类PaddleRecommended

• init: 模型预测初始化
• predict: 模型预测

2. 利用swig编写paddle的python预测接口

%module paddle_recommended
%{
#include <sstream>
#include <map>
#include "paddle_recommended.h"
%}
%include "std_string.i"
%include "std_vector.i"
%include "std_map.i"

namespace recommended {

class PaddleRecommended {
public:
    bool init(const std::string& vocab_path, const std::string& model_path);
    float predict(const std::string& text);
};

}

3. 利用swig编译生成相应的动态链接库和py文件，将py文件打包成egg包，将so文件放到spark根路径，上传相关模型、词典即可在spark上调用相关接口进行预测。

4. demo地址：待写。。。