未验证 提交 0723a9ae 编写于 作者: B Bin Lu 提交者: GitHub

Merge pull request #1496 from Intsigstephon/update_serving

Update serving
......@@ -47,7 +47,7 @@ class ImagenetOp(Op):
img = self.seq(im)
imgs.append(img[np.newaxis, :].copy())
input_imgs = np.concatenate(imgs, axis=0)
return {"image": input_imgs}, False, None, ""
return {"inputs": input_imgs}, False, None, ""
def postprocess(self, input_dicts, fetch_dict, data_id, log_id):
score_list = fetch_dict["prediction"]
......
......@@ -3,15 +3,18 @@ import json
import base64
import os
def cv2_to_base64(image):
return base64.b64encode(image).decode('utf8')
if __name__ == "__main__":
url = "http://127.0.0.1:18080/imagenet/prediction"
with open(os.path.join(".", "daisy.jpg"), 'rb') as file:
image_data1 = file.read()
image = cv2_to_base64(image_data1)
data = {"key": ["image"], "value": [image]}
for i in range(100):
for i in range(1):
r = requests.post(url=url, data=json.dumps(data))
print(r.json())
......@@ -81,14 +81,14 @@ ResNet50_vd 推理模型转换完成后,会在当前文件夹多出 `ResNet50_
|- serving_client_conf.prototxt
|- serving_client_conf.stream.prototxt
```
得到模型文件之后,需要修改 serving_server_conf.prototxt 中的 alias 名字:`feed_var` 中的 `alias_name` 改为 `image`, `fetch_var` 中的 `alias_name` 改为 `prediction`
得到模型文件之后,需要修改 serving_server_conf.prototxt 中的 alias 名字:将 `fetch_var` 中的 `alias_name` 改为 `prediction`
**备注**: Serving 为了兼容不同模型的部署,提供了输入输出重命名的功能。这样,不同的模型在推理部署时,只需要修改配置文件的 alias_name 即可,无需修改代码即可完成推理部署。
修改后的 serving_server_conf.prototxt 如下所示:
```
feed_var {
name: "inputs"
alias_name: "image"
alias_name: "inputs"
is_lod_tensor: false
feed_type: 1
shape: 3
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册