[PaddleSlim] add eval and infer cmd example in doc (#3519)

PaddleSlim/classification/eval.py

@@ -29,6 +29,8 @@ parser = argparse.ArgumentParser(description=__doc__)
 add_arg = functools.partial(add_arguments, argparser=parser)
 add_arg('use_gpu',          bool, False,                 "Whether to use GPU or not.")
 add_arg('model_path', str,  "./pruning/checkpoints/resnet50/2/eval_model/",                 "Whether to use pretrained model.")
+add_arg('model_name', str,  "__model__", "model filename for inference model")
+add_arg('params_name', str, "__params__", "params filename for inference model")
 # yapf: enable
 
 def eval(args):
@@ -39,8 +41,8 @@ def eval(args):
 
     val_program, feed_target_names, fetch_targets = fluid.io.load_inference_model(args.model_path,
                                       exe,
-                                      model_filename="__model__",
-                                      params_filename="__params__")
+                                      model_filename=args.model_name,
+                                      params_filename=args.params_name)
     val_reader = paddle.batch(reader.val(), batch_size=128)
     feeder = fluid.DataFeeder(place=place, feed_list=feed_target_names, program=val_program)
 
@@ -48,11 +50,33 @@ def eval(args):
     for batch_id, data in enumerate(val_reader()):
 
         # top1_acc, top5_acc
-        result = exe.run(val_program,
+        if len(feed_target_names) == 1:
+            # eval "infer model", which input is image, output is classification probability
+            image = [[d[0]] for d in data]
+            label = [[d[1]] for d in data]
+            feed_data = feeder.feed(image)
+            pred = exe.run(val_program,
+                        feed=feed_data,
+                        fetch_list=fetch_targets)
+            pred = np.array(pred[0])
+            label = np.array(label)
+            sort_array = pred.argsort(axis=1)
+            top_1_pred = sort_array[:, -1:][:, ::-1]
+            top_1 = np.mean(label == top_1_pred)
+            top_5_pred = sort_array[:, -5:][:, ::-1]
+            acc_num = 0
+            for i in range(len(label)):
+                if label[i][0] in top_5_pred[i]:
+                    acc_num += 1
+            top_5 = acc_num / len(label)
+            results.append([top_1, top_5])
+        else:
+            # eval "eval model", which inputs are image and label, output is top1 and top5 accuracy
+            result = exe.run(val_program,
                           feed=feeder.feed(data),
                           fetch_list=fetch_targets)
-        result = [np.mean(r) for r in result]
-        results.append(result)
+            result = [np.mean(r) for r in result]
+            results.append(result)
     result = np.mean(np.array(results), axis=0)
     print("top1_acc/top5_acc= {}".format(result))
     sys.stdout.flush()

PaddleSlim/classification/infer.py

@@ -29,6 +29,8 @@ parser = argparse.ArgumentParser(description=__doc__)
 add_arg = functools.partial(add_arguments, argparser=parser)
 add_arg('use_gpu',          bool, False,                 "Whether to use GPU or not.")
 add_arg('model_path', str,  "./pruning/checkpoints/resnet50/2/eval_model/",                 "Whether to use pretrained model.")
+add_arg('model_name', str,  "__model__.infer",  "inference model filename")
+add_arg('params_name', str, "__params__", "inference model params filename")
 # yapf: enable
 
 def infer(args):
@@ -39,8 +41,8 @@ def infer(args):
 
     test_program, feed_target_names, fetch_targets = fluid.io.load_inference_model(args.model_path,
                                       exe,
-                                      model_filename="__model__.infer",
-                                      params_filename="__params__")
+                                      model_filename=args.model_name,
+                                      params_filename=args.params_name)
     test_reader = paddle.batch(reader.test(), batch_size=1)
     feeder = fluid.DataFeeder(place=place, feed_list=feed_target_names, program=test_program)
 
@@ -51,7 +53,8 @@ def infer(args):
         result = exe.run(test_program,
                           feed=feeder.feed(data),
                           fetch_list=fetch_targets)
-        print result
+        result = np.array(result[0])
+        print(result.argsort(axis=1)[:,-1:][::-1])
     sys.stdout.flush()
 
 def main():

PaddleSlim/classification/quantization/README.md

@@ -94,6 +94,13 @@ QuantizationFreezePass主要用于改变IrGraph中量化op和反量化op的顺
 <strong>图4：应用TransformForMobilePass后的结果</strong>
 </p>
 
+> 综上，可得在量化过程中有以下几种模型结构：
+1. 原始模型
+2. 经QuantizationTransformPass之后得到的适用于训练的量化模型结构，在${checkpoint_path}下保存的`eval_model`是这种结构，在训练过程中每个epoch结束时也使用这个网络结构进行评估，虽然这个模型结构不是最终想要的模型结构，但是每个epoch的评估结果可用来挑选模型。
+3. 经QuantizationFreezePass之后得到的FP32模型结构，具体结构已在上面进行介绍。本文档中列出的数据集的评估结果是对FP32模型结构进行评估得到的结果。这种模型结构在训练过程中只会保存一次，也就是在量化配置文件中设置的`end_epoch`结束时进行保存，如果想将其他epoch的训练结果转化成FP32模型，可使用脚本 <a href='./freeze.py'>PaddleSlim/classification/quantization/freeze.py</a>进行转化，具体使用方法在[评估](#评估)中介绍。
+4. 经ConvertToInt8Pass之后得到的8-bit模型结构，具体结构已在上面进行介绍。这种模型结构在训练过程中只会保存一次，也就是在量化配置文件中设置的`end_epoch`结束时进行保存，如果想将其他epoch的训练结果转化成8-bit模型，可使用脚本 <a href='./freeze.py'>PaddleSlim/classification/quantization/freeze.py</a>进行转化，具体使用方法在[评估](#评估)中介绍。
+5. 经TransformForMobilePass之后得到的mobile模型结构，具体结构已在上面进行介绍。这种模型结构在训练过程中只会保存一次，也就是在量化配置文件中设置的`end_epoch`结束时进行保存，如果想将其他epoch的训练结果转化成mobile模型，可使用脚本 <a href='./freeze.py'>PaddleSlim/classification/quantization/freeze.py</a>进行转化，具体使用方法在[评估](#评估)中介绍。
+
 ## 评估
 
 ### 每个epoch保存的评估模型
@@ -106,14 +113,38 @@ QuantizationFreezePass主要用于改变IrGraph中量化op和反量化op的顺
 
 脚本<a href="../eval.py">PaddleSlim/classification/eval.py</a>中为使用该模型在评估数据集上做评估的示例。
 
-在评估之后，选取效果最好的epoch的模型，可使用脚本 <a href='./freeze.py'>PaddleSlim/classification/freeze.py</a>将该模型转化为以上介绍的三种模型：FP32模型，8-bit模型，mobile模型，需要配置的参数为：
+运行命令示例:
+```
+python eval.py \
+    --use_gpu 1 \
+    --model_path ${checkpoint_path}/${epoch_id}/eval_model
+```
+
+在评估之后，选取效果最好的epoch的模型，可使用脚本 <a href='./freeze.py'>PaddleSlim/classification/quantization/freeze.py</a>将该模型转化为以上介绍的三种模型：FP32模型，8-bit模型，mobile模型，需要配置的参数为：
 
 - model_path, 加载的模型路径，`为${checkpoint_path}/${epoch_id}/eval_model/`
 - weight_quant_type 模型参数的量化方式，和配置文件中的类型保持一致
 - save_path `FP32`, `8-bit`, `mobile`模型的保存路径，分别为 `${save_path}/float/`, `${save_path}/int8/`, `${save_path}/mobile/`
 
+运行命令示例：
+```
+python freeze.py \
+    --model_path ${checkpoint_path}/${epoch_id}/eval_model/ \
+    --weight_quant_type ${weight_quant_type} \
+    --save_path ${any path you want}
+```
+
 ### 最终评估模型
-最终使用的评估模型是FP32模型，使用脚本<a href="../eval.py">PaddleSlim/classification/eval.py</a>中为使用该模型在评估数据集上做评估的示例。
+最终使用的评估模型是FP32模型，使用脚本<a href="../eval.py">PaddleSlim/classification/eval.py</a>该模型在评估数据集上做评估。
+运行命令示例:
+```
+python eval.py \
+    --use_gpu 1 \
+    --model_path ${save_path}/float \
+    --model_name model \
+    --params_name weights
+
+```
 
 ## 预测
 
@@ -123,6 +154,15 @@ FP32模型可直接使用原生PaddlePaddle Fluid预测方法进行预测。
 
 在脚本<a href="../infer.py">PaddleSlim/classification/infer.py</a>中展示了如何使用fluid python API加载使用预测模型进行预测。
 
+运行命令示例:
+```
+python infer.py \
+    --model_path ${save_path}/float \
+    --use_gpu 1 \
+    --model_name model \
+    --params_name weights
+```
+
 ### PaddleLite预测
 FP32模型可使用Paddle-Lite进行加载预测，可参见教程[Paddle-Lite如何加载运行量化模型](https://github.com/PaddlePaddle/Paddle-Lite/wiki/model_quantization)。