Update inference readme

BERT/inference/README.md

@@ -61,3 +61,11 @@ make
     --output_prediction \
     --use_gpu \
 ```
+
+参数 `repeat` 设置了执行预测的循环次数，一般在性能测试时可以设置其为大于 1 的某个整数，以观察多次预测的平均时间消耗。 在设置了 `output_prediction` 之后，预测程序会将每个样本的预测结果以概率的形式输出，其格式为：
+
+```
+样本id \t 类别0概率 \t 类别1概率 \t 类别2概率 ...
+```
+
+最后，在支持 NV GPUs 的环境中可以使能 `use_gpu`，否则就会在 CPU 上执行预测。