Merge branch 'develop' into develop

cmake/external/prometheus.cmake

@@ -29,10 +29,13 @@ ExternalProject_Add(
   GIT_TAG               ${PROMETHEUS_TAG}
   PREFIX                ${PROMETHEUS_PREFIX_DIR}
   UPDATE_COMMAND        ""
-  CMAKE_ARGS            -DCMAKE_C_FLAGS=${CMAKE_C_FLAGS}
+  CMAKE_ARGS            -DCMAKE_CXX_COMPILER=${CMAKE_CXX_COMPILER}
+                        -DCMAKE_C_COMPILER=${CMAKE_C_COMPILER}
+                        -DCMAKE_C_FLAGS=${CMAKE_C_FLAGS}
                         -DBUILD_SHARED_LIBS=OFF
                         -DENABLE_PUSH=OFF
                         -DENABLE_COMPRESSION=OFF
+                        -DENABLE_TESTING=OFF
                         -DCMAKE_CXX_FLAGS=${CMAKE_CXX_FLAGS}
                         -DCMAKE_INSTALL_PREFIX:PATH=${PROMETHEUS_INSTALL_DIR}
                         -DCMAKE_BUILD_TYPE:STRING=${CMAKE_BUILD_TYPE}

doc/C++_Serving/Performance_Tuning_CN.md

@@ -26,7 +26,7 @@ Server端<mark>**线程数N**</mark>的设置需要结合三个因素来综合
 
 当您使用CPU进行预测时，预测阶段的计算是使用CPU完成的，此时，请参考前两者来进行设置线程数。
 
-当您使用GPU进行预测时，情况有些不同，此时预测阶段的计算是由GPU完成的，此时CPU资源是空闲的，而预测操作是阻塞该线程的，类似于Sleep操作，此时若您的线程数==机器core数量，将没有其他可切换的线程从而导致必然有部分core是空闲的状态。具体来说，当模型预测时间较短时（<10ms），Server端线程数不宜过多（线程数=1~10倍core数量），否则线程切换带来的开销不可忽视。当模型预测时间较长时，Server端线程数应稍大一些（线程数=4~200倍core数量）。
+当您使用GPU进行预测时，情况有些不同，此时预测阶段的计算是由GPU完成的，此时CPU资源是空闲的，而预测操作是阻塞该线程的，类似于Sleep操作，此时若您的线程数==机器core数量，将没有其他可切换的线程从而导致必然有部分core是空闲的状态。具体来说，当模型预测时间较短时（<10ms），Server端线程数不宜过多（线程数=1——10倍core数量），否则线程切换带来的开销不可忽视。当模型预测时间较长时，Server端线程数应稍大一些（线程数=4——200倍core数量）。
 
 # 3.异步模式
 当<mark>**大部分用户的Request请求batch数<<模型最大支持的Batch数**</mark>时，采用异步模式的收益是明显的。

tools/generate_runtime_docker.sh

@@ -11,7 +11,7 @@ function usage
     echo "   --python              : python version, 3.6/3.7/3.8 ";
     #echo "   --serving             : serving version(0.6.0/0.6.2)";
     #echo "   --paddle              : paddle version(2.1.0/2.2.0)"
-    echo "   --image_name          : image name(default serving_runtime:env-python)"
+    echo "   --image_name          : image name(default serving_runtime:env-python)";
     echo "  -h | --help            : helper";
 }
 
@@ -25,9 +25,9 @@ function parse_args
       case "$1" in
           --env )               env="$2";             shift;;
           --python )            python="$2";     shift;;
-          #--serving )           serving="$2";      shift;;
-          #--paddle )            paddle="$2";      shift;;
-      --image_name )          image_name="$2";    shift;;
+          #--serving )          serving="$2";      shift;;
+          #--paddle )           paddle="$2";      shift;;
+          --image_name )        image_name="$2";    shift;;
           -h | --help )         usage;            exit;; # quit and show usage
           * )                 args+=("$1")             # if no match, add it to the positional args
       esac
@@ -41,7 +41,7 @@ function parse_args
   positional_2="${args[1]}"
 
   # validate required args
-  if [[ -z "${paddle}" || -z "${env}" || -z "${python}" || -z "${serving}" ]]; then
+  if [[ -z "${env}" || -z "${python}" ]]; then
       echo "Invalid arguments. paddle or env or python or serving is missing."
       usage
       exit;
@@ -57,6 +57,8 @@ function parse_args
 
 function run
 {
+  python="2.2.0"
+  serving="0.7.0"
   parse_args "$@"
 
   echo "named arg: env: $env"
@@ -69,8 +71,6 @@ function run
   elif [ $env == "cuda11.2" ]; then
       base_image="nvidia\/cuda:11.2.0-cudnn8-runtime-ubuntu16.04"
   fi
-  python="2.2.0"
-  serving="0.7.0"
   echo "base image: $base_image"
   echo "named arg: python: $python"
   echo "named arg: serving: $serving"
@@ -78,7 +78,8 @@ function run
   echo "named arg: image_name: $image_name"
   
   sed -e "s/<<base_image>>/$base_image/g" -e "s/<<python_version>>/$python/g" -e "s/<<run_env>>/$env/g" -e "s/<<serving_version>>/$serving/g" -e "s/<<paddle_version>>/$paddle/g" tools/Dockerfile.runtime_template > Dockerfile.tmp
-  docker build --network=host --build-arg ftp_proxy=http://172.19.57.45:3128 --build-arg https_proxy=http://172.19.57.45:3128 --build-arg http_proxy=http://172.19.57.45:3128 --build-arg HTTP_PROXY=http://172.19.57.45:3128 --build-arg HTTPS_PROXY=http://172.19.57.45:3128 -t $image_name -f Dockerfile.tmp .
+  #docker build --network=host --build-arg ftp_proxy=http://172.19.57.45:3128 --build-arg https_proxy=http://172.19.57.45:3128 --build-arg http_proxy=http://172.19.57.45:3128 --build-arg HTTP_PROXY=http://172.19.57.45:3128 --build-arg HTTPS_PROXY=http://172.19.57.45:3128 -t $image_name -f Dockerfile.tmp .
+  docker build -t $image_name -f Dockerfile.tmp .
 }
 
 run "$@";