Skip to content

P
PaddleDetection

PaddlePaddle / PaddleDetection
大约 1 年 前同步成功

通知 695
Star 11112
Fork 2696
P
PaddleDetection
未验证 提交 161d5bbe 编写于 作者: S shangliang Xu 提交者： GitHub
浏览文件
操作

[TIPC] fix benchmark static shell, test=document_fix (#5293)

上级 faa4f9a8
显示空白变更内容
内联 并排
Showing with 36 addition and 39 deletion
test_tipc/static/mask_rcnn_r50_1x_coco/N1C1/mask_rcnn_r50_1x_coco_bs2_fp32_SingleP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=SingleP run_process_type=SingleP
run_mode=DP run_mode=DP
device_num=N1C1 device_num=N1C1
max_iter=500 max_iter=100
num_workers=2 num_workers=2
# get data # get data
...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it ...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it
# run profiling # run profiling
sleep 10; sleep 10;
export PROFILING=true export PROFILING=true
bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} ${max_iter} ${num_workers} 2>&1; bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} 11 ${num_workers} 2>&1;
test_tipc/static/mask_rcnn_r50_1x_coco/N1C8/mask_rcnn_r50_1x_coco_bs2_fp32_MultiP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=MultiP run_process_type=MultiP
run_mode=DP run_mode=DP
device_num=N1C8 device_num=N1C8
max_iter=500 max_iter=100
num_workers=2 num_workers=2
# get data # get data
......
test_tipc/static/mask_rcnn_r50_1x_coco/benchmark_common/prepare.sh
浏览文件 @ 161d5bbe
...@@ -2,14 +2,13 @@ ...@@ -2,14 +2,13 @@
# 执行路径在模型库的根目录下 # 执行路径在模型库的根目录下
################################# 安装框架 如: ################################# 安装框架 如:
echo "*******prepare benchmark start ***********" echo "*******prepare benchmark start ***********"
pip install -U pip -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -U pip
echo `pip --version` echo `pip --version`
pip install Cython -i https://pypi.tuna.tsinghua.edu.cn/simple pip install Cython
python -m pip install paddlepaddle-gpu==2.2.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html pip install -r requirements.txt
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
################################# 准备训练数据 如: ################################# 准备训练数据 如:
wget -nc -P static/data/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar wget -nc -P static/dataset/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar
cd ./static/data/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* . cd ./static/dataset/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* .
rm -rf coco_benchmark/ && cd ../../../ rm -rf coco_benchmark/ && cd ../../../
echo "*******prepare benchmark end***********" echo "*******prepare benchmark end***********"
test_tipc/static/mask_rcnn_r50_1x_coco/benchmark_common/run_benchmark.sh
浏览文件 @ 161d5bbe
...@@ -14,7 +14,7 @@ function _set_params(){ ...@@ -14,7 +14,7 @@ function _set_params(){
skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step
keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字 keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字
convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:" convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:"
max_iter=${7:-"500"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数 max_iter=${7:-"100"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数
num_workers=${8:-"8"} # (可选) num_workers=${8:-"8"} # (可选)
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐 model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐
...@@ -48,9 +48,9 @@ function _train(){ ...@@ -48,9 +48,9 @@ function _train(){
fi fi
train_cmd="-c configs/mask_rcnn_r50_1x.yml -o LearningRate.base_lr=0.001 snapshot_iter=100000 \ train_cmd="-c configs/mask_rcnn_r50_1x.yml -o LearningRate.base_lr=0.001 snapshot_iter=100000 \
TrainReader.batch_size==${batch_size} \ TrainReader.batch_size=${batch_size} \
max_iters=${max_iter} log_iter=1 \ max_iters=${max_iter} log_iter=1 \
TrainReader.worker_num==${num_workers} ${use_fp16_cmd} \ TrainReader.worker_num=${num_workers} ${use_fp16_cmd} \
--is_profiler=${is_profiler} " --is_profiler=${is_profiler} "
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
case ${run_mode} in case ${run_mode} in
...@@ -84,5 +84,5 @@ function _train(){ ...@@ -84,5 +84,5 @@ function _train(){
} }
source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开 source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开
_set_params $@ _set_params $@
_train # 如果只产出训练log,不解析,可取消注释 #_train # 如果只产出训练log,不解析,可取消注释
_run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开 _run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开
test_tipc/static/mask_rcnn_r50_fpn_1x_coco/N1C1/mask_rcnn_r50_fpn_1x_coco_bs2_fp32_SingleP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=SingleP run_process_type=SingleP
run_mode=DP run_mode=DP
device_num=N1C1 device_num=N1C1
max_iter=500 max_iter=100
num_workers=2 num_workers=2
# get data # get data
...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it ...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it
# run profiling # run profiling
sleep 10; sleep 10;
export PROFILING=true export PROFILING=true
bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} ${max_iter} ${num_workers} 2>&1; bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} 11 ${num_workers} 2>&1;
test_tipc/static/mask_rcnn_r50_fpn_1x_coco/N1C8/mask_rcnn_r50_fpn_1x_coco_bs2_fp32_MultiP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=MultiP run_process_type=MultiP
run_mode=DP run_mode=DP
device_num=N1C8 device_num=N1C8
max_iter=500 max_iter=100
num_workers=2 num_workers=2
# get data # get data
......
test_tipc/static/mask_rcnn_r50_fpn_1x_coco/benchmark_common/prepare.sh
浏览文件 @ 161d5bbe
...@@ -2,14 +2,13 @@ ...@@ -2,14 +2,13 @@
# 执行路径在模型库的根目录下 # 执行路径在模型库的根目录下
################################# 安装框架 如: ################################# 安装框架 如:
echo "*******prepare benchmark start ***********" echo "*******prepare benchmark start ***********"
pip install -U pip -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -U pip
echo `pip --version` echo `pip --version`
pip install Cython -i https://pypi.tuna.tsinghua.edu.cn/simple pip install Cython
python -m pip install paddlepaddle-gpu==2.2.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html pip install -r requirements.txt
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
################################# 准备训练数据 如: ################################# 准备训练数据 如:
wget -nc -P static/data/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar wget -nc -P static/dataset/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar
cd ./static/data/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* . cd ./static/dataset/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* .
rm -rf coco_benchmark/ && cd ../../../ rm -rf coco_benchmark/ && cd ../../../
echo "*******prepare benchmark end***********" echo "*******prepare benchmark end***********"
test_tipc/static/mask_rcnn_r50_fpn_1x_coco/benchmark_common/run_benchmark.sh
浏览文件 @ 161d5bbe
...@@ -14,7 +14,7 @@ function _set_params(){ ...@@ -14,7 +14,7 @@ function _set_params(){
skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step
keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字 keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字
convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:" convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:"
max_iter=${7:-"500"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数 max_iter=${7:-"100"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数
num_workers=${8:-"8"} # (可选) num_workers=${8:-"8"} # (可选)
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐 model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐
...@@ -48,9 +48,9 @@ function _train(){ ...@@ -48,9 +48,9 @@ function _train(){
fi fi
train_cmd="-c configs/mask_rcnn_r50_fpn_1x.yml -o LearningRate.base_lr=0.001 snapshot_iter=100000 \ train_cmd="-c configs/mask_rcnn_r50_fpn_1x.yml -o LearningRate.base_lr=0.001 snapshot_iter=100000 \
TrainReader.batch_size==${batch_size} \ TrainReader.batch_size=${batch_size} \
max_iters=${max_iter} log_iter=1 \ max_iters=${max_iter} log_iter=1 \
TrainReader.worker_num==${num_workers} ${use_fp16_cmd} \ TrainReader.worker_num=${num_workers} ${use_fp16_cmd} \
--is_profiler=${is_profiler} " --is_profiler=${is_profiler} "
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
case ${run_mode} in case ${run_mode} in
...@@ -84,5 +84,5 @@ function _train(){ ...@@ -84,5 +84,5 @@ function _train(){
} }
source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开 source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开
_set_params $@ _set_params $@
_train # 如果只产出训练log,不解析,可取消注释 #_train # 如果只产出训练log,不解析,可取消注释
_run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开 _run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开
test_tipc/static/yolov3_darknet53_270e_coco/N1C1/yolov3_darknet53_270e_coco_bs8_fp32_SingleP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=SingleP run_process_type=SingleP
run_mode=DP run_mode=DP
device_num=N1C1 device_num=N1C1
max_iter=500 max_iter=100
num_workers=8 num_workers=8
# get data # get data
...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it ...@@ -14,4 +14,4 @@ bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_it
# run profiling # run profiling
sleep 10; sleep 10;
export PROFILING=true export PROFILING=true
bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} ${max_iter} ${num_workers} 2>&1; bash test_tipc/static/${model_item}/benchmark_common/run_benchmark.sh ${model_item} ${bs_item} ${fp_item} ${run_process_type} ${run_mode} ${device_num} 11 ${num_workers} 2>&1;
test_tipc/static/yolov3_darknet53_270e_coco/N1C8/yolov3_darknet53_270e_coco_bs8_fp32_MultiP_DP.sh
浏览文件 @ 161d5bbe
...@@ -4,7 +4,7 @@ fp_item=fp32 ...@@ -4,7 +4,7 @@ fp_item=fp32
run_process_type=MultiP run_process_type=MultiP
run_mode=DP run_mode=DP
device_num=N1C8 device_num=N1C8
max_iter=500 max_iter=100
num_workers=8 num_workers=8
# get data # get data
......
test_tipc/static/yolov3_darknet53_270e_coco/benchmark_common/prepare.sh
浏览文件 @ 161d5bbe
...@@ -2,14 +2,13 @@ ...@@ -2,14 +2,13 @@
# 执行路径在模型库的根目录下 # 执行路径在模型库的根目录下
################################# 安装框架 如: ################################# 安装框架 如:
echo "*******prepare benchmark start ***********" echo "*******prepare benchmark start ***********"
pip install -U pip -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -U pip
echo `pip --version` echo `pip --version`
pip install Cython -i https://pypi.tuna.tsinghua.edu.cn/simple pip install Cython
python -m pip install paddlepaddle-gpu==2.2.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html pip install -r requirements.txt
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
################################# 准备训练数据 如: ################################# 准备训练数据 如:
wget -nc -P static/data/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar wget -nc -P static/dataset/coco/ https://paddledet.bj.bcebos.com/data/coco_benchmark.tar
cd ./static/data/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* . cd ./static/dataset/coco/ && tar -xf coco_benchmark.tar && mv -u coco_benchmark/* .
rm -rf coco_benchmark/ && cd ../../../ rm -rf coco_benchmark/ && cd ../../../
echo "*******prepare benchmark end***********" echo "*******prepare benchmark end***********"
test_tipc/static/yolov3_darknet53_270e_coco/benchmark_common/run_benchmark.sh
浏览文件 @ 161d5bbe
...@@ -14,7 +14,7 @@ function _set_params(){ ...@@ -14,7 +14,7 @@ function _set_params(){
skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step skip_steps=10 # (必选)解析日志，跳过模型前几个性能不稳定的step
keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字 keyword="ips:" # (必选)解析日志，筛选出性能数据所在行的关键字
convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:" convergence_key="loss:" # (可选)解析日志，筛选出收敛数据所在行的关键字 如：convergence_key="loss:"
max_iter=${7:-"500"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数 max_iter=${7:-"100"} # （可选）需保证模型执行时间在5分钟内，需要修改代码提前中断的直接提PR 合入套件；或使用max_epoch参数
num_workers=${8:-"8"} # (可选) num_workers=${8:-"8"} # (可选)
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐 model_name=${model_item}_bs${base_batch_size}_${fp_item}_${run_process_type}_${run_mode} # (必填) 且格式不要改动,与竞品名称对齐
...@@ -48,9 +48,9 @@ function _train(){ ...@@ -48,9 +48,9 @@ function _train(){
fi fi
train_cmd="-c configs/yolov3_darknet.yml -o LearningRate.base_lr=0.002 snapshot_iter=100000 \ train_cmd="-c configs/yolov3_darknet.yml -o LearningRate.base_lr=0.002 snapshot_iter=100000 \
TrainReader.batch_size==${batch_size} \ TrainReader.batch_size=${batch_size} \
max_iters=${max_iter} log_iter=1 \ max_iters=${max_iter} log_iter=1 \
TrainReader.worker_num==${num_workers} ${use_fp16_cmd} \ TrainReader.worker_num=${num_workers} ${use_fp16_cmd} \
--is_profiler=${is_profiler} " --is_profiler=${is_profiler} "
# 以下为通用执行命令，无特殊可不用修改 # 以下为通用执行命令，无特殊可不用修改
case ${run_mode} in case ${run_mode} in
...@@ -84,5 +84,5 @@ function _train(){ ...@@ -84,5 +84,5 @@ function _train(){
} }
source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开 source ${BENCHMARK_ROOT}/scripts/run_model.sh # 在该脚本中会对符合benchmark规范的log使用analysis.py 脚本进行性能数据解析;如果不联调只想要产出训练log可以注掉本行,提交时需打开
_set_params $@ _set_params $@
_train # 如果只产出训练log,不解析,可取消注释 #_train # 如果只产出训练log,不解析,可取消注释
_run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开 _run # 该函数在run_model.sh中,执行时会调用_train; 如果不联调只产出训练log可以注掉本行,提交时需打开
Markdown is supported
0% 或 .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑！
想要评论请 注册 或