From 8c58ae2a84d88f4cd80ea3e5479110d0b64cc66d Mon Sep 17 00:00:00 2001 From: wuzewu Date: Tue, 24 Sep 2019 14:50:17 +0800 Subject: [PATCH] Update autofinetune.md --- tutorial/autofinetune.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tutorial/autofinetune.md b/tutorial/autofinetune.md index 7f1619fb..d45693b1 100644 --- a/tutorial/autofinetune.md +++ b/tutorial/autofinetune.md @@ -96,7 +96,7 @@ $ hub autofinetune finetunee.py --param_file=hparam.yaml --cuda=['1','2'] --pops > `--tuning_strategy`: 设置自动优化超参策略，可选hazero和pshe2，默认为hazero `NOTE` - * Auto Fine-tune功能会根据popsize和cuda自动实现排队使用GPU，为了提高GPU利用率，建议卡数为刚好可以被popsize整除。如popsize=6，cuda=['0','1','2','3']，则每搜索一轮，Auto Fine-tune自动起四个进程训练，所以第5/6组超参组合需要排队一次，在搜索第5/6两组超参时，会存在两张卡出现空闲等待的情况，如果设置为3张可用的卡，且可以避免出现这种情况。 +* 进行超参搜索时，一共会进行n轮(--round指定)，每轮产生m组超参(--popsize指定)进行搜索。每一轮的超参会根据上一轮的优化结果决定，当指定GPU数量不足以同时跑一轮时，Auto Fine-tune功能自动实现排队，为了提高GPU利用率，建议卡数为刚好可以被popsize整除。如popsize=6，cuda=['0','1','2','3']，则每搜索一轮，Auto Fine-tune自动起四个进程训练，所以第5/6组超参组合需要排队一次，在搜索第5/6两组超参时，会存在两张卡出现空闲等待的情况，如果设置为3张可用的卡，则可以避免这种情况的出现。 ## 四、目录结构 -- GitLab