Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
60cfdbb8
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
大约 1 年 前同步成功
通知
282
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
60cfdbb8
编写于
12月 24, 2019
作者:
S
Steffy-zxf
提交者:
GitHub
12月 24, 2019
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update autofinetune.md
上级
aed61048
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
13 addition
and
10 deletion
+13
-10
tutorial/autofinetune.md
tutorial/autofinetune.md
+13
-10
未找到文件。
tutorial/autofinetune.md
浏览文件 @
60cfdbb8
...
@@ -7,9 +7,9 @@
...
@@ -7,9 +7,9 @@
PaddleHub AutoDL Finetuner提供两种超参优化算法:
PaddleHub AutoDL Finetuner提供两种超参优化算法:
*
**HAZero**
: 核心思想是通过对正态分布中协方差矩阵的调整来处理变量之间的依赖关系和scaling。算法基本可以分成以下三步:
*
**HAZero**
: 核心思想是通过对正态分布中协方差矩阵的调整来处理变量之间的依赖关系和scaling。算法基本可以分成以下三步:
1.
采样产生新解
1.
采样产生新解
2.
计算目标函数值
2.
计算目标函数值
3.
更新正态分布参数。
3.
更新正态分布参数。
调整参数的基本思路为,调整参数使得产生更优解的概率逐渐增大。优化过程如下图:
调整参数的基本思路为,调整参数使得产生更优解的概率逐渐增大。优化过程如下图:
...
@@ -96,19 +96,19 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
...
@@ -96,19 +96,19 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
其中,选项
其中,选项
>
`--param_file`: 必填,待优化的超参数信息yaml文件,即上述[hparam.yaml](#hparam.yaml)。
*
`--param_file`
: 必填,待优化的超参数信息yaml文件,即上述
[
hparam.yaml
](
#hparam.yaml
)
。
>
`--cuda`: 必填,设置运行程序的可用GPU卡号,list类型,中间以逗号隔开,不能有空格,默认为[‘0’]
*
`--cuda`
: 必填,设置运行程序的可用GPU卡号,list类型,中间以逗号隔开,不能有空格,默认为[‘0’]
>
`--popsize`: 可选,设置程序运行每轮产生的超参组合数,默认为5
*
`--popsize`
: 可选,设置程序运行每轮产生的超参组合数,默认为5
>
`--round`: 可选,设置程序运行的轮数,默认为10
*
`--round`
: 可选,设置程序运行的轮数,默认为10
>
`--output_dir`: 可选,设置程序运行输出结果存放目录,不指定该选项参数时,在当前运行路径下生成存放程序运行输出信息的文件夹
*
`--output_dir`
: 可选,设置程序运行输出结果存放目录,不指定该选项参数时,在当前运行路径下生成存放程序运行输出信息的文件夹
>
`--evaluate_choice`: 可选,设置自动优化超参的评价效果方式,可选fulltrail和populationbased, 默认为populationbased
*
`--evaluate_choice`
: 可选,设置自动优化超参的评价效果方式,可选fulltrail和populationbased, 默认为populationbased
>
`--tuning_strategy`: 可选,设置自动优化超参算法,可选hazero和pshe2,默认为pshe2
*
`--tuning_strategy`
: 可选,设置自动优化超参算法,可选hazero和pshe2,默认为pshe2
**NOTE**
:
**NOTE**
:
...
@@ -121,6 +121,7 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
...
@@ -121,6 +121,7 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
进行自动超参搜索时,PaddleHub会生成以下目录
进行自动超参搜索时,PaddleHub会生成以下目录
```
```
./output_dir/
./output_dir/
├── best_model
├── log_file.txt
├── log_file.txt
├── visualization
├── visualization
├── round0
├── round0
...
@@ -138,6 +139,8 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
...
@@ -138,6 +139,8 @@ $ hub autofinetune train.py --param_file=hparam.yaml --cuda=['1','2'] --popsize=
```
```
其中output_dir为启动autofinetune命令时指定的根目录,目录下:
其中output_dir为启动autofinetune命令时指定的根目录,目录下:
*
best_model记录整个超参优化过程中训练保存的最佳模型参数
*
log_file.txt记录每一轮搜索所有的超参以及整个过程中所搜索到的最优超参
*
log_file.txt记录每一轮搜索所有的超参以及整个过程中所搜索到的最优超参
*
visualization记录可视化过程的日志文件
*
visualization记录可视化过程的日志文件
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录