yaml.md 2.4 KB
Newer Older
C
chengmo 已提交
1
```yaml
X
fix  
xjqbest 已提交
2
# 全局配置
C
chengmo 已提交
3
# Debug 模式开关,Debug模式下,会打印OP的耗时及IO占比
X
fix  
xjqbest 已提交
4
debug: false
C
chengmo 已提交
5 6 7 8 9 10

# 工作区目录
# 使用文件夹路径,则会在该目录下寻找超参配置,组网,数据等必须文件
workspace: "/home/demo_model/"
# 若 workspace: paddlerec.models.rank.dnn
# 则会使用官方默认配置与组网
X
fix  
xjqbest 已提交
11 12


C
chengmo 已提交
13 14
# 用户可以指定多个dataset(数据读取配置)
# 运行的不同阶段可以使用不同的dataset
X
fix  
xjqbest 已提交
15
dataset:
C
chengmo 已提交
16 17 18
  # dataloader 示例
  - name: dataset_1
    type: DataLoader 
X
fix  
xjqbest 已提交
19 20
    batch_size: 5
    data_path: "{workspace}/data/train"
C
chengmo 已提交
21
    # 指定自定义的reader.py所在路径
X
fix  
xjqbest 已提交
22 23
    data_converter: "{workspace}/rsc15_reader.py"

C
chengmo 已提交
24 25 26
  # QueueDataset 示例
  - name: dataset_2
    type: QueueDataset 
X
fix  
xjqbest 已提交
27 28
    batch_size: 5
    data_path: "{workspace}/data/train"
C
chengmo 已提交
29
    # 用户可以配置sparse_slots和dense_slots,无需再定义data_converter,使用默认reader
X
fix  
xjqbest 已提交
30 31 32 33
    sparse_slots: "click ins_weight 6001 6002 6003 6005 6006 6007 6008 6009"
    dense_slots: "readlist:9"


C
chengmo 已提交
34
# 自定义超参数,主要涉及网络中的模型超参及优化器
X
fix  
xjqbest 已提交
35 36
hyper_parameters:
    #优化器
C
chengmo 已提交
37 38 39 40 41
    optimizer:
      class: Adam # 直接配置Optimizer,目前支持sgd/Adam/AdaGrad
      learning_rate: 0.001
      strategy: "{workspace}/conf/config_fleet.py" # 使用大规模稀疏pslib模式的特有配置
    # 模型超参
X
fix  
xjqbest 已提交
42 43 44 45
    vocab_size: 1000
    hid_size: 100


C
chengmo 已提交
46 47
# 通过全局参数mode指定当前运行的runner
mode: runner_1
X
fix  
xjqbest 已提交
48

C
chengmo 已提交
49
# runner主要涉及模型的执行环境,如:单机/分布式,CPU/GPU,迭代轮次,模型加载与保存地址
X
fix  
xjqbest 已提交
50
runner:
C
chengmo 已提交
51 52
  - name: runner_1 # 配置一个runner,进行单机的训练
    class: single_train # 配置运行模式的选择,还可以选择:single_infer/local_cluster_train/cluster_train
X
fix  
xjqbest 已提交
53 54 55 56 57 58 59 60 61
    epochs: 10
    device: cpu
    init_model_path: ""
    save_checkpoint_interval: 2
    save_inference_interval: 4
    # 下面是保存模型路径配置
    save_checkpoint_path: "xxxx"
    save_inference_path: "xxxx"

C
chengmo 已提交
62 63
  - name: runner_2 # 配置一个runner,进行单机的预测
    class: single_infer
X
fix  
xjqbest 已提交
64 65 66 67 68
    epochs: 1
    device: cpu
    init_model_path: "afs:/xxx/xxx"


C
chengmo 已提交
69 70 71
# 模型在训练时,可能存在多个阶段,每个阶段的组网与数据读取都可能不尽相同
# 每个runner都会完整的运行所有阶段
# phase指定运行时加载的模型及reader
X
fix  
xjqbest 已提交
72 73 74 75 76
phase:
- name: phase1
  model: "{workspace}/model.py"
  dataset_name: sample_1
  thread_num: 1
X
xujiaqi01 已提交
77
```