未验证 提交 75d396d5 编写于 作者: X Xiaoyao Xi 提交者: GitHub

Update README.md

上级 c9b9a60f
......@@ -430,9 +430,7 @@ cls3: inference model saved at output_model/thirdrun/infer_model
要完成多任务学习,我们需要对主干网络、各个任务以及训练方式进行必要的配置,为此,框架实现了一套高效的配置广播机制。如上图,通过yaml语言可以描述主干网络和各个任务实例的相关配置,并存储于文件中。由于任务实例可能有多个,且部分超参数会同时被主干网络和任务实例用到,因此对于这些需要“重复配置”却取值相同的超参数,可以写入全局配置文件中,框架在解析全局配置文件时会自动将其“广播”给主干网络和各个任务实例。
此外,全局配置文件的优先级要高于主干网络和任务实例的配置文件,因此当某个超参数在全局配置文件的取值与其在其余位置的取值冲突时,框架以全局配置文件中的取值为准。各种配置方式的优先级如下
**命令行 > 全局配置文件 > 任务实例配置文件&主干网络配置文件**
此外,全局配置文件的优先级要高于主干网络和任务实例的配置文件,因此当某个超参数在全局配置文件的取值与其在其余位置的取值冲突时,框架以全局配置文件中的取值为准。
同时,为了方便进行大规模实验和超参数调优,凡是在**全局配置文件**中出现的超参数,均可以通过命令行进行控制,例如,对于如下全局配置文件
......@@ -449,6 +447,10 @@ batch_size: 32
python demo3.py --learning_rate 1e-4 --batch_size 64
```
因此,各种配置方式的优先级如下
**命令行 > 全局配置文件 > 任务实例配置文件&主干网络配置文件**
### reader、backbone与paradigm的选择
reader、backbone和paradigm是实现各类任务的三大基础组件,其中reader为数据集载入与处理工具,将一定格式的输入数据集自动转换成确定的输出元素字典(如单词id序列,位置id序列等);backbone为主干网络,将来自reader的一部分输出转换为高阶抽象的输出元素字典(如词向量、句向量、编码器输出的上下文相关词向量等);paradigm为任务范式,将来自reader的一部分输出和backbone输出的对原始输入的高阶抽象转换为训练所需要的loss以及预测所需要的输出等。
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册