Created by: leyiwang

你好，因为现实中的任务场景比较复杂，非单一的文本分类和序列标注任务。和想使用特定领域的语料对ernie tiny进行无监督的pretrain。参考了README中关于预训练的说明：[预训练 (ERNIE 1.0)]（https://github.com/PaddlePaddle/ERNIE/blob/develop/README.zh.md#%E9%A2%84%E8%AE%AD%E7%BB%83-ernie-10），对金融财务的语料做了预处理。因为要对原ernie tiny模型进行训练，所以使用了sentence piece做tokenize。最终将一个样本表示成“;”分割5部分存储到gz压缩文件中。其中，因为ernie tiny本身是词语粒度的，所以seg_labels中除了SPE和CLS外的位置都设为了0，即都做词首处理。

将词表指定为ernie tiny的词表，使用script/pretrain.sh脚本训练，并将ernie_config_path指定为ernie tiny的。启动训练任务后，学习率正常，大于0； 但是，当添加 --init_checkpoint ./config/params对ernie tiny模型参数初始化时，发现打印出的日志中每次迭代学习率都是0？