Skip to content

E
ERNIE

PaddlePaddle / ERNIE
大约 1 年 前同步成功

通知 109
Star 5997
Fork 1270
E
ERNIE
已关闭
Opened by saxon_zh@saxon_zhOwner

预训练与finetune时的tokenizer不一致

Created by: prozhuchen

  1. 我发现在ernie的pretrain阶段使用的是CharTokenizer,在finetune阶段使用的是FullTokenizer，这两个tokenizer的逻辑还不一样，请问这个是什么原因呢？不会出现两个阶段不对应的问题吗？