Skip to content

P
PaddleHub

PaddlePaddle / PaddleHub
大约 1 年 前同步成功

通知 282
Star 12117
Fork 2091
P
PaddleHub

Tokenizer解耦 !659

!659 已关闭 由 saxon_zh@saxon_zh 创建

Created by: kinghuin

  1. 新增BertTokenizer和ErnieTinyTokenizer
  2. dataset支持接收tokenizer，直接对examples进行预处理
  3. task支持接收dataset，取消掉了feed_list参数
  4. 修改了各个demo以适配新写法
  • 阅读理解还在重构中