关于使用paddlehub调用BERT进行NER时,输入和输出序列长度不一致的问题。
Created by: Briskyu
欢迎您反馈PaddleHub使用问题,非常感谢您对PaddleHub的贡献! 在留下您的问题时,辛苦您同步提供如下信息:
- 版本、环境信息 1)PaddleHub和PaddlePaddle版本:Python 3.7 Paddlepaddle 1.7.2 2)系统环境:aistudio
- 复现信息:
fineturn了一个BERT进行NER,predict时候发现输出序列和输入序列的长度不一致,有时输入序列的长度会大于输出序列。请问是什么原因? 我猜测是tokenizer时数字没有切分,比如“2008”没有切分成"2""0""0""8",请问如果我想讲数字也切分如何做呢?感谢!