Created by: zhaolulul

因为想试一下你们预训练的模型 我在处理我自己的数据过程中 不知道你们（ 利用百度内部词法分析工具对句对数据进行字、词、实体等不同粒度的切分，然后基于 tokenization.py 中的 CharTokenizer 对切分后的数据进行 token 化处理，得到明文的 token 序列及切分边界，）用的什么词法分析工具 是否方便公开