Created by: MarvinLong

[tensoflow 中数据情况] tensorflow版本中, 最后的明文中不同文档间使用空行切分, 同一个文档间每句是一行.

[关于LARK的几点疑问]

1. 不同文档间还需要按照空行切分吗? 我看demo中并没有
2. 一个样本是一个文档还是一个段落?
3. sentence_type_ids 和 next_sentence_label判断条件是什么?
4. token_ids中1 和 2是不是表示[CLS] 和 [SEP] ?

[ 有没有哪位大佬可以提供数据处理脚本参考下, 不胜感激]