diff --git a/ERNIE/README.md b/ERNIE/README.md index a25f8b73686ebf4f423441c2bf86152cb060dc96..9d48676128525c2b236b10185121bd8165eb26d8 100644 --- a/ERNIE/README.md +++ b/ERNIE/README.md @@ -1,4 +1,3 @@ - ## Ernie: **E**nhanced **R**epresentation from k**N**owledge **I**nt**E**gration *Ernie* 通过建模海量数据中的词、实体及实体关系，学习真实世界的语义知识。相较于 *Bert* 学习局部语言共现的语义表示，*Ernie* 直接对语义知识进行建模，增强了模型语义表示能力。 @@ -14,3 +13,133 @@ 此外， *Ernie* 引入了百科、新闻、论坛回帖等多源中文语料进行训练。 我们在多个公开的中文数据集合上进行了效果验证，*Ernie* 模型相较 *Bert*， 取得了更好的效果。 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
数据集 +
xnlilcqmcmsra nerchnsenticorpnlpcc-dbqa
+

+ 评估

+

+ 指标 +

+ 		+ acc +
+ acc +
+ f1-score +
+ acc + +
+ mrr +
+ f1-score +
+ dev +
+ test +
+ dev +
+ test +
+ dev +
+ test +
+ dev +
+ test +
+ dev +
+ test +
+ dev +
+ test +
+ Bert +
78.177.288.887.094.0 +
+ 92.694.694.394.794.680.780.8
+ Ernie +
79.9 (+1.8)78.4 (+1.2)89.7 (+0.9)87.4 (+0.4)95.0 (+1.0)93.8 (+1.2)95.2 (+0.6)95.4 (+1.1)95.0 (+0.3)95.1 (+0.5)82.3 (+1.6)82.7 (+1.9)
+ +#### 数据集介绍 + + - **自然语言推断任务** XNLI +XNLI 由 Facebook 和纽约大学的研究者联合构建，旨在评测模型多语言的句子理解能力。目标是判断两个句子的关系（矛盾、中立、蕴含）。[链接](https://github.com/facebookresearch/XNLI) + + - **语义匹配任务** LCQMC +LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问答匹配数据集其目，标是判断两个问题的语义是否相同。[链接](http://aclweb.org/anthology/C18-1166) + + - **命名实体识别任务** MSRA-NER +MSRA-NER 数据集由微软亚研院发布，其目标是命名实体识别，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名等。[链接](http://sighan.cs.uchicago.edu/bakeoff2005/) + + - **情感分析任务** ChnSentiCorp +ChnSentiCorp 是中文情感分析数据集，其目标是判断一段话的情感态度。 + + - **检索式问答任务** nlpcc-dbqa +nlpcc-dbqa是由国际自然语言处理和中文计算会议NLPCC于2016年举办的评测任务，其目标是选择能够回答问题的答案。[链接](http://tcci.ccf.org.cn/conference/2016/dldoc/evagline2.pdf)