Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
08ef209e
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
08ef209e
编写于
3月 15, 2019
作者:
T
tianxin04
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update README
上级
2aaf91e9
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
8 addition
and
8 deletion
+8
-8
ERNIE/README.md
ERNIE/README.md
+8
-8
未找到文件。
ERNIE/README.md
浏览文件 @
08ef209e
## ERNIE: **E**nhanced **R**epresentation from k**N**owledge **I**nt**E**gration
## ERNIE: **E**nhanced **R**epresentation from k**N**owledge **I**nt**E**gration
*
ERNIE*
通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识。相较于
*BERT*
学习局部语言共现的语义表示,
*ERNIE
*
直接对语义知识进行建模,增强了模型语义表示能力。
*
*ERNIE**
通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识。相较于
**BERT**
学习局部语言共现的语义表示,
**ERNIE*
*
直接对语义知识进行建模,增强了模型语义表示能力。
这里我们举个例子:
这里我们举个例子:
...
@@ -8,11 +8,11 @@
...
@@ -8,11 +8,11 @@
```
Learnt by ERNIE:[mask] [mask] [mask] 是黑龙江的省会,国际 [mask] [mask] 文化名城。
```
```
Learnt by ERNIE:[mask] [mask] [mask] 是黑龙江的省会,国际 [mask] [mask] 文化名城。
```
在 *
BERT* 模型中,我们通过『哈』与『滨』的局部共现,即可判断出『尔』字,模型没有学习与『哈尔滨』相关的任何知识。而 *ERNIE
* 通过学习词与实体的表达,使模型能够建模出『哈尔滨』与『黑龙江』的关系,学到『哈尔滨』是 『黑龙江』的省会以及『哈尔滨』是个冰雪城市。
在 *
*BERT** 模型中,我们通过『哈』与『滨』的局部共现,即可判断出『尔』字,模型没有学习与『哈尔滨』相关的任何知识。而 **ERNIE*
* 通过学习词与实体的表达,使模型能够建模出『哈尔滨』与『黑龙江』的关系,学到『哈尔滨』是 『黑龙江』的省会以及『哈尔滨』是个冰雪城市。
训练数据方面,除百科类、资讯类中文语料外,*
ERNIE
* 还引入了论坛对话类数据,利用 **DLM**(Dialogue Language Model)建模 Query-Response 对话结构,将对话 Pair 对作为输入,引入 Dialogue Embedding 标识对话的角色,利用 Dialogue Response Loss 学习对话的隐式关系,进一步提升模型的语义表示能力。
训练数据方面,除百科类、资讯类中文语料外,*
*ERNIE*
* 还引入了论坛对话类数据,利用 **DLM**(Dialogue Language Model)建模 Query-Response 对话结构,将对话 Pair 对作为输入,引入 Dialogue Embedding 标识对话的角色,利用 Dialogue Response Loss 学习对话的隐式关系,进一步提升模型的语义表示能力。
我们在自然语言推断,语义相似度,命名实体识别,情感分析,问答匹配 5 个公开的中文数据集合上进行了效果验证,*
ERNIE* 模型相较 *BERT
* 取得了更好的效果。
我们在自然语言推断,语义相似度,命名实体识别,情感分析,问答匹配 5 个公开的中文数据集合上进行了效果验证,*
*ERNIE** 模型相较 **BERT*
* 取得了更好的效果。
<table>
<table>
<tbody>
<tbody>
...
@@ -136,13 +136,13 @@ XNLI 由 Facebook 和纽约大学的研究者联合构建,旨在评测模型
...
@@ -136,13 +136,13 @@ XNLI 由 Facebook 和纽约大学的研究者联合构建,旨在评测模型
- **语义相似度** LCQMC
- **语义相似度** LCQMC
```
text
```
text
LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问答匹配数据集其目标是判断两个问题的语义是否相同。[链接: http://aclweb.org/anthology/C18-1166]
LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问答匹配数据集
,
其目标是判断两个问题的语义是否相同。[链接: http://aclweb.org/anthology/C18-1166]
```
```
- **命名实体识别任务** MSRA-NER
- **命名实体识别任务** MSRA-NER
```
text
```
text
MSRA-NER 数据集由微软亚研院发布,其目标是命名实体识别,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名等。
[链接: http://sighan.cs.uchicago.edu/bakeoff2005/]
MSRA-NER 数据集由微软亚研院发布,其目标是命名实体识别,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名等。
```
```
- **情感分析任务** ChnSentiCorp
- **情感分析任务** ChnSentiCorp
...
@@ -193,9 +193,9 @@ epoch: 1, progress: 1/1, step: 50, loss: 10.360563, ppl: 16398.287109, next_sent
...
@@ -193,9 +193,9 @@ epoch: 1, progress: 1/1, step: 50, loss: 10.360563, ppl: 16398.287109, next_sent
```
```
如果用自定义的真实数据进行训练,请参照
[
`script/pretrain.sh`
](
./script/pretrain.sh
)
脚本对参数做相应修改。
如果用自定义的真实数据进行训练,请参照
[
`script/pretrain.sh`
](
./script/pretrain.sh
)
脚本对参数做相应修改。
### Fine
tune
任务
### Fine
-tuning
任务
在完成 ERNIE 模型的预训练后,即可利用预训练参数在特定的 NLP 任务上做 Fine-tuning。以下基于 ERNIE 的预训练模型,示例如何进行分类任务和序列标注任务的 Fine-tuning,如果要运行这些任务,请通过
[
模型&数据
](
#模型
&
数据
)
一节提供的链接预先下载好对应的预训练模型。
在完成 ERNIE 模型的预训练后,即可利用预训练参数在特定的 NLP 任务上做 Fine-tuning。以下基于 ERNIE 的预训练模型,示例如何进行分类任务和序列标注任务的 Fine-tuning,如果要运行这些任务,请通过
[
模型&数据
](
#模型
-
数据
)
一节提供的链接预先下载好对应的预训练模型。
将下载的模型解压到
`${MODEL_PATH}`
路径下,
`${MODEL_PATH}`
路径下包含模型参数目录
`params`
;
将下载的模型解压到
`${MODEL_PATH}`
路径下,
`${MODEL_PATH}`
路径下包含模型参数目录
`params`
;
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录