Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
87f7316e
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
1 年多 前同步成功
通知
111
Star
5997
Fork
1271
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
87f7316e
编写于
3月 12, 2019
作者:
T
tianxin04
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Erine init commit
上级
0d63c0e9
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
17 addition
and
0 deletion
+17
-0
ERNIE/README.md
ERNIE/README.md
+16
-0
README.md
README.md
+1
-0
未找到文件。
ERNIE/README.md
0 → 100644
浏览文件 @
87f7316e
## Ernie: **E**nhanced **R**epresentation from k**N**owledge **I**nt**E**gration
*Ernie*
通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识。相较于
*Bert*
学习局部语言共现的语义表示,
*Ernie*
直接对语义知识进行建模,增强了模型语义表示能力。
这里我们举个例子:
```
Learnt by Bert :哈 [mask] 滨是 [mask] 龙江的省会,[mask] 际冰 [mask] 文化名城。```
```
Learnt by Ernie:[mask] [mask] [mask] 是黑龙江的省会,国际 [mask] [mask] 文化名城。
```
在
*Bert*
模型中,我们通过『哈』与『滨』的局部共现,即可判断出『尔』字,模型没有学习与『哈尔滨』相关的任何知识。而
*Ernie*
通过学习词与实体的表达,使模型能够建模出『哈尔滨』与『黑龙江』的关系,学到『哈尔滨』是 『黑龙江』的省会以及『哈尔滨』是个冰雪城市。
此外,
*Ernie*
引入了百科、新闻、论坛回帖等多源中文语料进行训练。
我们在多个公开的中文数据集合上进行了效果验证,
*Ernie*
模型相较
*Bert*
, 取得了更好的效果。
README.md
浏览文件 @
87f7316e
...
...
@@ -3,6 +3,7 @@
**LA**
nguage
**R**
epresentations
**K**
it, currently includes
-
[
BERT
](
./BERT
)
: Bidirectional Encoder Representation from Transformers
-
[
ERNIE
](
./ERNIE
)
: Enhanced Representation from kNowledge IntEgration
And more is on the way.
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录