Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
6296e1c9
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
6296e1c9
编写于
7月 30, 2019
作者:
L
liyukun01
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
amend several chinese descriptions
上级
0a9ad511
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
5 addition
and
5 deletion
+5
-5
README.zh.md
README.zh.md
+5
-5
未找到文件。
README.zh.md
浏览文件 @
6296e1c9
...
...
@@ -3,7 +3,7 @@
## ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
*
[
可持续学习语义理解框架
](
#可
持续学习语义理解框架
)
*
[
持续学习语义理解框架
](
#
持续学习语义理解框架
)
*
[
Pre-Training 任务
](
#pre-training-任务
)
*
[
Word-aware Tasks
](
#word-aware-tasks
)
*
[
Knowledge Masking Task
](
#knowledge-masking-task
)
...
...
@@ -20,9 +20,9 @@
*
[
英文效果验证
](
#英文效果验证
)
###
可
持续学习语义理解框架
### 持续学习语义理解框架
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
是基于
可
持续学习的语义理解预训练框架,使用多任务学习增量式构建预训练任务。
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
中,新构建的预训练任务类型可以无缝的加入训练框架,持续的进行语义理解学习。 通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务,
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
语义理解预训练模型从训练数据中获取了词法、句法、语义等多个维度的自然语言信息,极大地增强了通用语义表示能力。
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
是基于持续学习的语义理解预训练框架,使用多任务学习增量式构建预训练任务。
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
中,新构建的预训练任务类型可以无缝的加入训练框架,持续的进行语义理解学习。 通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务,
**[ERNIE 2.0](https://arxiv.org/abs/1907.12412v1)**
语义理解预训练模型从训练数据中获取了词法、句法、语义等多个维度的自然语言信息,极大地增强了通用语义表示能力。
![
ernie2.0_arch
](
.metas/ernie2.0_arch.png
)
...
...
@@ -51,7 +51,7 @@
##### Token-Document Relation Prediction Task
-
针对一个 segment 中出现的词汇,去预测该词汇是否也在原文档的其他 segments
从
出现。
-
针对一个 segment 中出现的词汇,去预测该词汇是否也在原文档的其他 segments
中
出现。
#### Structure-aware Tasks
...
...
@@ -61,7 +61,7 @@
##### Sentence Distance Task
-
通过一个 3 分类任务,去判断句对 (sentence pairs) 位置关系,更好的建模语义相关性。
-
通过一个 3 分类任务,去判断句对 (sentence pairs) 位置关系
(包含邻近句子、文档内非邻近句子、非同文档内句子 3 种类别)
,更好的建模语义相关性。
#### Semantic-aware Tasks
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录