Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
345e961e
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
109
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
345e961e
编写于
5月 21, 2021
作者:
N
nbcc
提交者:
GitHub
5月 21, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Revert "fix ernie-gram readme"
上级
e700062f
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
22 addition
and
25 deletion
+22
-25
ernie-gram/README.zh.md
ernie-gram/README.zh.md
+22
-25
未找到文件。
ernie-gram/README.zh.md
浏览文件 @
345e961e
[
English
](
./README.en.md
)
|简体中文
[
English
](
./README.en.md
)
|简体中文
`提醒`
:
*ERNIE-Gram*
中/英文模型已经
[
正式开源
](
??
)
,paper 复现代码也即将开源至
[
repro分支
](
https://github.com/PaddlePaddle/ERNIE/tree/repro
)
。现在您可以使用基于 Paddle 2.0 全新升级、基于动静结合的新版 ERNIE 套件体验
*ERNIE-Gram*
中/英文开源模型。
`提醒`
:
*ERNIE-Gram*
中/英文模型已经
[
正式开源
](
#3-下载预训练模型可选
)
,paper 复现代码也即将开源至
[
repro分支
](
https://github.com/PaddlePaddle/ERNIE/tree/repro
)
。现在您可以使用基于 Paddle 2.0 全新升级、基于动静结合的新版 ERNIE 套件体验
*ERNIE-Gram*
中/英文开源模型。
## _ERNIE-Gram_: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding
## _ERNIE-Gram_: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding
![
ERNIE-Gram
](
.meta/ernie-gram.jpeg
)
-
[
模型框架
](
#模型框架
)
-
[
模型框架
](
#模型框架
)
-
[
快速上手
](
#快速上手
)
-
[
快速上手
](
#快速上手
)
-
[
安装& 使用
](
#安装
)
-
[
安装& 使用
](
#安装
)
...
@@ -17,8 +19,6 @@
...
@@ -17,8 +19,6 @@
### 模型框架
### 模型框架
![
ERNIE-Gram
](
.meta/ernie-gram.jpeg
)
从
**ERNIE 1.0**
起,百度研究者们就在预训练中引入
**知识增强**
学习,通过掩码连续的词、phrase、named entity 等语义知识单元,实现更好的预训练学习。本次开源的通用语义理解模型
**ERNIE-Gram**
更进一步,提出的
**显式**
、
**完备**
的 n-gram 掩码语言模型,实现了显式的 n-gram 语义单元知识建模。
从
**ERNIE 1.0**
起,百度研究者们就在预训练中引入
**知识增强**
学习,通过掩码连续的词、phrase、named entity 等语义知识单元,实现更好的预训练学习。本次开源的通用语义理解模型
**ERNIE-Gram**
更进一步,提出的
**显式**
、
**完备**
的 n-gram 掩码语言模型,实现了显式的 n-gram 语义单元知识建模。
#### ERNIE 多粒度预训练语义理解技术
#### ERNIE 多粒度预训练语义理解技术
...
@@ -30,15 +30,15 @@
...
@@ -30,15 +30,15 @@
**ERNIE-Gram**
工作已被
**NAACL-HLT 2021**
作为长文收录,更多细节见
[
link
](
https://arxiv.org/abs/2010.12148
)
。
**ERNIE-Gram**
工作已被
**NAACL-HLT 2021**
作为长文收录,更多细节见
[
link
](
https://arxiv.org/abs/2010.12148
)
。
### 快速上手
(待补充运行示例)
### 快速上手
```
shell
```
shell
import numpy as np
mkdir
-p
data
import paddle as P
cd
data
from ernie.tokenizing_ernie import ErnieTokenizer
wget https://ernie-github.cdn.bcebos.com/data-xnli.tar.gz
from ernie.modeling_ernie import ErnieModel
tar
xf data-xnli.tar.gz
cd
..
model
=
ErnieModel.from_pretrained
(
'ernie-gram'
)
# Try to get
#demo for NLI task
sh run_cls.sh task_configs/xnli_conf
```
```
...
@@ -66,8 +66,8 @@ export PYTHONPATH=$PWD:$PYTHONPATH
...
@@ -66,8 +66,8 @@ export PYTHONPATH=$PWD:$PYTHONPATH
| Model | 细节参数 |下载简写|
| Model | 细节参数 |下载简写|
| :------------------------------------------------- |:------------------------------------------------------------------------- |:-------|
| :------------------------------------------------- |:------------------------------------------------------------------------- |:-------|
|
[
ERNIE-Gram 中文
](
补充链接
)
| Layer:12, Hidden:768, Heads:12 |ernie-gram|
|
[
ERNIE-Gram 中文
](
https://ernie-github.cdn.bcebos.com/model-ernie-gram-zh.1.tar.gz
)
| Layer:12, Hidden:768, Heads:12 |ernie-gram|
|
[
ERNIE-Gram 英文
](
补充链接
)
| Layer:3, Hdden:1024, Heads:16
|ernie-gram-en|
|
[
ERNIE-Gram 英文
](
https://ernie-github.cdn.bcebos.com/model-ernie-gram-en.1.tar.gz
)
| Layer:12, Hdden:768, Heads:12
|ernie-gram-en|
##### 4. 下载数据集
##### 4. 下载数据集
...
@@ -101,20 +101,20 @@ data/xnli
...
@@ -101,20 +101,20 @@ data/xnli
-
[
句对分类
](
./demo/finetune_classifier_distributed.py
)
-
[
句对分类
](
./demo/finetune_classifier_distributed.py
)
-
[
语义匹配
](
./demo/finetune_classifier_distributed.py
)
-
[
语义匹配
](
./demo/finetune_classifier_distributed.py
)
-
[
机器阅读理解
](
./demo/finetune_mrc.py
)
-
[
机器阅读理解
](
./demo/finetune_mrc.py
)
-
[
命名实体识别
](
./demo/finetune_ner.py
)
**推荐超参数设置:**
**推荐超参数设置:**
|任务|batch size|learning rate|
epoch|dropout rate|
|任务|batch size|learning rate|
|--|--|--|
--|--|
|--|--|--|
| XNLI | 256 | 1.5e-4 |
3 | 0.1 |
| XNLI | 256 | 1.5e-4 |
| LCQMC |
32 | 4e-5 | 2 | 0.1
|
| LCQMC |
16 | 4e-5
|
| DRCD | 64 |
1e-4 | 3 | 0.2
|
| DRCD | 64 |
5e-5
|
| CMRC2018 | 64 | 1.5e-4 |
5 | 0.2 |
| CMRC2018 | 64 | 1.5e-4 |
| DuReader | 64 | 1.5e-
4 | 5 | 0.1
|
| DuReader | 64 | 1.5e-
5
|
| MSRA-NER(SIGHAN2006)
| 16 | 5e-5 | 10| 0.1
|
| MSRA-NER(SIGHAN2006)
| 16 | 5e-5
|
若希望复现 paper 中的所有实验,请切换至本 repo 的
`repro`
分支。
### 文献引用
### 文献引用
...
@@ -127,9 +127,6 @@ data/xnli
...
@@ -127,9 +127,6 @@ data/xnli
}
}
```
```
若希望复现 paper 中的所有实验,请切换至本 repo 的
`repro`
分支。
### 讨论组
### 讨论组
-
[
ERNIE官方主页
](
https://wenxin.baidu.com/
)
-
[
ERNIE官方主页
](
https://wenxin.baidu.com/
)
-
[
Github Issues
](
https://github.com/PaddlePaddle/ERNIE/issues
)
: bug reports, feature requests, install issues, usage issues, etc.
-
[
Github Issues
](
https://github.com/PaddlePaddle/ERNIE/issues
)
: bug reports, feature requests, install issues, usage issues, etc.
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录