Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
ERNIE
提交
b6fb08c6
E
ERNIE
项目概览
PaddlePaddle
/
ERNIE
大约 1 年 前同步成功
通知
108
Star
5997
Fork
1270
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
29
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
E
ERNIE
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
29
Issue
29
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
b6fb08c6
编写于
5月 19, 2022
作者:
W
webyfdt
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add img
上级
3f4a735c
变更
7
显示空白变更内容
内联
并排
Showing
7 changed file
with
7 addition
and
14 deletion
+7
-14
.DS_Store
.DS_Store
+0
-0
ERNIE.png
ERNIE.png
+0
-0
ERNIE_milestone_20210519_zh.png
ERNIE_milestone_20210519_zh.png
+0
-0
README.md
README.md
+5
-5
README_SOCRE.md
README_SOCRE.md
+1
-5
Research/readme.md
Research/readme.md
+1
-1
nlp-ernie/wenxin_appzoo/wenxin_appzoo/models_hub/readme.md
nlp-ernie/wenxin_appzoo/wenxin_appzoo/models_hub/readme.md
+0
-3
未找到文件。
.DS_Store
0 → 100644
浏览文件 @
b6fb08c6
文件已添加
ERNIE.png
0 → 100644
浏览文件 @
b6fb08c6
635.9 KB
ERNIE_milestone_20210519_zh.png
已删除
100644 → 0
浏览文件 @
3f4a735c
512.0 KB
README.md
浏览文件 @
b6fb08c6
# ![ERNIE_milestone_20210519_zh](./ERNIE
_milestone_20210519_zh
.png)
# ![ERNIE_milestone_20210519_zh](./ERNIE.png)
ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架,该框架将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的知识,实现模型效果不断进化。ERNIE在累积 40 余个典型 NLP 任务取得 SOTA 效果,并在 GLUE、VCR、XTREME、SemEval 等国际权威评测上斩获十余项冠军。ERNIE 在 2020年荣获了中国人工智能学会优秀科技成果奖及世界人工智能大会最高荣誉 SAIL奖,该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道,相关创新成果也被国际顶级学术会议AAAI、ACL、NAACL、IJCAI收录。ERNIE在工业界得到了大规模应用,如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等
。
文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。知识增强是文心大模型的核心特色,其能够从大规模知识和海量无结构数据中融合学习,学习效率更高、效果更好,具有良好的可解释性。 百度是国内首个在预训练大模型上做出突破性工作的公司,早在2019年3月就发布了国内首个开源预训练模型文心ERNIE 1.0,此后在语言与跨模态的理解和生成等领域取得一系列技术突破,并在 GLUE、SuperGLUE、VCR、XTREME、DocVQA、SROIE、SemEval 等国际权威评测上斩获数十项冠军。文心ERNIE大模型核心技术荣获2021年度国家技术发明二等奖、2020年世界人工智能大会最高荣誉SAIL奖、中国人工智能学会优秀科技成果奖、相关创新成果也被国际顶级学术会议AAAI、ACL、EMNLP、IJCAI、NAACL收录。 文心大模型ERNIE已应用于百度搜索、信息流、智能音箱等互联网产品,显著提升了亿万用户的体验。 文心大模型ERNIE通过百度飞桨平台对外开源与开放,并通过百度智能云赋能工业、能源、金融、通信、媒体、教育等不同行业,促进各行各业的产业智能化升级
。
提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外,也欢迎上
[
EasyDL
](
https://ai.baidu.com/easydl/pro
)
、
[
BML
](
https://ai.baidu.com/bml/app/overview
)
体验更丰富的功能。
[
【了解更多】
](
https://wenxin.baidu.com/
)
...
...
@@ -13,8 +13,8 @@ ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框
-
110M参数通用模型ERNIE 3.0 Base
-
250M参数重量级通用模型ERNIE 3.0 XBase
-
24M轻量级通用模型ERNIE 3.0 Medium
-
新增语音
语义
模型ERNIE-SAT(链接待补充)
-
新增ERNIE-Gen(中文)预训模型,支持多类主流生成任务:主要包括摘要、问题生成、对话、问答
-
新增语音
-语言跨模态
模型ERNIE-SAT(链接待补充)
-
新增ERNIE-Gen(中文)预训
练
模型,支持多类主流生成任务:主要包括摘要、问题生成、对话、问答
-
动静结合的文心ERNIE开发套件:基于飞桨动态图功能,支持文心ERNIE模型动态图训练。您仅需要在模型训练开启前,修改一个参数配置,即可实现模型训练的动静切换。
-
将文本预处理、预训练模型、网络搭建、模型评估、上线部署等NLP开发流程规范封装。
-
支持NLP常用任务:文本分类、文本匹配、序列标注、信息抽取、文本生成、数据蒸馏等。
...
...
@@ -162,7 +162,7 @@ sh downlaod_ernie3.0_base_ch.sh
# 模型效果评估
[
模型效果评估
](
README_SCO
RE.md
)
[
模型效果评估
](
./README_SOC
RE.md
)
# 数据集下载
...
...
README_SOCRE.md
浏览文件 @
b6fb08c6
...
...
@@ -2,7 +2,7 @@
## 评估数据集
其中分类和匹配采用clue数据集,序列标注采用mara-ner数据集,信息抽取采用百度2021DuIE
数据集。
分类和匹配采用clue
数据集。
## CLUE 评测结果:
...
...
@@ -32,10 +32,6 @@
| max_seq_length | 128 | 128 | 128 | 128 | 128 | 128 | 256 |
| warmup_proportion | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 |
**序列标注和多对多信息抽取任务:**
todo
## ERNIE模型Grid Search 最优超参
...
...
Research/readme.md
浏览文件 @
b6fb08c6
...
...
@@ -5,4 +5,4 @@
-
融合场景图知识的跨模态预训练模型教程
[
ERNIE-ViL
](
https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-vil
)
-
语言与视觉一体的预训练模型
[
ERNIE-UNIMO
](
https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-unimo
)
-
新增语音语义模型ERNIE-SAT(链接待补充)
\ No newline at end of file
-
新增语音-语言跨模态模型ERNIE-SAT(链接待补充)
\ No newline at end of file
nlp-ernie/wenxin_appzoo/wenxin_appzoo/models_hub/readme.md
浏览文件 @
b6fb08c6
...
...
@@ -8,9 +8,6 @@
[
Ernie2.0
](
https://www.jiqizhixin.com/articles/2019-07-31-10
)
# Ernie-Doc
[
ERNIE-Doc
](
https://github.com/PaddlePaddle/ERNIE/blob/repro/ernie-doc/README_zh.md
)
# Ernie-M
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录