提交 b6fb08c6 编写于 作者: W webyfdt

add img

上级 3f4a735c
文件已添加
ERNIE.png

635.9 KB

# ![ERNIE_milestone_20210519_zh](./ERNIE_milestone_20210519_zh.png)
# ![ERNIE_milestone_20210519_zh](./ERNIE.png)
ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架,该框架将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的知识,实现模型效果不断进化。ERNIE在累积 40 余个典型 NLP 任务取得 SOTA 效果,并在 GLUE、VCR、XTREME、SemEval 等国际权威评测上斩获十余项冠军。ERNIE 在 2020年荣获了中国人工智能学会优秀科技成果奖及世界人工智能大会最高荣誉 SAIL奖,该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道,相关创新成果也被国际顶级学术会议AAAI、ACL、NAACL、IJCAI收录。ERNIE在工业界得到了大规模应用,如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等
文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。知识增强是文心大模型的核心特色,其能够从大规模知识和海量无结构数据中融合学习,学习效率更高、效果更好,具有良好的可解释性。 百度是国内首个在预训练大模型上做出突破性工作的公司,早在2019年3月就发布了国内首个开源预训练模型文心ERNIE 1.0,此后在语言与跨模态的理解和生成等领域取得一系列技术突破,并在 GLUE、SuperGLUE、VCR、XTREME、DocVQA、SROIE、SemEval 等国际权威评测上斩获数十项冠军。文心ERNIE大模型核心技术荣获2021年度国家技术发明二等奖、2020年世界人工智能大会最高荣誉SAIL奖、中国人工智能学会优秀科技成果奖、相关创新成果也被国际顶级学术会议AAAI、ACL、EMNLP、IJCAI、NAACL收录。 文心大模型ERNIE已应用于百度搜索、信息流、智能音箱等互联网产品,显著提升了亿万用户的体验。 文心大模型ERNIE通过百度飞桨平台对外开源与开放,并通过百度智能云赋能工业、能源、金融、通信、媒体、教育等不同行业,促进各行各业的产业智能化升级
提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外,也欢迎上[EasyDL](https://ai.baidu.com/easydl/pro)[BML](https://ai.baidu.com/bml/app/overview)体验更丰富的功能。
[【了解更多】](https://wenxin.baidu.com/)
......@@ -13,8 +13,8 @@ ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框
- 110M参数通用模型ERNIE 3.0 Base
- 250M参数重量级通用模型ERNIE 3.0 XBase
- 24M轻量级通用模型ERNIE 3.0 Medium
- 新增语音语义模型ERNIE-SAT(链接待补充)
- 新增ERNIE-Gen(中文)预训模型,支持多类主流生成任务:主要包括摘要、问题生成、对话、问答
- 新增语音-语言跨模态模型ERNIE-SAT(链接待补充)
- 新增ERNIE-Gen(中文)预训模型,支持多类主流生成任务:主要包括摘要、问题生成、对话、问答
- 动静结合的文心ERNIE开发套件:基于飞桨动态图功能,支持文心ERNIE模型动态图训练。您仅需要在模型训练开启前,修改一个参数配置,即可实现模型训练的动静切换。
- 将文本预处理、预训练模型、网络搭建、模型评估、上线部署等NLP开发流程规范封装。
- 支持NLP常用任务:文本分类、文本匹配、序列标注、信息抽取、文本生成、数据蒸馏等。
......@@ -162,7 +162,7 @@ sh downlaod_ernie3.0_base_ch.sh
# 模型效果评估
[模型效果评估](README_SCORE.md)
[模型效果评估](./README_SOCRE.md)
# 数据集下载
......
......@@ -2,7 +2,7 @@
## 评估数据集
其中分类和匹配采用clue数据集,序列标注采用mara-ner数据集,信息抽取采用百度2021DuIE数据集。
分类和匹配采用clue数据集。
## CLUE 评测结果:
......@@ -32,10 +32,6 @@
| max_seq_length | 128 | 128 | 128 | 128 | 128 | 128 | 256 |
| warmup_proportion | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 |
**序列标注和多对多信息抽取任务:**
todo
## ERNIE模型Grid Search 最优超参
......
......@@ -5,4 +5,4 @@
- 融合场景图知识的跨模态预训练模型教程 [ERNIE-ViL](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-vil)
- 语言与视觉一体的预训练模型 [ERNIE-UNIMO](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-unimo)
- 新增语音语义模型ERNIE-SAT(链接待补充)
\ No newline at end of file
- 新增语音-语言跨模态模型ERNIE-SAT(链接待补充)
\ No newline at end of file
......@@ -8,9 +8,6 @@
[Ernie2.0 ](https://www.jiqizhixin.com/articles/2019-07-31-10)
# Ernie-Doc
[ERNIE-Doc](https://github.com/PaddlePaddle/ERNIE/blob/repro/ernie-doc/README_zh.md)
# Ernie-M
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册