diff --git a/README.eng.md b/README.eng.md index a05f9c21816b65f6e180c3ea3d753bbc9f6032f5..1cdebabde3301ac7362fd43fd0ed8fa9a3f5ff9c 100644 --- a/README.eng.md +++ b/README.eng.md @@ -10,15 +10,23 @@ ERNIE 2.0 builds a strong basic for nearly every NLP tasks: Text Classification, # News -- May.20.2020: Try ERNIE in "`dygraph`", with: - - - Pretrain and finetune ERNIE with [PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8). - - Eager execution with `paddle.fluid.dygraph`. - - Distributed training. - - Easy deployment. - - Learn NLP in Aistudio tutorials. - - Backward compatibility for old-styled checkpoint - - Release **[ERNIE-GEN](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen)**, a state-of-the-art pre-trained model for generation tasks: base/large/large-160G +- May.20.2020: + + - Try ERNIE in "`dygraph`", with: + - Pretrain and finetune ERNIE with [PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8). + - Eager execution with `paddle.fluid.dygraph`. + - Distributed training. + - Easy deployment. + - Learn NLP in Aistudio tutorials. + - Backward compatibility for old-styled checkpoint + + - [`ERNIE-GEN`](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen) is **avaliable** now! ([link here](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen)) + - the **state-of-the-art** pre-trained model for generation tasks, accepted by `IJCAI-2020`. + - A novel **span-by-span generation pre-training task**. + - An **infilling generation** echanism and a **noise-aware generation** method. + - Implemented by a carefully designed **Multi-Flow Attention** architecture. + - You are able to `download` all models including `base/large/large-160G`. + - Apr.30.2020: Release [ERNIESage](https://github.com/PaddlePaddle/PGL/tree/master/examples/erniesage), a novel Graph Neural Network Model using ERNIE as its aggregator. It is implemented through [PGL](https://github.com/PaddlePaddle/PGL) - Mar.27.2020: [Champion on 5 SemEval2020 sub tasks](https://www.jiqizhixin.com/articles/2020-03-27-8) - Dec.26.2019: [1st place on GLUE leaderboard](https://www.technologyreview.com/2019/12/26/131372/ai-baidu-ernie-google-bert-natural-language-glue/) @@ -60,7 +68,7 @@ print(pooled.numpy()) # convert results to numpy Don't have GPU? try ERNIE in [AIStudio](https://aistudio.baidu.com/aistudio/index)! (please choose the latest version and apply for a GPU environment) -1. [ERNIE for beginners](https://aistudio.baidu.com/aistudio/projectdetail/266623) +1. ERNIE for beginners 1. [Sementic Analysis](https://aistudio.baidu.com/aistudio/projectdetail/427482) 2. [Cloze Test](https://aistudio.baidu.com/aistudio/projectdetail/433491) 3. [Knowledge Distillation](https://aistudio.baidu.com/aistudio/projectdetail/439460) diff --git a/README.md b/README.md index 1a980595aad37bc2cb1934afb88a606f5eec7248..dc48329272ea0ce766dc9d1557dbeb4365356bef 100644 --- a/README.md +++ b/README.md @@ -2,20 +2,28 @@ ![./.metas/ERNIE_milestone.png](./.metas/ERNIE_milestone.png) +ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架，该框架将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的知识，实现模型效果不断进化。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答等16个公开数据集上全面显著超越世界领先技术，在国际权威的通用语言理解评估基准GLUE上，得分首次突破90分，获得全球第一。在今年3月落下帷幕的全球最大语义评测SemEval 2020上，ERNIE摘得5项世界冠军， 该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道，相关创新成果也被国际顶级学术会议AAAI、IJCAI收录。ERNIE在工业界得到了大规模应用，如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。 + **提醒: ERNIE老版本代码已经迁移至[repro分支](https://github.com/PaddlePaddle/ERNIE/tree/repro)，欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外，也欢迎上[EasyDL](https://ai.baidu.com/easydl/pro)体验更丰富的功能（如ERNIE 2.0、ERNIE 2.1、ERNIE领域模型等）。** -ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框架，该框架将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的知识，实现模型效果不断进化。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解、智能问答等16个公开数据集上全面显著超越世界领先技术，在国际权威的通用语言理解评估基准GLUE上，得分首次突破90分，获得全球第一。在今年3月落下帷幕的全球最大语义评测SemEval 2020上，ERNIE摘得5项世界冠军， 该技术也被全球顶级科技商业杂志《麻省理工科技评论》官方网站报道，相关创新成果也被国际顶级学术会议AAAI、IJCAI收录。ERNIE在工业界得到了大规模应用，如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。 # 新闻 -- 2020.5.20: 欢迎试用`动态图`实现的 ERNIE: - - 基于[PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8)使用 ERNIE 进行 Pretrain 和 Finetune. - - 动态执行, 所见即所得。 - - 大规模分布式训练。 - - 易于部署。 - - 通过Aistudio 教程快速入门NLP。 - - 向后兼容老版 checkpoint。 - - 发布目前效果最佳的生成预训练模型 **[ERNIE-GEN](https://github.com/PaddlePaddle/ERNIE/tree/repro/ernie-gen)** base/large/large-160G 版本，ERNIE能力扩展至文本生成任务。 +- 2020.5.20: + - 欢迎试用`动态图`实现的 ERNIE: + - 基于[PaddlePaddle v1.8](https://github.com/PaddlePaddle/Paddle/tree/release/1.8)使用 ERNIE 进行 Pretrain 和 Finetune. + - 动态执行, 所见即所得。 + - 大规模分布式训练。 + - 易于部署。 + - 通过Aistudio 教程快速入门NLP。 + - 向后兼容老版 checkpoint。 + - `ERNIE-GEN` 模型正式开源! ([点击进入](ernie-gen)) + - 最强文本生成预训练模型正式开源，相关工作已被 `IJCAI-2020` 收录。 + - 首次把 ERNIE 预训练技术能力扩展至文本生成领域，在多个典型任务上取得最佳。 + - 您现在即可下载论文报告的所有模型（包含 [`base/large/large-160G`](ernie-gen/README.zh.md#预训练模型)）。 + - 首次在预训练阶段加入span-by-span 生成任务，让模型每次能够生成一个语义完整的片段。 + - 提出填充式生成机制和噪声感知机制来缓解曝光偏差问题。 + - 精巧的 Mulit-Flow Attention 实现框架。 - 2020.4.30 发布[ERNIESage](https://github.com/PaddlePaddle/PGL/tree/master/examples/erniesage)， 一种新型图神经网络模型，采用ERNIE做为aggreagtor. 由[PGL](https://github.com/PaddlePaddle/PGL)实现。 - 2020.3.27 [在SemEval2020五项子任务上夺冠](https://www.jiqizhixin.com/articles/2020-03-27-8)。 - 2019.12.26 [GLUE榜第一名](https://www.technologyreview.com/2019/12/26/131372/ai-baidu-ernie-google-bert-natural-language-glue/)。 @@ -28,7 +36,7 @@ ERNIE是百度开创性提出的基于知识增强的持续学习语义理解框 * [教程](#教程) * [安装](#安装) -* [Fine-tuning任务](#fine-tuning-任务) +* [支持的NLP任务](#支持的nlp任务) * [预训练(ERNIE 1.0)](#预训练-ernie-10) * [在线预测](#在线预测) * [蒸馏](#蒸馏) @@ -57,7 +65,7 @@ print(pooled.numpy()) # convert results to numpy 手边没有GPU？欢迎在[AIStudio](https://aistudio.baidu.com/aistudio/index)中直接试用 ERNIE. (请选择最新版本的教程并申请GPU运行环境) -1. [从0开始学ERNIE](https://aistudio.baidu.com/aistudio/projectdetail/266623) +1. 从0开始学ERNIE 1. [情感识别](https://aistudio.baidu.com/aistudio/projectdetail/427482) 2. [完形填空](https://aistudio.baidu.com/aistudio/projectdetail/433491) 3. [知识蒸馏](https://aistudio.baidu.com/aistudio/projectdetail/439460) @@ -127,7 +135,7 @@ data/xnli |[CMRC2018](https://ernie-github.cdn.bcebos.com/data-cmrc2018.tar.gz)|CMRC2018 是中文信息学会举办的评测，评测的任务是抽取类阅读理解。[链接](https://github.com/ymcui/cmrc2018) -# Fine-tuning 任务 +# 支持的NLP任务 - 使用 `动态图` 模型进行finetune: @@ -250,7 +258,7 @@ ids = np.expand_dims(ids, -1) # ids.shape==[BATCH, SEQLEN, 1] 若希望复现 paper 中的所有实验，请切换至本repo的`repro`分支。 ### 讨论组 - +- [ERNIE官方主页](https://www.paddlepaddle.org.cn/ernie) - [Github Issues](https://github.com/PaddlePaddle/ERNIE/issues): bug reports, feature requests, install issues, usage issues, etc. - QQ 群: 760439550 (ERNIE discussion group). - [Forums](http://ai.baidu.com/forum/topic/list/168?pageNo=1): discuss implementations, research, etc.