提交 ceda58fb 编写于 作者: Z Zeyu Chen

upgrade model zoo README

上级 3ce83f24
......@@ -67,12 +67,13 @@ wordemb.cosine_sim("艺术", "火车")
### 一键加载高质量中文预训练模型
```python
from paddlenlp.transformers import ErnieModel, BertModel, RobertaModel, ElectraModel
from paddlenlp.transformers import ErnieModel, BertModel, RobertaModel, ElectraModel, GPT2ForPretraining
ernie = ErnieModel.from_pretrained('ernie-1.0')
bert = BertModel.from_pretrained('bert-wwm-chinese')
roberta = RobertaModel.from_pretrained('roberta-wwm-ext')
electra = ElectraModel.from_pretrained('chinese-electra-small')
gpt2 = GPT2ForPretraining.from_pretrained('gpt2-base-cn')
```
请参考 [Pretrained-Models](./docs/transformers.md)查看目前支持的预训练模型。
......@@ -80,7 +81,7 @@ electra = ElectraModel.from_pretrained('chinese-electra-small')
## 模型库及其应用
PaddleNLP模型库整体介绍请参考文档[PaddleNLP Model Zoo](./docs/model_zoo.md).
以下为基于PaddleNLP相关的应用场景应用示例:
模型应用场景介绍请参考[examples](./examples/README.md):
- [词向量](./examples/word_embedding/README.md)
- [词法分析](./examples/lexical_analysis/README.md)
......@@ -89,7 +90,7 @@ PaddleNLP模型库整体介绍请参考文档[PaddleNLP Model Zoo](./docs/model_
- [文本生成](./examples/text_generation/README.md)
- [语义匹配](./examples/text_matching/README.md)
- [命名实体识别](./examples/named_entity_recognition/README.md)
- [文本图学习](./examples/text_graph/README.md)
- [文本图学习](./examples/text_graph/erniesage/README.md)
- [通用对话](./examples/dialogue)
- [机器翻译](./examples/machine_translation)
- [阅读理解](./examples/machine_reading_comprehension)
......
此差异已折叠。
# GPT2
# GPT-2
## 模型介绍
[GPT2](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)(Language Models are Unsupervised Multitask Learners) 以[Transformer](https://arxiv.org/abs/1706.03762) 解码器为网络基本组件,使用自回归的方式在大规模无标注文本语料上进行预训练(pre-train),得到的语言生成模型。
[GPT-2](https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf)(Language Models are Unsupervised Multitask Learners) 以[Transformer](https://arxiv.org/abs/1706.03762) 解码器为网络基本组件,使用自回归的方式在大规模无标注文本语料上进行预训练得到的语言生成模型。
本项目是语言模型 GPT2 的 PaddlePaddle 实现, 包含模型训练,预测等内容。下是本例的简要目录结构及说明:
本项目是语言模型 GPT-2 的 PaddlePaddle 实现, 包含模型训练,预测等内容。下是本例的简要目录结构及说明:
```text
.
......@@ -136,9 +136,6 @@ python generate_sample.py
生成效果展示:
```text
问题:中国的首都是哪里?答案:北京。
问题:百度的厂长是谁? 答案:
李彦宏。
默写古诗: 大漠孤烟直,长河落日圆。
举杯邀明月,
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册