diff --git a/demo/sequence_labeling/README.md b/demo/sequence_labeling/README.md index f878ed93b0c772bf45f4f684d7afd30c9c50b726..3e04afe4fe0040769ffc74dbbfd6ecd547bc2cea 100644 --- a/demo/sequence_labeling/README.md +++ b/demo/sequence_labeling/README.md @@ -2,7 +2,7 @@ 在2017年之前,工业界和学术界对NLP文本处理依赖于序列模型[Recurrent Neural Network (RNN)](https://baike.baidu.com/item/%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/23199490?fromtitle=RNN&fromid=5707183&fr=aladdin). -![](http://colah.github.io/posts/2015-09-NN-Types-FP/img/RNN-general.png) +![](../../docs/imgs/RNN_Sample.png) 近年来随着深度学习的发展,模型参数数量飞速增长,为了训练这些参数,需要更大的数据集来避免过拟合。然而,对于大部分NLP任务来说,构建大规模的标注数据集成本过高,非常困难,特别是对于句法和语义相关的任务。相比之下,大规模的未标注语料库的构建则相对容易。最近的研究表明,基于大规模未标注语料库的预训练模型(Pretrained Models, PTM) 能够习得通用的语言表示,将预训练模型Fine-tune到下游任务,能够获得出色的表现。另外,预训练模型能够避免从零开始训练模型。 diff --git a/demo/text_classification/README.md b/demo/text_classification/README.md index 904349a8a01f6980108828f4aef9c06b660c2a4f..d4fae926ec864d64fb3710dfe9f90a23ba58dca2 100644 --- a/demo/text_classification/README.md +++ b/demo/text_classification/README.md @@ -2,7 +2,7 @@ 在2017年之前,工业界和学术界对NLP文本处理依赖于序列模型[Recurrent Neural Network (RNN)](https://baike.baidu.com/item/%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/23199490?fromtitle=RNN&fromid=5707183&fr=aladdin). -![](http://colah.github.io/posts/2015-09-NN-Types-FP/img/RNN-general.png) +![](../../docs/imgs/RNN_Sample.png) 近年来随着深度学习的发展,模型参数数量飞速增长,为了训练这些参数,需要更大的数据集来避免过拟合。然而,对于大部分NLP任务来说,构建大规模的标注数据集成本过高,非常困难,特别是对于句法和语义相关的任务。相比之下,大规模的未标注语料库的构建则相对容易。最近的研究表明,基于大规模未标注语料库的预训练模型(Pretrained Models, PTM) 能够习得通用的语言表示,将预训练模型Fine-tune到下游任务,能够获得出色的表现。另外,预训练模型能够避免从零开始训练模型。 diff --git a/docs/imgs/RNN_Sample.png b/docs/imgs/RNN_Sample.png new file mode 100644 index 0000000000000000000000000000000000000000..e8bb6b88bef54efec8dfe5ccafb49a027c82c85f Binary files /dev/null and b/docs/imgs/RNN_Sample.png differ