Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
fe0de977
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
fe0de977
编写于
9月 23, 2020
作者:
G
Guo Sheng
提交者:
GitHub
9月 23, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Delete movie_review and sentiment dataset. (#2664)
test=develop
上级
c9d7a173
变更
9
隐藏空白更改
内联
并排
Showing
9 changed file
with
2 addition
and
116 deletion
+2
-116
doc/fluid/api/data/dataset.rst
doc/fluid/api/data/dataset.rst
+0
-1
doc/fluid/api/data/dataset/sentiment.rst
doc/fluid/api/data/dataset/sentiment.rst
+0
-6
doc/fluid/api_cn/data/dataset_cn.rst
doc/fluid/api_cn/data/dataset_cn.rst
+0
-1
doc/fluid/api_cn/data/dataset_cn/sentiment_cn.rst
doc/fluid/api_cn/data/dataset_cn/sentiment_cn.rst
+0
-28
doc/paddle/api/alias_api_mapping
doc/paddle/api/alias_api_mapping
+0
-1
doc/paddle/api/paddle/dataset/sentiment_cn.rst
doc/paddle/api/paddle/dataset/sentiment_cn.rst
+0
-28
doc/paddle/api/paddle/text/datasets/movie_reviews/MovieReviews_cn.rst
...pi/paddle/text/datasets/movie_reviews/MovieReviews_cn.rst
+0
-49
doc/paddle/tutorial/quick_start/high_level_api/high_level_api.ipynb
.../tutorial/quick_start/high_level_api/high_level_api.ipynb
+1
-1
doc/paddle/tutorial/quick_start/high_level_api/high_level_api.rst
...le/tutorial/quick_start/high_level_api/high_level_api.rst
+1
-1
未找到文件。
doc/fluid/api/data/dataset.rst
浏览文件 @
fe0de977
...
...
@@ -10,7 +10,6 @@ dataset
dataset/imdb.rst
dataset/imikolov.rst
dataset/movielens.rst
dataset/sentiment.rst
dataset/uci_housing.rst
dataset/wmt14.rst
dataset/wmt16.rst
doc/fluid/api/data/dataset/sentiment.rst
已删除
100644 → 0
浏览文件 @
c9d7a173
sentiment
+++++++++
.. automodule:: paddle.dataset.sentiment
:members:
:noindex:
doc/fluid/api_cn/data/dataset_cn.rst
浏览文件 @
fe0de977
...
...
@@ -14,7 +14,6 @@ dataset
dataset_cn/imdb_cn.rst
dataset_cn/imikolov_cn.rst
dataset_cn/movielens_cn.rst
dataset_cn/sentiment_cn.rst
dataset_cn/uci_housing_cn.rst
dataset_cn/wmt14_cn.rst
dataset_cn/wmt16_cn.rst
doc/fluid/api_cn/data/dataset_cn/sentiment_cn.rst
已删除
100644 → 0
浏览文件 @
c9d7a173
.. _cn_api_paddle_dataset_sentiment:
sentiment
-------------------------------
脚本获取并预处理由NLTK提供的movie_reviews数据集。
.. py:function:: paddle.dataset.sentiment.get_word_dict()
按照样本中出现的单词的频率对单词进行排序。
返回: words_freq_sorted
.. py:function:: paddle.dataset.sentiment.train()
默认的训练集reader creator。
.. py:function:: paddle.dataset.sentiment.test()
默认的测试集reader creator。
.. py:function:: paddle.dataset.sentiment.convert(path)
将数据集转换为recordio格式。
doc/paddle/api/alias_api_mapping
浏览文件 @
fe0de977
...
...
@@ -561,7 +561,6 @@ paddle.text.datasets.conll05.Conll05st paddle.text.datasets.Conll05st,paddle.tex
paddle.text.datasets.imdb.Imdb paddle.text.datasets.Imdb,paddle.text.Imdb
paddle.text.datasets.imikolov.Imikolov paddle.text.datasets.Imikolov,paddle.text.Imikolov
paddle.text.datasets.movielens.Movielens paddle.text.datasets.Movielens,paddle.text.Movielens
paddle.text.datasets.movie_reviews.MovieReviews paddle.text.datasets.MovieRevie,paddle.text.MovieRevie
paddle.text.datasets.uci_housing.UCIHousing paddle.text.datasets.UCIHousing,paddle.text.UCIHousing
paddle.text.datasets.wmt14.WMT14 paddle.text.datasets.WMT14,paddle.text.WMT14
paddle.text.datasets.wmt16.WMT16 paddle.text.datasets.WMT16,paddle.text.WMT16
...
...
doc/paddle/api/paddle/dataset/sentiment_cn.rst
已删除
100644 → 0
浏览文件 @
c9d7a173
.. _cn_api_paddle_dataset_sentiment:
sentiment
-------------------------------
脚本获取并预处理由NLTK提供的movie_reviews数据集。
.. py:function:: paddle.dataset.sentiment.get_word_dict()
按照样本中出现的单词的频率对单词进行排序。
返回: words_freq_sorted
.. py:function:: paddle.dataset.sentiment.train()
默认的训练集reader creator。
.. py:function:: paddle.dataset.sentiment.test()
默认的测试集reader creator。
.. py:function:: paddle.dataset.sentiment.convert(path)
将数据集转换为recordio格式。
doc/paddle/api/paddle/text/datasets/movie_reviews/MovieReviews_cn.rst
已删除
100644 → 0
浏览文件 @
c9d7a173
..
_cn_api_text_datasets_MovieReviews
:
MovieReviews
-------------------------------
..
py
:
class
::
paddle
.
text
.
datasets
.
MovieReviews
()
该类是对
`
NLTK
movie
reviews
<
http
://
www
.
nltk
.
org
/
nltk_data
/>`
_
测试数据集的实现。
参数
:::::::::
-
data_file
(
str
)
-
保存压缩数据的路径,如果参数
:
attr
:`
download
`
设置为
True
,
可设置为
None
。默认为
None
。
-
mode
(
str
)
-
'train'
或
'test'
模式。默认为
'train'
。
-
download
(
bool
)
-
如果
:
attr
:`
data_file
`
未设置,是否自动下载数据集。默认为
True
。
返回值
:::::::::
``
Dataset
``
,
NLTK
movie
reviews
数据集实例。
代码示例
:::::::::
..
code
-
block
::
python
import
paddle
from
paddle
.
text
.
datasets
import
MovieReviews
class
SimpleNet
(
paddle
.
nn
.
Layer
):
def
__init__
(
self
):
super
(
SimpleNet
,
self
).
__init__
()
def
forward
(
self
,
word
,
category
):
return
paddle
.
sum
(
word
),
category
paddle
.
disable_static
()
movie_reviews
=
MovieReviews
(
mode
=
'train'
)
for
i
in
range
(
10
):
word_list
,
category
=
movie_reviews
[
i
]
word_list
=
paddle
.
to_tensor
(
word_list
)
category
=
paddle
.
to_tensor
(
category
)
model
=
SimpleNet
()
word_list
,
category
=
model
(
word_list
,
category
)
print
(
word_list
.
numpy
().
shape
,
category
.
numpy
())
doc/paddle/tutorial/quick_start/high_level_api/high_level_api.ipynb
浏览文件 @
fe0de977
...
...
@@ -103,7 +103,7 @@
"output_type": "stream",
"text": [
"视觉相关数据集: ['DatasetFolder', 'ImageFolder', 'MNIST', 'Flowers', 'Cifar10', 'Cifar100', 'VOC2012']\n",
"自然语言相关数据集: ['Conll05st', 'Imdb', 'Imikolov', 'Movielens', '
MovieReviews', '
UCIHousing', 'WMT14', 'WMT16']\n"
"自然语言相关数据集: ['Conll05st', 'Imdb', 'Imikolov', 'Movielens', 'UCIHousing', 'WMT14', 'WMT16']\n"
]
}
],
...
...
doc/paddle/tutorial/quick_start/high_level_api/high_level_api.rst
浏览文件 @
fe0de977
...
...
@@ -84,7 +84,7 @@ paddle即可使用相关高层API,如:paddle.Model、视觉领域paddle.visi
..
parsed
-
literal
::
视觉相关数据集:
[
'DatasetFolder'
,
'ImageFolder'
,
'MNIST'
,
'Flowers'
,
'Cifar10'
,
'Cifar100'
,
'VOC2012'
]
自然语言相关数据集:
[
'Conll05st'
,
'Imdb'
,
'Imikolov'
,
'Movielens'
,
'
MovieReviews'
,
'
UCIHousing'
,
'WMT14'
,
'WMT16'
]
自然语言相关数据集:
[
'Conll05st'
,
'Imdb'
,
'Imikolov'
,
'Movielens'
,
'UCIHousing'
,
'WMT14'
,
'WMT16'
]
这里我们是加载一个手写数字识别的数据集,用
\
``
mode
``\
来标识是训练数据还是测试数据集。数据集接口会自动从远端下载数据集到本机缓存目录
\
``~/.
cache
/
paddle
/
dataset
``\
。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录