Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
s920243400
PaddleDetection
提交
ff4e0463
P
PaddleDetection
项目概览
s920243400
/
PaddleDetection
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleDetection
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleDetection
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
ff4e0463
编写于
12月 02, 2016
作者:
W
wangyang59
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
improve demo/mnist dataProvider speed
上级
5ac16e5e
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
11 addition
and
10 deletion
+11
-10
demo/mnist/mnist_provider.py
demo/mnist/mnist_provider.py
+11
-10
未找到文件。
demo/mnist/mnist_provider.py
浏览文件 @
ff4e0463
from
paddle.trainer.PyDataProvider2
import
*
from
paddle.trainer.PyDataProvider2
import
*
import
numpy
# Define a py data provider
# Define a py data provider
@
provider
(
@
provider
(
input_types
=
{
'pixel'
:
dense_vector
(
28
*
28
),
input_types
=
{
'pixel'
:
dense_vector
(
28
*
28
),
'label'
:
integer_value
(
10
)})
'label'
:
integer_value
(
10
)},
cache
=
CacheType
.
CACHE_PASS_IN_MEM
)
def
process
(
settings
,
filename
):
# settings is not used currently.
def
process
(
settings
,
filename
):
# settings is not used currently.
imgf
=
filename
+
"-images-idx3-ubyte"
imgf
=
filename
+
"-images-idx3-ubyte"
labelf
=
filename
+
"-labels-idx1-ubyte"
labelf
=
filename
+
"-labels-idx1-ubyte"
...
@@ -19,13 +20,13 @@ def process(settings, filename): # settings is not used currently.
...
@@ -19,13 +20,13 @@ def process(settings, filename): # settings is not used currently.
n
=
60000
n
=
60000
else
:
else
:
n
=
10000
n
=
10000
for
i
in
range
(
n
):
images
=
numpy
.
fromfile
(
f
,
'ubyte'
,
count
=
n
*
28
*
28
).
reshape
((
n
,
28
*
28
)).
astype
(
'float32'
)
label
=
ord
(
l
.
read
(
1
))
images
=
images
/
255.0
*
2.0
-
1.0
pixels
=
[]
labels
=
numpy
.
fromfile
(
l
,
'ubyte'
,
count
=
n
).
astype
(
"int"
)
for
j
in
range
(
28
*
28
):
pixels
.
append
(
float
(
ord
(
f
.
read
(
1
)))
/
255.0
)
for
i
in
xrange
(
n
):
yield
{
"pixel"
:
pixels
,
'label'
:
label
}
yield
{
"pixel"
:
images
[
i
,
:],
'label'
:
labels
[
i
]
}
f
.
close
()
f
.
close
()
l
.
close
()
l
.
close
()
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录