Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
机器未来
Paddle
提交
56b23d18
P
Paddle
项目概览
机器未来
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
1
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
1
Issue
1
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
56b23d18
编写于
11月 07, 2016
作者:
Y
Yu Yang
提交者:
qingqing01
11月 08, 2016
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Fix macOS quick start preprocess script. (#390)
* Use `gshuf` instead of `shuf` in macOS * Fix
#388
上级
a275fe93
变更
1
显示空白变更内容
内联
并排
Showing
1 changed file
with
11 addition
and
4 deletion
+11
-4
demo/quick_start/preprocess.sh
demo/quick_start/preprocess.sh
+11
-4
未找到文件。
demo/quick_start/preprocess.sh
浏览文件 @
56b23d18
...
...
@@ -21,14 +21,21 @@
set
-e
export
LC_ALL
=
C
UNAME_STR
=
`
uname
`
if
[[
${
UNAME_STR
}
==
'Linux'
]]
;
then
SHUF_PROG
=
'shuf'
else
SHUF_PROG
=
'gshuf'
fi
mkdir
-p
data/tmp
python preprocess.py
-i
data/reviews_Electronics_5.json.gz
# uniq and shuffle
cd
data/tmp
echo
'uniq and shuffle...'
cat
pos_
*
|sort|uniq|
shuf
> pos.shuffed
cat
neg_
*
|sort|uniq|
shuf
> neg.shuffed
cat
pos_
*
|sort|uniq|
${
SHUF_PROG
}
>
pos.shuffed
cat
neg_
*
|sort|uniq|
${
SHUF_PROG
}
>
neg.shuffed
min_len
=
`
sed
-n
'$='
neg.shuffed
`
test_num
=
$((
min_len/10
))
...
...
@@ -42,8 +49,8 @@ head -n$train_num neg.shuffed >train.neg
tail
-n
$test_num
pos.shuffed
>
test.pos
tail
-n
$test_num
neg.shuffed
>
test.neg
cat
train.pos train.neg
|shuf
>../train.txt
cat
test.pos test.neg
|shuf
>../test.txt
cat
train.pos train.neg
|
${
SHUF_PROG
}
>
../train.txt
cat
test.pos test.neg
|
${
SHUF_PROG
}
>
../test.txt
cd
-
echo
'data/train.txt'
>
data/train.list
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录