Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
models
提交
7740e7ce
M
models
项目概览
PaddlePaddle
/
models
大约 1 年 前同步成功
通知
222
Star
6828
Fork
2962
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
602
列表
看板
标记
里程碑
合并请求
255
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
models
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
602
Issue
602
列表
看板
标记
里程碑
合并请求
255
合并请求
255
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
7740e7ce
编写于
11月 10, 2017
作者:
W
wangmeng28
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Fix typo in generating chinese poetry
上级
9c677e6c
变更
4
隐藏空白更改
内联
并排
Showing
4 changed file
with
4 addition
and
26 deletion
+4
-26
generate_chinese_poetry/README.md
generate_chinese_poetry/README.md
+2
-2
generate_chinese_poetry/data/dict.txt
generate_chinese_poetry/data/dict.txt
+0
-6
generate_chinese_poetry/index.html
generate_chinese_poetry/index.html
+2
-14
generate_chinese_poetry/preprocess.py
generate_chinese_poetry/preprocess.py
+0
-4
未找到文件。
generate_chinese_poetry/README.md
浏览文件 @
7740e7ce
...
@@ -34,12 +34,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
...
@@ -34,12 +34,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
```
```
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
在诗内容中,诗句之间用
'.'
分隔。
在诗内容中,诗句之间用
`.`
分隔。
训练数据示例:
训练数据示例:
```
text
```
text
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
觀獵
李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
```
```
...
...
generate_chinese_poetry/data/dict.txt
浏览文件 @
7740e7ce
<<<<<<< HEAD
<s>
<s>
<e>
<e>
<unk>
<unk>
=======
<unk>
<s>
<e>
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
,
,
不
不
人
人
...
...
generate_chinese_poetry/index.html
浏览文件 @
7740e7ce
...
@@ -76,12 +76,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
...
@@ -76,12 +76,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
```
```
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
在诗内容中,诗句之间用
'.'
分隔。
在诗内容中,诗句之间用
`.`
分隔。
训练数据示例:
训练数据示例:
```text
```text
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
觀獵
李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
```
```
...
@@ -120,11 +120,7 @@ Options:
...
@@ -120,11 +120,7 @@ Options:
### 训练执行
### 训练执行
```bash
```bash
python train.py \
python train.py \
<
<<<<<<
HEAD
--num_passes 20 \
--num_passes 20 \
=======
--num_passes
10
\
>
>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
--batch_size 256 \
--batch_size 256 \
--use_gpu True \
--use_gpu True \
--trainer_count 1 \
--trainer_count 1 \
...
@@ -172,16 +168,11 @@ Options:
...
@@ -172,16 +168,11 @@ Options:
例如将诗句 `白日依山盡,黃河入海流` 保存在文件 `input.txt` 中作为预测下句诗的输入,执行命令:
例如将诗句 `白日依山盡,黃河入海流` 保存在文件 `input.txt` 中作为预测下句诗的输入,执行命令:
```bash
```bash
python generate.py \
python generate.py \
<
<<<<<<
HEAD
--model_path models/pass_00014.tar.gz \
--model_path models/pass_00014.tar.gz \
=======
--model_path
models
/
pass_00100.tar.gz
\
>
>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
--word_dict_path data/dict.txt \
--word_dict_path data/dict.txt \
--test_data_path input.txt \
--test_data_path input.txt \
--save_file output.txt
--save_file output.txt
```
```
<
<<<<<<
HEAD
生成结果将保存在文件 `output.txt` 中。对于上述示例输入,生成的诗句如下:
生成结果将保存在文件 `output.txt` 中。对于上述示例输入,生成的诗句如下:
```text
```text
-21.2048 不 知 身 外 事 , 何 處 是 閑 遊
-21.2048 不 知 身 外 事 , 何 處 是 閑 遊
...
@@ -190,9 +181,6 @@ python generate.py \
...
@@ -190,9 +181,6 @@ python generate.py \
-21.7312 不 知 身 外 事 , 何 事 是 何 求
-21.7312 不 知 身 外 事 , 何 事 是 何 求
-22.1956 不 知 身 外 事 , 何 處 是 人 愁
-22.1956 不 知 身 外 事 , 何 處 是 人 愁
```
```
=======
生成结果将保存在文件
`
output.txt
`
中
。
>
>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
</div>
</div>
<!-- You can change the lines below now. -->
<!-- You can change the lines below now. -->
...
...
generate_chinese_poetry/preprocess.py
浏览文件 @
7740e7ce
...
@@ -16,11 +16,7 @@ def build_vocabulary(dataset, cutoff=0):
...
@@ -16,11 +16,7 @@ def build_vocabulary(dataset, cutoff=0):
dictionary
=
filter
(
lambda
x
:
x
[
1
]
>=
cutoff
,
dictionary
.
items
())
dictionary
=
filter
(
lambda
x
:
x
[
1
]
>=
cutoff
,
dictionary
.
items
())
dictionary
=
sorted
(
dictionary
,
key
=
lambda
x
:
(
-
x
[
1
],
x
[
0
]))
dictionary
=
sorted
(
dictionary
,
key
=
lambda
x
:
(
-
x
[
1
],
x
[
0
]))
vocab
,
_
=
list
(
zip
(
*
dictionary
))
vocab
,
_
=
list
(
zip
(
*
dictionary
))
<<<<<<<
HEAD
return
(
u
"<s>"
,
u
"<e>"
,
u
"<unk>"
)
+
vocab
return
(
u
"<s>"
,
u
"<e>"
,
u
"<unk>"
)
+
vocab
=======
return
(
u
"<unk>"
,
u
"<s>"
,
u
"<e>"
)
+
vocab
>>>>>>>
7943732
ab34254df801d72b0b5e04f6f320e4127
@
click
.
command
(
"preprocess"
)
@
click
.
command
(
"preprocess"
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录