提交 7740e7ce 编写于 作者: W wangmeng28

Fix typo in generating chinese poetry

上级 9c677e6c
...@@ -34,12 +34,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data ...@@ -34,12 +34,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
``` ```
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。 上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
在诗内容中,诗句之间用'.'分隔。 在诗内容中,诗句之间用`.`分隔。
训练数据示例: 训练数据示例:
```text ```text
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓 登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈 晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
``` ```
......
<<<<<<< HEAD
<s> <s>
<e> <e>
<unk> <unk>
=======
<unk>
<s>
<e>
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
......
...@@ -76,12 +76,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data ...@@ -76,12 +76,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data
``` ```
上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。 上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。
在诗内容中,诗句之间用'.'分隔。 在诗内容中,诗句之间用`.`分隔。
训练数据示例: 训练数据示例:
```text ```text
登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓 登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓
觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸
晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈 晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈
``` ```
...@@ -120,11 +120,7 @@ Options: ...@@ -120,11 +120,7 @@ Options:
### 训练执行 ### 训练执行
```bash ```bash
python train.py \ python train.py \
<<<<<<< HEAD
--num_passes 20 \ --num_passes 20 \
=======
--num_passes 10 \
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
--batch_size 256 \ --batch_size 256 \
--use_gpu True \ --use_gpu True \
--trainer_count 1 \ --trainer_count 1 \
...@@ -172,16 +168,11 @@ Options: ...@@ -172,16 +168,11 @@ Options:
例如将诗句 `白日依山盡,黃河入海流` 保存在文件 `input.txt` 中作为预测下句诗的输入,执行命令: 例如将诗句 `白日依山盡,黃河入海流` 保存在文件 `input.txt` 中作为预测下句诗的输入,执行命令:
```bash ```bash
python generate.py \ python generate.py \
<<<<<<< HEAD
--model_path models/pass_00014.tar.gz \ --model_path models/pass_00014.tar.gz \
=======
--model_path models/pass_00100.tar.gz \
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
--word_dict_path data/dict.txt \ --word_dict_path data/dict.txt \
--test_data_path input.txt \ --test_data_path input.txt \
--save_file output.txt --save_file output.txt
``` ```
<<<<<<< HEAD
生成结果将保存在文件 `output.txt` 中。对于上述示例输入,生成的诗句如下: 生成结果将保存在文件 `output.txt` 中。对于上述示例输入,生成的诗句如下:
```text ```text
-21.2048 不 知 身 外 事 , 何 處 是 閑 遊 -21.2048 不 知 身 外 事 , 何 處 是 閑 遊
...@@ -190,9 +181,6 @@ python generate.py \ ...@@ -190,9 +181,6 @@ python generate.py \
-21.7312 不 知 身 外 事 , 何 事 是 何 求 -21.7312 不 知 身 外 事 , 何 事 是 何 求
-22.1956 不 知 身 外 事 , 何 處 是 人 愁 -22.1956 不 知 身 外 事 , 何 處 是 人 愁
``` ```
=======
生成结果将保存在文件 `output.txt`
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
</div> </div>
<!-- You can change the lines below now. --> <!-- You can change the lines below now. -->
......
...@@ -16,11 +16,7 @@ def build_vocabulary(dataset, cutoff=0): ...@@ -16,11 +16,7 @@ def build_vocabulary(dataset, cutoff=0):
dictionary = filter(lambda x: x[1] >= cutoff, dictionary.items()) dictionary = filter(lambda x: x[1] >= cutoff, dictionary.items())
dictionary = sorted(dictionary, key=lambda x: (-x[1], x[0])) dictionary = sorted(dictionary, key=lambda x: (-x[1], x[0]))
vocab, _ = list(zip(*dictionary)) vocab, _ = list(zip(*dictionary))
<<<<<<< HEAD
return (u"<s>", u"<e>", u"<unk>") + vocab return (u"<s>", u"<e>", u"<unk>") + vocab
=======
return (u"<unk>", u"<s>", u"<e>") + vocab
>>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127
@click.command("preprocess") @click.command("preprocess")
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册