diff --git a/generate_chinese_poetry/README.md b/generate_chinese_poetry/README.md index 3cae948603e3d99ce3f6a88c037464b10b88d893..618907aace6e91174b9decf6bc7a007123efd281 100644 --- a/generate_chinese_poetry/README.md +++ b/generate_chinese_poetry/README.md @@ -34,12 +34,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data ``` 上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。 -在诗内容中,诗句之间用'.'分隔。 +在诗内容中,诗句之间用`.`分隔。 训练数据示例: ```text 登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓 -觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 +觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈 ``` diff --git a/generate_chinese_poetry/data/dict.txt b/generate_chinese_poetry/data/dict.txt index d83281575a58c1ea1a35800446b7eb1d1417898f..e51865fd1547d71cbfa2ae0a9078b861b0e5e56f 100644 --- a/generate_chinese_poetry/data/dict.txt +++ b/generate_chinese_poetry/data/dict.txt @@ -1,12 +1,6 @@ -<<<<<<< HEAD -======= - - - ->>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127 , 不 人 diff --git a/generate_chinese_poetry/index.html b/generate_chinese_poetry/index.html index 859091efe18e4fcd5c05d9d32a10839db698e6be..5b09275150c9250effae53a22e1ffcd62d962565 100644 --- a/generate_chinese_poetry/index.html +++ b/generate_chinese_poetry/index.html @@ -76,12 +76,12 @@ python preprocess.py --datadir data/raw --outfile data/poems.txt --dictfile data ``` 上述脚本执行完后将生成处理好的训练数据poems.txt和数据字典dict.txt。poems.txt中每行为一首唐诗的信息,分为三列,分别为题目、作者、诗内容。 -在诗内容中,诗句之间用'.'分隔。 +在诗内容中,诗句之间用`.`分隔。 训练数据示例: ```text 登鸛雀樓 王之渙 白日依山盡,黃河入海流.欲窮千里目,更上一層樓 -觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 +觀獵 李白 太守耀清威,乘閑弄晚暉.江沙橫獵騎,山火遶行圍.箭逐雲鴻落,鷹隨月兔飛.不知白日暮,歡賞夜方歸 晦日重宴 陳嘉言 高門引冠蓋,下客抱支離.綺席珍羞滿,文場翰藻摛.蓂華彫上月,柳色藹春池.日斜歸戚里,連騎勒金羈 ``` @@ -120,11 +120,7 @@ Options: ### 训练执行 ```bash python train.py \ -<<<<<<< HEAD --num_passes 20 \ -======= - --num_passes 10 \ ->>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127 --batch_size 256 \ --use_gpu True \ --trainer_count 1 \ @@ -172,16 +168,11 @@ Options: 例如将诗句 `白日依山盡,黃河入海流` 保存在文件 `input.txt` 中作为预测下句诗的输入,执行命令: ```bash python generate.py \ -<<<<<<< HEAD --model_path models/pass_00014.tar.gz \ -======= - --model_path models/pass_00100.tar.gz \ ->>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127 --word_dict_path data/dict.txt \ --test_data_path input.txt \ --save_file output.txt ``` -<<<<<<< HEAD 生成结果将保存在文件 `output.txt` 中。对于上述示例输入,生成的诗句如下: ```text -21.2048 不 知 身 外 事 , 何 處 是 閑 遊 @@ -190,9 +181,6 @@ python generate.py \ -21.7312 不 知 身 外 事 , 何 事 是 何 求 -22.1956 不 知 身 外 事 , 何 處 是 人 愁 ``` -======= -生成结果将保存在文件 `output.txt` 中。 ->>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127 diff --git a/generate_chinese_poetry/preprocess.py b/generate_chinese_poetry/preprocess.py index 79e78de5a230a91d67c32d3fe26fb9587bdbf7e5..98e267e93819756a6fe388afa7931b22e1506180 100755 --- a/generate_chinese_poetry/preprocess.py +++ b/generate_chinese_poetry/preprocess.py @@ -16,11 +16,7 @@ def build_vocabulary(dataset, cutoff=0): dictionary = filter(lambda x: x[1] >= cutoff, dictionary.items()) dictionary = sorted(dictionary, key=lambda x: (-x[1], x[0])) vocab, _ = list(zip(*dictionary)) -<<<<<<< HEAD return (u"", u"", u"") + vocab -======= - return (u"", u"", u"") + vocab ->>>>>>> 7943732ab34254df801d72b0b5e04f6f320e4127 @click.command("preprocess")