diff --git a/word2vec/README.md b/word2vec/README.md index 3b44c2d0c326736eaea435f98dc7d833ccac1068..e9e864d257401d70569c49387bc4a84463a84bcc 100644 --- a/word2vec/README.md +++ b/word2vec/README.md @@ -141,7 +141,7 @@ CBOW的好处是对上下文词语的分布在词向量上进行了平滑,去 ## 数据准备 -### 数据介绍与下载 +### 数据介绍 本教程使用Penn Tree Bank (PTB)数据集。PTB数据集较小,训练速度快,应用于Mikolov的公开语言模型训练工具\[[2](#参考文献)\]中。其统计情况如下: @@ -165,109 +165,24 @@ CBOW的好处是对上下文词语的分布在词向量上进行了平滑,去

-执行以下命令,可下载该数据集,并分别将训练数据和验证数据输入`train.list`和`test.list`文件中,供PaddlePaddle训练时使用。 - -```bash -./data/getdata.sh -``` - -### 提供数据给PaddlePaddle - -1. 使用initializer函数进行dataprovider的初始化,包括字典的建立(build_dict函数中)和PaddlePaddle输入字段的格式定义。注意:这里N为n-gram模型中的`n`, 本章代码中,定义$N=5$, 表示在PaddlePaddle训练时,每条数据的前4个词用来预测第5个词。大家也可以根据自己的数据和需求自行调整N,但调整的同时要在模型配置文件中加入/减少相应输入字段。 - - ```python - from paddle.trainer.PyDataProvider2 import * - import collections - import logging - import pdb - - logging.basicConfig( - format='[%(levelname)s %(asctime)s %(filename)s:%(lineno)s] %(message)s', ) - logger = logging.getLogger('paddle') - logger.setLevel(logging.INFO) - - N = 5 # Ngram - cutoff = 50 # select words with frequency > cutoff to dictionary - def build_dict(ftrain, fdict): - sentences = [] - with open(ftrain) as fin: - for line in fin: - line = [''] + line.strip().split() + [''] - sentences += line - wordfreq = collections.Counter(sentences) - wordfreq = filter(lambda x: x[1] > cutoff, wordfreq.items()) - dictionary = sorted(wordfreq, key = lambda x: (-x[1], x[0])) - words, _ = list(zip(*dictionary)) - for word in words: - print >> fdict, word - word_idx = dict(zip(words, xrange(len(words)))) - logger.info("Dictionary size=%s" %len(words)) - return word_idx - - def initializer(settings, srcText, dictfile, **xargs): - with open(dictfile, 'w') as fdict: - settings.dicts = build_dict(srcText, fdict) - input_types = [] - for i in xrange(N): - input_types.append(integer_value(len(settings.dicts))) - settings.input_types = input_types - ``` - -2. 使用process函数中将数据逐一提供给PaddlePaddle。具体来说,将每句话前面补上N-1个开始符号 ``, 末尾补上一个结束符号 ``,然后以N为窗口大小,从头到尾每次向右滑动窗口并生成一条数据。 - - ```python - @provider(init_hook=initializer) - def process(settings, filename): - UNKID = settings.dicts[''] - with open(filename) as fin: - for line in fin: - line = ['']*(N-1) + line.strip().split() + [''] - line = [settings.dicts.get(w, UNKID) for w in line] - for i in range(N, len(line) + 1): - yield line[i-N: i] - ``` - - 如"I have a dream" 一句提供了5条数据: - - > ` I`
- > ` I have`
- > ` I have a`
- > ` I have a dream`
- > `I have a dream `
- - -## 模型配置说明 - -### 数据定义 - -通过`define_py_data_sources2`函数从dataprovider中读入数据,其中args指定了训练文本(srcText)和词汇表(dictfile)。 - -```python -from paddle.trainer_config_helpers import * -import math +### 数据预处理 -args = {'srcText': 'data/simple-examples/data/ptb.train.txt', - 'dictfile': 'data/vocabulary.txt'} - -define_py_data_sources2( - train_list="data/train.list", - test_list="data/test.list", - module="dataprovider", - obj="process", - args=args) -``` +本章训练的是5-Gram,表示在PaddlePaddle训练时,每条数据的前4个词用来预测第5个词。PaddlePaddle提供了对应PTB数据集的python包`paddle.dataset.imikolov`,自动做数据的下载与预处理,方便大家使用。 -### 算法配置 +预处理会把数据集中的每一句话前后加上开始符号``以及结束符号``。然后依据窗口大小(本教程中为5),从头到尾每次向右滑动窗口并生成一条数据。 -在这里,我们指定了模型的训练参数, L2正则项系数、学习率和batch size。 +如"I have a dream that one day" 一句提供了5条数据: -```python -settings( - batch_size=100, regularization=L2Regularization(8e-4), learning_rate=3e-3) +```text + I have a dream +I have a dream that +have a dream that one +a dream that one day +dream that one day ``` -### 模型结构 +## 配置说明 本配置的模型结构如下图所示: @@ -276,94 +191,132 @@ settings( 图5. 模型配置中的N-gram神经网络模型

-1. 定义参数维度和和数据输入。 - - ```python - dictsize = 1953 # 字典大小 - embsize = 32 # 词向量维度 - hiddensize = 256 # 隐层维度 - - firstword = data_layer(name = "firstw", size = dictsize) - secondword = data_layer(name = "secondw", size = dictsize) - thirdword = data_layer(name = "thirdw", size = dictsize) - fourthword = data_layer(name = "fourthw", size = dictsize) - nextword = data_layer(name = "fifthw", size = dictsize) - ``` - -2. 将$w_t$之前的$n-1$个词 $w_{t-n+1},...w_{t-1}$,通过$|V|\times D$的矩阵映射到D维词向量(本例中取D=32)。 +首先,加载所需要的包: + +```python +import math +import paddle.v2 as paddle +``` + +然后,定义参数: +```python +embsize = 32 # 词向量维度 +hiddensize = 256 # 隐层维度 +N = 5 # 训练5-Gram +``` + +接着,定义网络结构: + +- 将$w_t$之前的$n-1$个词 $w_{t-n+1},...w_{t-1}$,通过$|V|\times D$的矩阵映射到D维词向量(本例中取D=32)。 - ```python - def wordemb(inlayer): - wordemb = table_projection( - input = inlayer, - size = embsize, - param_attr=ParamAttr(name = "_proj", - initial_std=0.001, # 参数初始化标准差 - l2_rate= 0,)) # 词向量不需要稀疏化,因此其l2_rate设为0 +```python +def wordemb(inlayer): + wordemb = paddle.layer.table_projection( + input=inlayer, + size=embsize, + param_attr=paddle.attr.Param( + name="_proj", + initial_std=0.001, + learning_rate=1, + l2_rate=0, )) return wordemb +``` - Efirst = wordemb(firstword) - Esecond = wordemb(secondword) - Ethird = wordemb(thirdword) - Efourth = wordemb(fourthword) - ``` - -3. 接着,将这n-1个词向量经过concat_layer连接成一个大向量作为历史文本特征。 - - ```python - contextemb = concat_layer(input = [Efirst, Esecond, Ethird, Efourth]) - ``` -4. 然后,将历史文本特征经过一个全连接得到文本隐层特征。 - - ```python - hidden1 = fc_layer( - input = contextemb, - size = hiddensize, - act = SigmoidActivation(), - layer_attr = ExtraAttr(drop_rate=0.5), - bias_attr = ParamAttr(learning_rate = 2), - param_attr = ParamAttr( - initial_std = 1./math.sqrt(embsize*8), - learning_rate = 1)) - ``` - -5. 最后,将文本隐层特征,再经过一个全连接,映射成一个$|V|$维向量,同时通过softmax归一化得到这`|V|`个词的生成概率。 - - ```python - # use context embedding to predict nextword - predictword = fc_layer( - input = hidden1, - size = dictsize, - bias_attr = ParamAttr(learning_rate = 2), - act = SoftmaxActivation()) - ``` - -6. 网络的损失函数为多分类交叉熵,可直接调用`classification_cost`函数。 - - ```python - cost = classification_cost( - input = predictword, - label = nextword) - # network input and output - outputs(cost) - ``` +- 定义输入层接受的数据类型以及名字。 + +```python +def main(): + paddle.init(use_gpu=False, trainer_count=1) # 初始化PaddlePaddle + word_dict = paddle.dataset.imikolov.build_dict() + dict_size = len(word_dict) + # 每个输入层都接受整形数据,这些数据的范围是[0, dict_size) + firstword = paddle.layer.data( + name="firstw", type=paddle.data_type.integer_value(dict_size)) + secondword = paddle.layer.data( + name="secondw", type=paddle.data_type.integer_value(dict_size)) + thirdword = paddle.layer.data( + name="thirdw", type=paddle.data_type.integer_value(dict_size)) + fourthword = paddle.layer.data( + name="fourthw", type=paddle.data_type.integer_value(dict_size)) + nextword = paddle.layer.data( + name="fifthw", type=paddle.data_type.integer_value(dict_size)) + + Efirst = wordemb(firstword) + Esecond = wordemb(secondword) + Ethird = wordemb(thirdword) + Efourth = wordemb(fourthword) +``` + +- 将这n-1个词向量经过concat_layer连接成一个大向量作为历史文本特征。 + +```python + contextemb = paddle.layer.concat(input=[Efirst, Esecond, Ethird, Efourth]) +``` + +- 将历史文本特征经过一个全连接得到文本隐层特征。 + +```python + hidden1 = paddle.layer.fc(input=contextemb, + size=hiddensize, + act=paddle.activation.Sigmoid(), + layer_attr=paddle.attr.Extra(drop_rate=0.5), + bias_attr=paddle.attr.Param(learning_rate=2), + param_attr=paddle.attr.Param( + initial_std=1. / math.sqrt(embsize * 8), + learning_rate=1)) +``` -##训练模型 +- 将文本隐层特征,再经过一个全连接,映射成一个$|V|$维向量,同时通过softmax归一化得到这`|V|`个词的生成概率。 + +```python + predictword = paddle.layer.fc(input=hidden1, + size=dict_size, + bias_attr=paddle.attr.Param(learning_rate=2), + act=paddle.activation.Softmax()) +``` -模型训练命令为`./train.sh`。脚本内容如下,其中指定了总共需要执行30个pass。 +- 网络的损失函数为多分类交叉熵,可直接调用`classification_cost`函数。 -```bash -paddle train \ - --config ngram.py \ - --use_gpu=1 \ - --dot_period=100 \ - --log_period=3000 \ - --test_period=0 \ - --save_dir=model \ - --num_passes=30 +```python +cost = paddle.layer.classification_cost(input=predictword, label=nextword) +``` + +然后,指定训练相关的参数: + +- 训练方法(optimizer): 代表训练过程在更新权重时采用动量优化器,本教程使用Adam优化器。 +- 训练速度(learning_rate): 迭代的速度,与网络的训练收敛速度有关系。 +- 正则化(regularization): 是防止网络过拟合的一种手段,此处采用L2正则化。 + +```python + parameters = paddle.parameters.create(cost) + adam_optimizer = paddle.optimizer.Adam( + learning_rate=3e-3, + regularization=paddle.optimizer.L2Regularization(8e-4)) + trainer = paddle.trainer.SGD(cost, parameters, adam_optimizer) +``` + +下一步,我们开始训练过程。`paddle.dataset.imikolov.train()`和`paddle.dataset.imikolov.test()`分别做训练和测试数据集。这两个函数各自返回一个reader——PaddlePaddle中的reader是一个Python函数,每次调用的时候返回一个Python generator。 + +`paddle.batch`的输入是一个reader,输出是一个batched reader —— 在PaddlePaddle里,一个reader每次yield一条训练数据,而一个batched reader每次yield一个minbatch。 + +```python + def event_handler(event): + if isinstance(event, paddle.event.EndIteration): + if event.batch_id % 100 == 0: + result = trainer.test( + paddle.batch( + paddle.dataset.imikolov.test(word_dict, N), 32)) + print "Pass %d, Batch %d, Cost %f, %s, Testing metrics %s" % ( + event.pass_id, event.batch_id, event.cost, event.metrics, + result.metrics) + + trainer.train( + paddle.batch(paddle.dataset.imikolov.train(word_dict, N), 32), + num_passes=30, + event_handler=event_handler) ``` -一个pass的训练日志如下所示: +训练过程是完全自动的,event_handler里打印的日志类似如下所示: ```text .............................