diff --git a/07.label_semantic_roles/README.cn.md b/07.label_semantic_roles/README.cn.md index e8b54ceca16fa5d0a1e10f1b1b8eb0fbe1fc22c9..bbfa6cd3e4aca0a21046791000f2c36865a13d9b 100644 --- a/07.label_semantic_roles/README.cn.md +++ b/07.label_semantic_roles/README.cn.md @@ -25,7 +25,7 @@ $$\mbox{[小明]}_{\mbox{Agent}}\mbox{[昨天]}_{\mbox{Time}}\mbox{[晚上]}_\mb 图1. 依存句法分析句法树示例 -然而,完全句法分析需要确定句子所包含的全部句法信息,并确定句子各成分之间的关系,是一个非常困难的任务,目前技术下的句法分析准确率并不高,句法分析的细微错误都会导致SRL的错误。为了降低问题的复杂度,同时获得一定的句法结构信息,“浅层句法分析”的思想应运而生。浅层句法分析也称为部分句法分析(partial parsing)或语块划分(chunking)。和完全句法分析得到一颗完整的句法树不同,浅层句法分析只需要识别句子中某些结构相对简单的独立成分,例如:动词短语,这些被识别出来的结构称为语块。为了回避 “无法获得准确率较高的句法树” 所带来的困难,一些研究\[[1](#参考文献)\]也提出了基于语块(chunk)的SRL方法。基于语块的SRL方法将SRL作为一个序列标注问题来解决。序列标注任务一般都会采用BIO表示方式来定义序列标注的标签集,我们先来介绍这种表示方法。在BIO表示法中,B代表语块的开始,I代表语块的中间,O代表语块结束。通过B、I、O 三种标记将不同的语块赋予不同的标签,例如:对于一个角色为A的论元,将它所包含的第一个语块赋予标签B-A,将它所包含的其它语块赋予标签I-A,不属于任何论元的语块赋予标签O。 +然而,完全句法分析需要确定句子所包含的全部句法信息,并确定句子各成分之间的关系,是一个非常困难的任务,目前技术下的句法分析准确率并不高,句法分析的细微错误都会导致SRL的错误。为了降低问题的复杂度,同时获得一定的句法结构信息,“浅层句法分析”的思想应运而生。浅层句法分析也称为部分句法分析(partial parsing)或语块划分(chunking)。和完全句法分析得到一颗完整的句法树不同,浅层句法分析只需要识别句子中某些结构相对简单的独立成分,例如:动词短语,这些被识别出来的结构称为语块。为了回避 “无法获得准确率较高的句法树” 所带来的困难,一些研究\[[1](#参考文献)\]也提出了基于语块(chunk)的SRL方法。基于语块的SRL方法将SRL作为一个序列标注问题来解决。序列标注任务一般都会采用BIO表示方式来定义序列标注的标签集,我们先来介绍这种表示方法。在BIO表示法中,B代表语块的开始,I代表语块的中间,O代表语块结束。通过B、I、O 三种标记将不同的语块赋予不同的标签,例如:对于一个由角色A拓展得到的语块组,将它所包含的第一个语块赋予标签B-A,将它所包含的其它语块赋予标签I-A,不属于任何论元的语块赋予标签O。 我们继续以上面的这句话为例,图1展示了BIO表示方法。 @@ -151,14 +151,6 @@ conll05st-release/ 4. 构造以BIO法表示的标记; 5. 依据词典获取词对应的整数索引。 - -```python -# import paddle.v2.dataset.conll05 as conll05 -# conll05.corpus_reader函数完成上面第1步和第2步. -# conll05.reader_creator函数完成上面第3步到第5步. -# conll05.test函数可以获取处理之后的每条样本来供PaddlePaddle训练. -``` - 预处理完成之后一条训练样本包含9个特征,分别是:句子序列、谓词、谓词上下文(占 5 列)、谓词上下区域标志、标注序列。下表是一条训练样本的示例。 | 句子序列 | 谓词 | 谓词上下文(窗口 = 5) | 谓词上下文区域标记 | 标注序列 | @@ -187,6 +179,8 @@ conll05st-release/ 获取词典,打印词典大小: ```python +from __future__ import print_function + import math, os import numpy as np import paddle @@ -201,9 +195,9 @@ word_dict_len = len(word_dict) label_dict_len = len(label_dict) pred_dict_len = len(verb_dict) -print word_dict_len -print label_dict_len -print pred_dict_len +print('word_dict_len: ', word_dict_len) +print('label_dict_len: ', label_dict_len) +print('pred_dict_len: ', pred_dict_len) ``` ## 模型配置说明 @@ -431,7 +425,7 @@ def train(use_cuda, save_dirname=None, is_local=True): cost = cost[0] if batch_id % 10 == 0: - print("avg_cost:" + str(cost)) + print("avg_cost: " + str(cost)) if batch_id != 0: print("second per batch: " + str((time.time( ) - start_time) / batch_id)) diff --git a/07.label_semantic_roles/README.md b/07.label_semantic_roles/README.md index 36837cc3234d6770915b4c5d501058c3573dee9a..623d035da5ec71185f1269185f1dce8f366d2985 100644 --- a/07.label_semantic_roles/README.md +++ b/07.label_semantic_roles/README.md @@ -175,13 +175,6 @@ The raw data needs to be preprocessed into formats that PaddlePaddle can handle. 4. Construct the markings in BIO format; 5. Obtain the integer index corresponding to the word according to the dictionary. -```python -# import paddle.v2.dataset.conll05 as conll05 -# conll05.corpus_reader does step 1 and 2 as mentioned above. -# conll05.reader_creator does step 3 to 5. -# conll05.test gets preprocessed training instances. -``` - After preprocessing, a training sample contains nine features, namely: word sequence, predicate, predicate context (5 columns), region mark sequence, label sequence. The following table is an example of a training sample. | word sequence | predicate | predicate context(5 columns) | region mark sequence | label sequence| @@ -209,6 +202,8 @@ We trained a language model on the English Wikipedia to get a word vector lookup Here we fetch the dictionary, and print its size: ```python +from __future__ import print_function + import math, os import numpy as np import paddle @@ -223,9 +218,9 @@ word_dict_len = len(word_dict) label_dict_len = len(label_dict) pred_dict_len = len(verb_dict) -print word_dict_len -print label_dict_len -print pred_dict_len +print('word_dict_len: ', word_dict_len) +print('label_dict_len: ', label_dict_len) +print('pred_dict_len: ', pred_dict_len) ``` ## Model Configuration @@ -440,7 +435,7 @@ def train(use_cuda, save_dirname=None, is_local=True): cost = cost[0] if batch_id % 10 == 0: - print("avg_cost:" + str(cost)) + print("avg_cost: " + str(cost)) if batch_id != 0: print("second per batch: " + str((time.time( ) - start_time) / batch_id)) diff --git a/07.label_semantic_roles/index.cn.html b/07.label_semantic_roles/index.cn.html index 0a3276359a5f5deb40df536b249936d10fa4eba7..c19befb1b6a0a4ee679d52da838167c5f716b349 100644 --- a/07.label_semantic_roles/index.cn.html +++ b/07.label_semantic_roles/index.cn.html @@ -67,7 +67,7 @@ $$\mbox{[小明]}_{\mbox{Agent}}\mbox{[昨天]}_{\mbox{Time}}\mbox{[晚上]}_\mb 图1. 依存句法分析句法树示例 -然而,完全句法分析需要确定句子所包含的全部句法信息,并确定句子各成分之间的关系,是一个非常困难的任务,目前技术下的句法分析准确率并不高,句法分析的细微错误都会导致SRL的错误。为了降低问题的复杂度,同时获得一定的句法结构信息,“浅层句法分析”的思想应运而生。浅层句法分析也称为部分句法分析(partial parsing)或语块划分(chunking)。和完全句法分析得到一颗完整的句法树不同,浅层句法分析只需要识别句子中某些结构相对简单的独立成分,例如:动词短语,这些被识别出来的结构称为语块。为了回避 “无法获得准确率较高的句法树” 所带来的困难,一些研究\[[1](#参考文献)\]也提出了基于语块(chunk)的SRL方法。基于语块的SRL方法将SRL作为一个序列标注问题来解决。序列标注任务一般都会采用BIO表示方式来定义序列标注的标签集,我们先来介绍这种表示方法。在BIO表示法中,B代表语块的开始,I代表语块的中间,O代表语块结束。通过B、I、O 三种标记将不同的语块赋予不同的标签,例如:对于一个角色为A的论元,将它所包含的第一个语块赋予标签B-A,将它所包含的其它语块赋予标签I-A,不属于任何论元的语块赋予标签O。 +然而,完全句法分析需要确定句子所包含的全部句法信息,并确定句子各成分之间的关系,是一个非常困难的任务,目前技术下的句法分析准确率并不高,句法分析的细微错误都会导致SRL的错误。为了降低问题的复杂度,同时获得一定的句法结构信息,“浅层句法分析”的思想应运而生。浅层句法分析也称为部分句法分析(partial parsing)或语块划分(chunking)。和完全句法分析得到一颗完整的句法树不同,浅层句法分析只需要识别句子中某些结构相对简单的独立成分,例如:动词短语,这些被识别出来的结构称为语块。为了回避 “无法获得准确率较高的句法树” 所带来的困难,一些研究\[[1](#参考文献)\]也提出了基于语块(chunk)的SRL方法。基于语块的SRL方法将SRL作为一个序列标注问题来解决。序列标注任务一般都会采用BIO表示方式来定义序列标注的标签集,我们先来介绍这种表示方法。在BIO表示法中,B代表语块的开始,I代表语块的中间,O代表语块结束。通过B、I、O 三种标记将不同的语块赋予不同的标签,例如:对于一个由角色A拓展得到的语块组,将它所包含的第一个语块赋予标签B-A,将它所包含的其它语块赋予标签I-A,不属于任何论元的语块赋予标签O。 我们继续以上面的这句话为例,图1展示了BIO表示方法。 @@ -193,14 +193,6 @@ conll05st-release/ 4. 构造以BIO法表示的标记; 5. 依据词典获取词对应的整数索引。 - -```python -# import paddle.v2.dataset.conll05 as conll05 -# conll05.corpus_reader函数完成上面第1步和第2步. -# conll05.reader_creator函数完成上面第3步到第5步. -# conll05.test函数可以获取处理之后的每条样本来供PaddlePaddle训练. -``` - 预处理完成之后一条训练样本包含9个特征,分别是:句子序列、谓词、谓词上下文(占 5 列)、谓词上下区域标志、标注序列。下表是一条训练样本的示例。 | 句子序列 | 谓词 | 谓词上下文(窗口 = 5) | 谓词上下文区域标记 | 标注序列 | @@ -229,6 +221,8 @@ conll05st-release/ 获取词典,打印词典大小: ```python +from __future__ import print_function + import math, os import numpy as np import paddle @@ -243,9 +237,9 @@ word_dict_len = len(word_dict) label_dict_len = len(label_dict) pred_dict_len = len(verb_dict) -print word_dict_len -print label_dict_len -print pred_dict_len +print('word_dict_len: ', word_dict_len) +print('label_dict_len: ', label_dict_len) +print('pred_dict_len: ', pred_dict_len) ``` ## 模型配置说明 @@ -473,7 +467,7 @@ def train(use_cuda, save_dirname=None, is_local=True): cost = cost[0] if batch_id % 10 == 0: - print("avg_cost:" + str(cost)) + print("avg_cost: " + str(cost)) if batch_id != 0: print("second per batch: " + str((time.time( ) - start_time) / batch_id)) diff --git a/07.label_semantic_roles/index.html b/07.label_semantic_roles/index.html index 7d84612aa653746fdf247f2dbc44072d85937d0b..170c6b6f5916415bfbbb564680dc1efa12ef6de5 100644 --- a/07.label_semantic_roles/index.html +++ b/07.label_semantic_roles/index.html @@ -217,13 +217,6 @@ The raw data needs to be preprocessed into formats that PaddlePaddle can handle. 4. Construct the markings in BIO format; 5. Obtain the integer index corresponding to the word according to the dictionary. -```python -# import paddle.v2.dataset.conll05 as conll05 -# conll05.corpus_reader does step 1 and 2 as mentioned above. -# conll05.reader_creator does step 3 to 5. -# conll05.test gets preprocessed training instances. -``` - After preprocessing, a training sample contains nine features, namely: word sequence, predicate, predicate context (5 columns), region mark sequence, label sequence. The following table is an example of a training sample. | word sequence | predicate | predicate context(5 columns) | region mark sequence | label sequence| @@ -251,6 +244,8 @@ We trained a language model on the English Wikipedia to get a word vector lookup Here we fetch the dictionary, and print its size: ```python +from __future__ import print_function + import math, os import numpy as np import paddle @@ -265,9 +260,9 @@ word_dict_len = len(word_dict) label_dict_len = len(label_dict) pred_dict_len = len(verb_dict) -print word_dict_len -print label_dict_len -print pred_dict_len +print('word_dict_len: ', word_dict_len) +print('label_dict_len: ', label_dict_len) +print('pred_dict_len: ', pred_dict_len) ``` ## Model Configuration @@ -482,7 +477,7 @@ def train(use_cuda, save_dirname=None, is_local=True): cost = cost[0] if batch_id % 10 == 0: - print("avg_cost:" + str(cost)) + print("avg_cost: " + str(cost)) if batch_id != 0: print("second per batch: " + str((time.time( ) - start_time) / batch_id)) diff --git a/07.label_semantic_roles/train.py b/07.label_semantic_roles/train.py index f09ee33282aae551e746fa4458c7efd8a66cd991..780167a2cfa7b25d2d064efb700cac324cde3f6b 100644 --- a/07.label_semantic_roles/train.py +++ b/07.label_semantic_roles/train.py @@ -1,3 +1,5 @@ +from __future__ import print_function + import math, os import numpy as np import paddle