From 910672e71401ca397a80c907cb26845a006a76bf Mon Sep 17 00:00:00 2001 From: wizardforcel <562826179@qq.com> Date: Sun, 17 Jan 2021 18:07:12 +0800 Subject: [PATCH] 2021-01-17 18:07:12 --- new/handson-nlp-pt-1x/9.md | 46 +++++++++++++++++++++++--------------- 1 file changed, 28 insertions(+), 18 deletions(-) diff --git a/new/handson-nlp-pt-1x/9.md b/new/handson-nlp-pt-1x/9.md index 17e84c63..843b7b95 100644 --- a/new/handson-nlp-pt-1x/9.md +++ b/new/handson-nlp-pt-1x/9.md @@ -31,15 +31,19 @@ BERT 是作为预训练的模型发布的,这意味着用户可以下载和实 传统的嵌入层(例如 GLoVe)形成一个单词的单个表示形式,该表示形式与句子中该单词的含义无关,而双向 BERT 模型则尝试根据其上下文来形成表示形式。 例如,在这两个句子中,单词 *bat* 具有两种不同的含义。 -“蝙蝠飞过我的窗户” +```py +"The bat flew past my window" -“他用球拍打了棒球” +"He hit the baseball with the bat" +``` 尽管单词`bat`在两个句子中都是名词,但我们可以辨别出单词的上下文和含义明显不同,这取决于周围的其他单词。 某些单词也可能具有不同的含义,具体取决于它们是句子中的名词还是动词: -“她曾经配过火” +```py +"She used to match to light the fire" -“他的糟糕表现意味着他们别无选择,只能开除他” +"His poor performance meant they had no choice but to fire him" +``` 使用双向语言模型来形成与上下文相关的单词表示形式,确实使 BERT 脱颖而出,成为最先进的模型。 对于任何给定的令牌,我们通过组合令牌,位置和分段嵌入来获得其输入表示: @@ -358,21 +362,25 @@ This is only the first th 首先,让我们考虑最基本的类型的构成成分**名词短语**。 句子中的名词很容易识别,因为它们是定义对象或实体的词。 在下面的句子中,我们可以识别出三个名词: -“厨师杰夫做饭” +```py +"Jeff the chef cooks dinner" -Jeff-专有名词,表示名称 +Jeff - Proper noun, denotes a name -厨师-厨师是一个实体 +Chef - A chef is an entity -晚餐-晚餐是物体/事物 +Dinner - Dinner is an object/thing +``` 但是,名词短语略有不同,因为每个名词短语都应指一个单独的实体。 在前面的句子中,即使`Jeff`和`Cook`都是名词,短语`Jeff Cook`都指一个人,因此可以将其视为名词 短语。 但是,如何从语法上确定名词短语是指单个实体? 一种简单的方法是将短语置于动词之前,看看该句子是否具有句法意义。 如果确实如此,那么该短语就是名词短语: -厨师杰夫做饭… +```py +Jeff the chef cooks… -厨师杰夫(Jeff)运行... +Jeff the chef runs… -杰夫厨师喝… +Jeff the chef drinks… +``` 我们可以识别各种不同的短语,以及帮助我​​们识别它们的许多复杂的语法规则。 我们首先确定每个句子可以分解成的个别语法特征: @@ -380,7 +388,9 @@ Jeff-专有名词,表示名称 现在我们知道句子是由成分组成的,并且成分可以由几个单独的语法组成,现在我们可以开始根据它们的结构来映射句子。 例如,使用以下示例语句: -“男孩打了球” +```py +"The boy hit the ball" +``` 我们可以从将该句子分为两部分开始:名词短语和动词短语: @@ -404,8 +414,6 @@ Jeff-专有名词,表示名称 ![Figure 9.16 – Parse tree of the sentence ](img/B12365_09_16.jpg) -一种 - 图 9.16 –句子的分析树 这些解析树使我们能够看到句子的句法结构,但它们远非完美。 从这种结构中,我们可以清楚地看到,发生了两个带有动词的名词短语。 但是,从前面的结构中,尚不清楚实际发生了什么。 我们在两个对象之间有一个动作,但是仅凭语法尚不清楚发生了什么。 哪一方对谁采取行动? 我们将看到语义角色标签捕获了其中的一些歧义。 @@ -436,13 +444,15 @@ Jeff-专有名词,表示名称 语义角色标签极大地帮助了我们一件事,即识别具有相同含义但在语法或语法上不同的句子; 例如以下内容: -那人从商店买了苹果 +```py +The man bought the apple from the shop -商店给那个人卖了一个苹果 +The shop sold the man an apple -这个苹果是那人从商店里买的。 +The apple was bought by the man from the shop -苹果被商店卖给了那个人 +The apple was sold by the shop to the man +``` 这些句子虽然没有明显地包含相同顺序的所有相同词,但它们实际上具有相同的含义。 通过对这些句子应用语义角色标签,我们可以确定谓词/代理/主题都相同。 -- GitLab