Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
d2l-zh
提交
a267c98d
D
d2l-zh
项目概览
OpenDocCN
/
d2l-zh
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
a267c98d
编写于
5月 29, 2018
作者:
A
Aston Zhang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add language model
上级
b7815fe9
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
2 addition
and
4 deletion
+2
-4
chapter_recurrent-neural-networks/lm.md
chapter_recurrent-neural-networks/lm.md
+2
-4
未找到文件。
chapter_recurrent-neural-networks/lm.md
浏览文件 @
a267c98d
...
...
@@ -13,8 +13,7 @@ $$\mathbb{P}(w_1, w_2, \ldots, w_T).$$
既然语言模型这么有用,那该如何计算它呢?根据全概率公式,我们有
$$
\m
athbb{P}(w_1, w_2,
\l
dots, w_T) =
\p
rod_{t=1}^T
\m
athbb{P}(w_t
\m
id w_1,
\l
dots, w_{t-1}) .$$
$$
\m
athbb{P}(w_1, w_2,
\l
dots, w_T) =
\p
rod_{t=1}^T
\m
athbb{P}(w_t
\m
id w_1,
\l
dots, w_{t-1}) .$$
例如,
...
...
@@ -27,8 +26,7 @@ $$\mathbb{P}(w_1, w_2, w_3, w_4) = \mathbb{P}(w_1) \mathbb{P}(w_2 \mid w_1) \ma
实际上,我们可以通过马尔可夫假设(虽然并不一定成立)来简化语言模型的计算。基于$n-1$阶马尔可夫假设,我们将语言模型改写为
$$
\m
athbb{P}(w_1, w_2,
\l
dots, w_T)
\a
pprox
\p
rod_{t=1}^T
\m
athbb{P}(w_t
\m
id w_{t-(n-1)},
\l
dots, w_{t-1}) .$$
$$
\m
athbb{P}(w_1, w_2,
\l
dots, w_T)
\a
pprox
\p
rod_{t=1}^T
\m
athbb{P}(w_t
\m
id w_{t-(n-1)},
\l
dots, w_{t-1}) .$$
以上也叫$n$元语法($n$-grams)。它是基于$n-1$阶马尔可夫链的概率语言模型。当$n$分别为1、2和3时,我们将其分别称作一元语法(unigram)、二元语法(bigram)和三元语法(trigram)。例如,$w_1, w_2, w_3, w_4$在一元、二元和三元语法中的概率分别为
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录