Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
d2l-zh
提交
33f6e5b1
D
d2l-zh
项目概览
OpenDocCN
/
d2l-zh
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
33f6e5b1
编写于
7月 18, 2018
作者:
A
Aston Zhang
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix prime
上级
406584a6
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
2 addition
and
2 deletion
+2
-2
chapter_natural-language-processing/beam-search.md
chapter_natural-language-processing/beam-search.md
+2
-2
未找到文件。
chapter_natural-language-processing/beam-search.md
浏览文件 @
33f6e5b1
...
...
@@ -9,7 +9,7 @@
我们在描述解码器时提到,输出序列基于输入序列的条件概率是$
\p
rod_{t^
\p
rime=1}^{T^
\p
rime}
\m
athbb{P}(y_{t^
\p
rime}
\m
id y_1,
\l
dots, y_{t^
\p
rime-1},
\b
oldsymbol{c})$。为了搜索该概率最大的输出序列,一种方法是穷举所有可能序列的概率,并输出概率最大的序列。我们将该序列称为最优序列,并将这种搜索方法称为穷举搜索(exhaustive search)。
很明显,穷举搜索很容易因为计算开销$
\m
athcal{O}(|
\m
athcal{Y}|^{T^
\p
rime})$太大而无法使用。例如,当$|
\m
athcal{Y}|=10000$且$
{T^
\p
rime}=10$时,$10000^{10} = 1
\t
imes
10^{40}$。
很明显,穷举搜索很容易因为计算开销$
\m
athcal{O}(|
\m
athcal{Y}|^{T^
\p
rime})$太大而无法使用。例如,当$|
\m
athcal{Y}|=10000$且$
T^
\p
rime=10$时,$10000^{10}=1
\t
imes
10^{40}$。
## 贪婪搜索
...
...
@@ -20,7 +20,7 @@ $$y_{t^\prime} = \text{argmax}_{y_{t^\prime} \in \mathcal{Y}} \mathbb{P}(y_{t^\p
且一旦搜索出“
<
eos
>
”符号即完成输出。
贪婪搜索的计算开销是$
\m
athcal{O}(|
\m
athcal{Y}|
\t
imes {T^
\p
rime})$。它比起穷举搜索的计算开销显著下降。例如,当$|
\m
athcal{Y}|=10000$且$
{T^
\p
rime}=10$时,$10000
\t
imes 10 = 1
\t
imes
10^5$。然而,贪婪搜索并不能保证输出是最优序列。
贪婪搜索的计算开销是$
\m
athcal{O}(|
\m
athcal{Y}|
\t
imes {T^
\p
rime})$。它比起穷举搜索的计算开销显著下降。例如,当$|
\m
athcal{Y}|=10000$且$
T^
\p
rime=10$时,$10000
\t
imes10=1
\t
imes
10^5$。然而,贪婪搜索并不能保证输出是最优序列。
## 束搜索
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录