Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
d2l-zh
提交
3fa57b88
D
d2l-zh
项目概览
OpenDocCN
/
d2l-zh
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
D
d2l-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
3fa57b88
编写于
1月 19, 2018
作者:
A
Aston Zhang
提交者:
GitHub
1月 19, 2018
浏览文件
操作
浏览文件
下载
差异文件
Merge pull request #166 from astonzhang/zhibo
update
上级
9dd66590
88acfd5d
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
9 addition
and
1 deletion
+9
-1
chapter_natural-language-processing/word2vec.md
chapter_natural-language-processing/word2vec.md
+9
-1
未找到文件。
chapter_natural-language-processing/word2vec.md
浏览文件 @
3fa57b88
...
@@ -130,7 +130,15 @@ $$ - \text{log} \mathbb{P} (w_o \mid w_c) = -\text{log} \frac{1}{1+\text{exp}(-\
...
@@ -130,7 +130,15 @@ $$ - \text{log} \mathbb{P} (w_o \mid w_c) = -\text{log} \frac{1}{1+\text{exp}(-\
当我们把$K$取较小值时,每次随机梯度下降的梯度计算开销将由$
\m
athcal{O}(|
\m
athcal{V}|)$降为$
\m
athcal{O}(K)$。
当我们把$K$取较小值时,每次随机梯度下降的梯度计算开销将由$
\m
athcal{O}(|
\m
athcal{V}|)$降为$
\m
athcal{O}(K)$。
我们也可以对连续词袋模型进行负采样。有关背景词$w^{(t-m)},
\l
dots, w^{(t-1)}, w^{(t+1)},
\l
dots, w^{(t+m)}$生成中心词$w_c$的损失函数
$$-
\t
ext{log}
\m
athbb{P}(w^{(t)}
\m
id w^{(t-m)},
\l
dots, w^{(t-1)}, w^{(t+1)},
\l
dots, w^{(t+m)})$$
在负采样中可以近似为
$$-
\t
ext{log}
\f
rac{1}{1+
\t
ext{exp}[-
\m
athbf{u}_c^
\t
op (
\m
athbf{v}_{o_1} +
\l
dots +
\m
athbf{v}_{o_{2m}}) /(2m)]} -
\s
um_{k=1, w_k
\s
im
\m
athbb{P}(w)}^K
\t
ext{log}
\f
rac{1}{1+
\t
ext{exp}[(
\m
athbf{u}_{i_k}^
\t
op (
\m
athbf{v}_{o_1} +
\l
dots +
\m
athbf{v}_{o_{2m}}) /(2m)]}$$
同样地,当我们把$K$取较小值时,每次随机梯度下降的梯度计算开销将由$
\m
athcal{O}(|
\m
athcal{V}|)$降为$
\m
athcal{O}(K)$。
## 层序softmax
## 层序softmax
...
@@ -143,7 +151,7 @@ $$ - \text{log} \mathbb{P} (w_o \mid w_c) = -\text{log} \frac{1}{1+\text{exp}(-\
...
@@ -143,7 +151,7 @@ $$ - \text{log} \mathbb{P} (w_o \mid w_c) = -\text{log} \frac{1}{1+\text{exp}(-\
假设$L(w)$为从二叉树的根到代表词$w$的叶子节点的路径上的节点数,并设$n(w,i)$为该路径上第$i$个节点,该节点的向量为$
\m
athbf{u}_{n(w,i)}$。以上图为例,$L(w_3) = 4$。那么,跳字模型和连续词袋模型所需要计算的任意词$w_i$生成词$w$的概率为:
假设$L(w)$为从二叉树的根到代表词$w$的叶子节点的路径上的节点数,并设$n(w,i)$为该路径上第$i$个节点,该节点的向量为$
\m
athbf{u}_{n(w,i)}$。以上图为例,$L(w_3) = 4$。那么,跳字模型和连续词袋模型所需要计算的任意词$w_i$生成词$w$的概率为:
$$
\m
athbb{P}(w
\m
id w_i) =
\p
rod_{j=1}^{L(w)-1}
\s
igma([n(w, j+1) =
\t
ext{left_child}(n(w,j))]
\c
dot
\m
athbf{u}_{n(w,j)}^
\t
op
\m
athbf{v}_i)$$
其中$
\s
igma(x) = 1/(1+
\t
ext{exp}(-x))$,如果$x$为真,$[x] = 1$;反之$[x] = -1$。
其中$
\s
igma(x) = 1/(1+
\t
ext{exp}(-x))$,如果$x$为真,$[x] = 1$;反之$[x] = -1$。
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录