Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
D_ACMER
apachecn-dl-zh
提交
be5f23bb
A
apachecn-dl-zh
项目概览
D_ACMER
/
apachecn-dl-zh
与 Fork 源项目一致
Fork自
OpenDocCN / apachecn-dl-zh
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
A
apachecn-dl-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
be5f23bb
编写于
1月 07, 2021
作者:
W
wizardforcel
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
2021-01-07 20:31:35
上级
3a4d87b9
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
6 addition
and
9 deletion
+6
-9
new/adv-dl-tf2-keras/05.md
new/adv-dl-tf2-keras/05.md
+5
-8
new/adv-dl-tf2-keras/13.md
new/adv-dl-tf2-keras/13.md
+1
-1
未找到文件。
new/adv-dl-tf2-keras/05.md
浏览文件 @
be5f23bb
...
...
@@ -31,9 +31,9 @@ WGAN 认为 GAN 固有的不稳定性是由于它的损失函数引起的,该
可以通过检查其损失函数来了解训练 GAN 的稳定性。 为了更好地理解 GAN 损失函数,我们将回顾两个概率分布之间的公共距离或散度函数。
我们关注的是用于真实数据分配的
`p_data`
与用于发电机数据分配的
`p_g`
之间的距离。 GAN 的目标是制造
!
[](
img/B14853_05_001.png
)
。“表 5.1.1”显示了散度函数。
我们关注的是用于真实数据分配的
`p_data`
与用于发电机数据分配的
`p_g`
之间的距离。 GAN 的目标是制造
`p_g -> p_data`
。“表 5.1.1”显示了散度函数。
在大多数个最大似然任务中,我们将使用
**Kullback-Leibler**
(
**KL**
)散度,或
`D[KL]`
损失函数可以衡量我们的神经网络模型预测与真实分布函数之间的距离。 如“公式 5.1.1”所示,由于
!
[](
img/B14853_05_002.png
)
,所以
`D[KL]`
不对称。
在大多数个最大似然任务中,我们将使用
**Kullback-Leibler**
(
**KL**
)散度,或
`D[KL]`
损失函数可以衡量我们的神经网络模型预测与真实分布函数之间的距离。 如“公式 5.1.1”所示,由于
`D[KL](p_data || p_g) ≠ D[KL](p_g || p_data)`
,所以
`D[KL]`
不对称。
**JS**
或
`D[JS]`
是基于
`D[KL]`
的差异。 但是,与
`D[KL]`
不同,
`D[JS]`
是对称的并且是有限的。 在本节中,我们将演示优化 GAN 损失函数等同于优化
`D[JS]`
:
...
...
@@ -42,15 +42,12 @@ WGAN 认为 GAN 固有的不稳定性是由于它的损失函数引起的,该
| Kullback-Leibler(KL)“公式 5.1.1” | !
[](
img/B14853_05_003.png
)
|
| | !
[](
img/B14853_05_004.png
)
|
|
*
詹森·香农(JS)“公式 5.1.2” | !
[](
img/B14853_05_005.png
)
|
| 陆地移动距离(EMD)或 Wasserstein 1 “公式 5.1.3” |
![](
img/B14853_05_006.png
)
其中!
[](
img/B14853_05_007.png
)
是所有联合分布!
[](
img/B14853_05_008.png
)
的集合,其边际为
`p_data`
和
`p_g`
。
| 陆地移动距离(EMD)或 Wasserstein 1 “公式 5.1.3” | !
[](
img/B14853_05_006.png
)
|
| | 其中!
[](
img/B14853_05_007.png
)
是所有联合分布!
[](
img/B14853_05_008.png
)
的集合,其边际为
`p_data`
和
`p_g`
。 |
表 5.1.1:两个概率分布函数
`p_data`
和
`p_g`
之间的散度函数
EMD 背后的想法是,它是
为了确定概率分布
`p_data`
应由!
[](
img/B14853_05_010.png
)
传输多少质量!
[](
img/B14853_05_009.png
)
。
`p_g`
。 !
[](
img/B14853_05_011.png
)
是所有可能的关节分布
[
HTG11]中的关节分布。 ![
](
img/B14853_05_013.png
)
也被称为运输计划,以反映运输质量以匹配两个概率分布的策略。 给定两个概率分布,有许多可能的运输计划。 大致而言,
`inf`
表示成本最低的运输计划。
EMD 背后的想法是,它是
`d = ||x - y||`
传输多少质量
`γ(x, y)`
,为了让概率分布
`p_data`
匹配
`p_g`
的度量。
`γ(x, y)`
是所有可能的联合分布
`Π(p_data, p_g)`
的空间中的联合分布。
`γ(x, y)`
也被称为运输计划,以反映运输质量以匹配两个概率分布的策略。 给定两个概率分布,有许多可能的运输计划。 大致而言,
`inf`
表示成本最低的运输计划。
例如,“图 5.1.1”向我们展示了两个简单的离散分布
`x`
和
`y`
:
...
...
new/adv-dl-tf2-keras/13.md
浏览文件 @
be5f23bb
...
...
@@ -228,7 +228,7 @@ Ji 等人的**不变信息聚类**(**IIC**)[1] 建议从联合和边际分
图 13.4.3 缩小的 VGG 用作编码器主干
“图 13.4.4”显示了“图 13.4.1”的 Keras 模型图。 为了提高性能,IIC 执行了超集群。 两个或更多编码器用于生成两个或更多个边际分布
`P(Z)`
和!
[](
img/B14853_13_068.png
)
。 生成相应的
关节
分布。 就网络模型的而言,这是由具有两个或更多头的编码器实现的。
“图 13.4.4”显示了“图 13.4.1”的 Keras 模型图。 为了提高性能,IIC 执行了超集群。 两个或更多编码器用于生成两个或更多个边际分布
`P(Z)`
和!
[](
img/B14853_13_068.png
)
。 生成相应的
联合
分布。 就网络模型的而言,这是由具有两个或更多头的编码器实现的。
![
A screenshot of a cell phone Description automatically generated
](
img/B14853_13_06.png
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录