Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
ml-mastery-zh
提交
a69bf277
M
ml-mastery-zh
项目概览
OpenDocCN
/
ml-mastery-zh
10 个月 前同步成功
通知
2
Star
556
Fork
158
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
M
ml-mastery-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
未验证
提交
a69bf277
编写于
8月 03, 2021
作者:
L
linmeishang
提交者:
GitHub
8月 03, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
校对了 ## 神经网络中的随机初始化 之前的部分
上级
d1706187
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
13 addition
and
15 deletion
+13
-15
docs/dl-keras/why-initialize-a-neural-network-with-random-weights.md
...as/why-initialize-a-neural-network-with-random-weights.md
+13
-15
未找到文件。
docs/dl-keras/why-initialize-a-neural-network-with-random-weights.md
浏览文件 @
a69bf277
...
@@ -52,36 +52,34 @@
...
@@ -52,36 +52,34 @@
## 随机搜索算法
## 随机搜索算法
搜索问题通常非常具有挑战性,
需要使用大量使用随机性的非确定性算法
。
搜索问题通常非常具有挑战性,
这类问题需要使用非确定性算法,而非确定性算法则往往很大程度上依赖随机性
。
算法本身并不是随机的;相反,他们会谨慎使用随机性。它们在一个边界内是随机的,被称为
[
随机算法
]
(
https://en.wikipedia.org/wiki/Stochastic_optimization
)
。
这类算法本身并不是随机的,而是他们谨慎地使用随机性。它们在一定边界内是随机的,被称为[随机算法(stochastic algorithms)]
(https://en.wikipedia.org/wiki/Stochastic_optimization)。
搜索
的增量或逐步性质通常意味着过程和算法被称为从初始状态或位置到最终状态或位置的优化。例如,随机优化问题或随机优化算法
。
搜索
算法的逐步搜索(incremental or step-wise search)的性质通常意味着搜索过程和搜索算法是一种从初始状态或位置到最终状态或位置的优化(optimization)过程。例如,随机优化问题或随机优化算法,这其中的例子是遗传算法(genetic algorithm),模拟退火(simulated annealing)和随机梯度下降(stochastic gradient descent)
。
一些例子包括遗传算法,模拟退火和随机梯度下降。
搜索过程是从可行域中的一个起点到一些足够好的解决方案的一个逐步的过程。
搜索过程是从可能的解决方案空间的起点到一些足够好的解决方案的增量。
它们在使用随机性方面具有共同特征,例如:
它们在使用随机性方面具有共同特征,例如:
*
在初始化期间使用随机性。
*
在初始化期间使用随机性。
*
在搜索过程中使用随机性。
*
在搜索过程中使用随机性。
我们对搜索空间
的结构一无所知。因此,为了消除搜索过程中的偏差,我们从随机选择的位置
开始。
我们对搜索空间
(search space)的结构一无所知。因此,为了消除搜索过程中的偏差,我们从随机选择的一个起点
开始。
随着搜索过程的展开,我们有可能陷入搜索空间的不利区域。在搜索过程中使用随机性可能会
导致失败并找到更好的最终
候选解决方案。
随着搜索过程的展开,我们有可能陷入搜索空间的不利区域。在搜索过程中使用随机性可能会
使我们避免陷入不利区域,并找到更好的
候选解决方案。
陷入
困境并返回不太好的解决方案的想法被称为陷入局部最优
。
陷入
不利区域并找到次优的解决方案,这种情况被称为陷入局部最优(local optima)
。
这两个元素在搜索过程中随机初始化和随机性一起工作
。
在搜索过程中使用随机性和在初始化中使用随机性是齐头并进的
。
如果我们将搜索找到的任何解决方案视为临时或候选
,并且搜索过程可以多次执行,它们
可以更好地协同工作。
如果我们将搜索找到的任何解决方案视为临时或候选
方案,并且搜索过程可以多次执行,那么这两个随机过程就
可以更好地协同工作。
这为随机搜索过程提供了多个机会来启动和遍历候选解决方案的空间,以寻找更好的候选解决方案 - 即所谓的全局最优解。
这为随机搜索过程提供了多个机会来启动和遍历候选解决方案的空间,以寻找更好的候选解决方案 - 即所谓的全局最优解
(global optima)
。
候选解决方案空间的导航通常使用山脉和山谷的一个或两个景观的类比来描述(例如像
[
健身景观
](
https://en.wikipedia.org/wiki/Fitness_landscape
)
)。如果我们在搜索过程中最大化得分,我们可以将景观中的小山丘视为当地的最佳山峰,将最大的山丘视为全球最佳山峰
。
我们通常用山脉和山谷景观的类比(例如
[
健身景观
](
https://en.wikipedia.org/wiki/Fitness_landscape
)
)来描述在候选解决方案空间的搜索过程。如果我们想要寻找最大解,我们可以将景观中的小山丘视为局部的最大解,将最大的山丘视为全局最大解
。
这是一个
迷人的研究领域,我有一些背景。例如,看
我的书:
这是一个
吸引人的研究领域,我在这个领域有一些研究。您可以参见
我的书:
*
[
聪明的算法:自然启发的编程食谱
](
http://cleveralgorithms.com/nature-inspired/index.html
)
*
[
聪明的算法:自然启发的编程食谱
](
http://cleveralgorithms.com/nature-inspired/index.html
)
...
@@ -228,4 +226,4 @@
...
@@ -228,4 +226,4 @@
*
随机梯度下降是随机优化算法,需要随机初始化网络权重。
*
随机梯度下降是随机优化算法,需要随机初始化网络权重。
你有任何问题吗?
你有任何问题吗?
在下面的评论中提出您的问题,我会尽力回答。
在下面的评论中提出您的问题,我会尽力回答。
\ No newline at end of file
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录