未验证 提交 a69bf277 编写于 作者: L linmeishang 提交者: GitHub

校对了 ## 神经网络中的随机初始化 之前的部分

上级 d1706187
......@@ -52,36 +52,34 @@
## 随机搜索算法
搜索问题通常非常具有挑战性,需要使用大量使用随机性的非确定性算法
搜索问题通常非常具有挑战性,这类问题需要使用非确定性算法,而非确定性算法则往往很大程度上依赖随机性
算法本身并不是随机的;相反,他们会谨慎使用随机性。它们在一个边界内是随机的,被称为[随机算法](https://en.wikipedia.org/wiki/Stochastic_optimization)
这类算法本身并不是随机的,而是他们谨慎地使用随机性。它们在一定边界内是随机的,被称为[随机算法(stochastic algorithms)] (https://en.wikipedia.org/wiki/Stochastic_optimization)。
搜索的增量或逐步性质通常意味着过程和算法被称为从初始状态或位置到最终状态或位置的优化。例如,随机优化问题或随机优化算法
搜索算法的逐步搜索(incremental or step-wise search)的性质通常意味着搜索过程和搜索算法是一种从初始状态或位置到最终状态或位置的优化(optimization)过程。例如,随机优化问题或随机优化算法,这其中的例子是遗传算法(genetic algorithm),模拟退火(simulated annealing)和随机梯度下降(stochastic gradient descent)
一些例子包括遗传算法,模拟退火和随机梯度下降。
搜索过程是从可能的解决方案空间的起点到一些足够好的解决方案的增量。
搜索过程是从可行域中的一个起点到一些足够好的解决方案的一个逐步的过程。
它们在使用随机性方面具有共同特征,例如:
* 在初始化期间使用随机性。
* 在搜索过程中使用随机性。
我们对搜索空间的结构一无所知。因此,为了消除搜索过程中的偏差,我们从随机选择的位置开始。
我们对搜索空间(search space)的结构一无所知。因此,为了消除搜索过程中的偏差,我们从随机选择的一个起点开始。
随着搜索过程的展开,我们有可能陷入搜索空间的不利区域。在搜索过程中使用随机性可能会导致失败并找到更好的最终候选解决方案。
随着搜索过程的展开,我们有可能陷入搜索空间的不利区域。在搜索过程中使用随机性可能会使我们避免陷入不利区域,并找到更好的候选解决方案。
陷入困境并返回不太好的解决方案的想法被称为陷入局部最优
陷入不利区域并找到次优的解决方案,这种情况被称为陷入局部最优(local optima)
这两个元素在搜索过程中随机初始化和随机性一起工作
在搜索过程中使用随机性和在初始化中使用随机性是齐头并进的
如果我们将搜索找到的任何解决方案视为临时或候选,并且搜索过程可以多次执行,它们可以更好地协同工作。
如果我们将搜索找到的任何解决方案视为临时或候选方案,并且搜索过程可以多次执行,那么这两个随机过程就可以更好地协同工作。
这为随机搜索过程提供了多个机会来启动和遍历候选解决方案的空间,以寻找更好的候选解决方案 - 即所谓的全局最优解。
这为随机搜索过程提供了多个机会来启动和遍历候选解决方案的空间,以寻找更好的候选解决方案 - 即所谓的全局最优解(global optima)
候选解决方案空间的导航通常使用山脉和山谷的一个或两个景观的类比来描述(例如像[健身景观](https://en.wikipedia.org/wiki/Fitness_landscape))。如果我们在搜索过程中最大化得分,我们可以将景观中的小山丘视为当地的最佳山峰,将最大的山丘视为全球最佳山峰
我们通常用山脉和山谷景观的类比(例如[健身景观](https://en.wikipedia.org/wiki/Fitness_landscape))来描述在候选解决方案空间的搜索过程。如果我们想要寻找最大解,我们可以将景观中的小山丘视为局部的最大解,将最大的山丘视为全局最大解
这是一个迷人的研究领域,我有一些背景。例如,看我的书:
这是一个吸引人的研究领域,我在这个领域有一些研究。您可以参见我的书:
* [聪明的算法:自然启发的编程食谱](http://cleveralgorithms.com/nature-inspired/index.html)
......@@ -228,4 +226,4 @@
* 随机梯度下降是随机优化算法,需要随机初始化网络权重。
你有任何问题吗?
在下面的评论中提出您的问题,我会尽力回答。
\ No newline at end of file
在下面的评论中提出您的问题,我会尽力回答。
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册