2020-12-25 17:42:37

new/handson-meta-learn-py/10.md

@@ -46,8 +46,8 @@
 
     ![](img/4cbb2cc6-469c-45d2-9788-6e16bcfa7e31.png)
 
-5.  在匹配网络中，我们使用两个嵌入函数![](img/d8f9410d-db42-4df6-be3a-7614ba05b9df.png)和![](img/d44d0232-53c9-470f-b7c8-6b1d8e8ddca6.png)分别学习查询集![](img/b136ebce-8a63-4852-8159-2f7b31fd042a.png)和支持集![](img/62270ca8-fe3d-4230-a982-7dfa87d3faa5.png)的嵌入。
-6.  查询点![](img/eabd6fad-5e1b-4065-99ed-9c576f343426.png)的输出![](img/5b824854-7f71-4b96-baa7-2159bf27ce59.png)可以预测如下：
+5.  在匹配网络中，我们使用两个嵌入函数`f`和`g`分别学习查询集`x_hat`和支持集`y_hat`的嵌入。
+6.  查询点`x_hat`的输出`y_hat`可以预测如下：
 
     ![](img/7f39510e-d498-4eeb-9df9-dd337b943381.png)
 
@@ -59,9 +59,9 @@
 4.  内存矩阵或内存库，或者简称为内存，是我们存储信息的地方。 内存基本上是由内存单元组成的二维矩阵。 内存矩阵包含`N`行和`M`列。 使用控制器，我们可以从内存中访问内容。 因此，控制器从外部环境接收输入，并通过与存储矩阵进行交互来发出响应。
 5.  基于位置的寻址和基于内容的寻址是 NTM 中使用的不同类型的寻址机制。
 
-6.  插值门用于决定是否应使用上一时间步获得的权重![](img/4d019a10-dd88-4397-9657-bfda92442c2e.png)或使用通过基于内容的寻址获得的权重![](img/0cf1683e-10a9-4409-a114-4a9aec56b0db.png)。
+6.  插值门用于决定是否应使用上一时间步获得的权重`w[t - 1]`或使用通过基于内容的寻址获得的权重`w[t]^c`。
 
-7.  从使用权重向量![](img/e8ef57ea-90b2-4b5f-822c-b3509623e500.png)计算最少使用的权重向量![](img/b8806191-251d-459c-8f49-48631a660468.png)非常简单。 我们仅将最低值使用权重向量的索引设置为 1，将其余值设置为 0，因为使用权重向量中的最小值表示最近使用最少。
+7.  从使用权重向量`w[t]^u`计算最少使用的权重向量`w[t]^(lu)`非常简单。 我们仅将最低值使用权重向量的索引设置为 1，将其余值设置为 0，因为使用权重向量中的最小值表示最近使用最少。
 
 # 第 6 章：MAML 及其变体
 
@@ -74,17 +74,21 @@
 
 # 第 7 章：Meta-SGD 和 Reptile 算法
 
-1.  与 MAML 不同，在 Meta-SGD 中，除了找到最佳参数值![](img/bc332532-036a-41fa-8960-6617759f1a29.png)之外，我们还找到最佳学习率![](img/455b90b1-5a66-4143-a4bc-30031eba9969.png)并更新方向。
-2.  学习率在适应项中隐式实现。 因此，在 Meta-SGD 中，我们不会以较小的标量值初始化学习率。 相反，我们使用与![](img/f4d705b6-6a27-43af-9987-650463402393.png)相同形状的随机值初始化它们，然后与![](img/48af46b5-42f6-4af5-b115-3182de1bb664.png)一起学习它们。
+1.  与 MAML 不同，在 Meta-SGD 中，除了找到最佳参数值`θ`之外，我们还找到最佳学习率`α`并更新方向。
+2.  学习率在适应项中隐式实现。 因此，在 Meta-SGD 中，我们不会以较小的标量值初始化学习率。 相反，我们使用与`θ`相同形状的随机值初始化它们，然后与`θ`一起学习它们。
 
-3.  学习率的更新公式可以表示为![](img/b41f82a1-d32d-4c12-ac8d-a07e86ef0f59.png)。
+3.  学习率的更新公式可以表示为：
+
+    ![](img/b41f82a1-d32d-4c12-ac8d-a07e86ef0f59.png)
 4.  对`n`个任务进行采样，并在每个采样任务上以较少的迭代次数运行 SGD，然后按照所有任务共有的方向更新模型参数。
-5.  Reptile 更新方程可表示为![](img/6bdc020a-39a6-4c37-906f-23dde9efaecd.png)。
+5.  Reptile 更新方程可表示为`θ = θ + ε(θ' - θ)`。
 
 # 第 8 章：梯度协议作为优化目标
 
 1.  当所有任务的梯度都在同一方向上时，则称为梯度一致性；当某些任务的梯度与其他任务之间存在较大差异时，则称为梯度不一致。
-2.  梯度一致性中的更新方程可表示为![](img/74d5d212-9b8c-4585-a314-454972d10601.png)。
+2.  梯度一致性中的更新方程可表示为：
+
+    ![](img/74d5d212-9b8c-4585-a314-454972d10601.png)。
 3.  权重与任务梯度的内积和采样任务批次中所有任务的梯度平均值成正比。
 4.  权重计算如下：
 
@@ -98,7 +102,7 @@
 1.  不平等度量的不同类型是基尼系数，泰尔指数和算法的方差。
 2.  泰尔指数是最常用的不平等度量。 它是以荷兰计量经济学家 Henri Theil 的名字命名的，是不平等度量族的一种特例，称为**广义熵度量**。 可以将其定义为最大熵与观察到的熵之差。
 3.  如果我们仅通过观察动作就能使机器人学习，那么我们就可以轻松地使机器人有效地学习复杂的目标，而不必设计复杂的目标和奖励功能。 这种类型的学习（即从人类行为中学习）称为模仿学习，在这种情况下，机器人会尝试模仿人类行为。
-4.  概念生成器用于提取特征。 我们可以使用由某些参数![](img/c8f41325-96e6-4a62-9375-17b9ee4e2ffc.png)参数化的深度神经网络来生成概念。 例如，如果我们的输入是图像，则概念生成器可以是 CNN。
+4.  概念生成器用于提取特征。 我们可以使用由某些参数`θ[G]`参数化的深度神经网络来生成概念。 例如，如果我们的输入是图像，则概念生成器可以是 CNN。
 5.  我们从任务分配中抽样一批任务，通过概念生成器学习它们的概念，对这些概念执行元学习，然后计算元学习损失：
 
     ![](img/a5b2e2a9-c381-46e8-b5a6-2e124ccca9dc.png)
\ No newline at end of file