20.md

# torch.nn.init

```py
torch.nn.init.calculate_gain(nonlinearity,param=None) 
```

返回给定非线性函数的推荐增益值。值如下：

| 非线性 | 获得 |
| --- | --- |
| linear | 1 |
| conv{1,2,3}d | 1 |
| sigmoid | 1 |
| tanh | 5/3 |
| relu | sqrt(2) |
| leaky_relu | sqrt(2/(1+negative_slope^2)) |

参数：

1.  nonlinearity - 非线性函数（nn.functional 名称）
2.  param - 非线性函数的可选参数

例子：

```py
gain = nn.init.gain('leaky_relu') 
```

```py
torch.nn.init.uniform(tensor, a=0, b=1)[source] 
```

从均匀分布 U(a, b)中生成值，填充输入的张量或变量

参数：

1.  tensor - n 维的 torch.Tensor 或者 autograd.Variable
2.  a - 均匀分布的下限
3.  b - 均匀分布的上限

例子：

```py
w = torch.Tensor(3, 5)
print nn.init.uniform(w)
# 输出： 
# 0.0470  0.9742  0.9736  0.7976  0.1219
# 0.9390  0.7575  0.9370  0.4786  0.8396
# 0.1849  0.5384  0.0625  0.3719  0.1739
# [torch.FloatTensor of size 3x5] 
```

```py
torch.nn.init.normal(tensor, mean=0, std=1) 
```

从给定均值和标准差的正态分布 N(mean, std)中生成值，填充输入的张量或变量

参数：

1.  tensor – n 维的 torch.Tensor 或者 autograd.Variable
2.  mean – 正态分布的平均值
3.  std – 正态分布的标准偏差

例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.normal(w) 
```

```py
torch.nn.init.constant(tensor, val) 
```

使用值 val 填充输入 Tensor 或 Variable 。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  val – 填充张量的值

例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.constant(w) 
```

```py
torch.nn.init.eye(tensor) 
```

用单位矩阵来填充 2 维输入张量或变量。在线性层尽可能多的保存输入特性。

参数：

1.  tensor – 2 维的 torch.Tensor 或 autograd.Variable

例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.eye(w) 
```

```py
torch.nn.init.dirac(tensor) 
```

用`Dirac delta`函数来填充{3, 4, 5}维输入张量或变量。在卷积层尽可能多的保存输入通道特性。

参数：

1.  tensor – {3, 4, 5}维的 torch.Tensor 或 autograd.Variable

例子：

```py
w = torch.Tensor(3, 16, 5, 5)
print torch.nn.init.dirac(w) 
```

```py
torch.nn.init.xavier_uniform(tensor, gain=1) 
```

根据 Glorot, X.和 Bengio, Y.在"理解难度训练深前馈神经网络"中描述的方法，使用均匀分布，填充张量或变量。结果张量中的值采样自 U(-a, a)，其中 a= gain _sqrt( 2/(fan_in + fan_out))_sqrt(3). 该方法也被称为`glorot`的初始化。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  gain - 可选的缩放因子

例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.xavier_uniform(w, gain=nn.init.calculate_gain('relu')) 
```

```py
torch.nn.init.xavier_normal(tensor, gain=1) 
```

根据 Glorot, X.和 Bengio, Y. 于 2010 年在"理解难度训练深前馈神经网络"中描述的方法，采用正态分布，填充张量或变量。结果张量中的值采样自均值为 0，标准差为 gain * sqrt(2/(fan_in + fan_out))的正态分布。该方法也被称为`glorot`的初始化。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  gain - 可选的缩放因子

例子：

```py
>>> w = torch.Tensor(3, 5)
>>> nn.init.xavier_normal(w) 
```

```py
torch.nn.init.kaiming_uniform(tensor, a=0, mode='fan_in') 
```

根据 He, K 等人于 2015 年在"深入研究了超越人类水平的性能：整流器在 ImageNet 分类"中描述的方法，采用正态分布，填充张量或变量。结果张量中的值采样自 U(-bound, bound)，其中 bound = sqrt(2/((1 + a^2) *fan_in))* sqrt(3)。该方法也被称为`He`的初始化。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  a -此层后使用的整流器的负斜率（默认为 ReLU 为 0）
3.  mode - "fan_in"（默认）或"fan_out"。"fan_in"保留正向传播时权值方差的量级，"fan_out"保留反向传播时的量级。

例子：

```py
w = torch.Tensor(3, 5)
torch.nn.init.kaiming_uniform(w, mode='fan_in') 
```

```py
torch.nn.init.kaiming_normal(tensor, a=0, mode='fan_in') 
```

根据 He, K 等人 2015 年在"深入研究了超越人类水平的性能：整流器在 ImageNet 分类"中描述的方法，采用正态分布，填充张量或变量。结果张量中的值采样自均值为 0，标准差为 sqrt(2/((1 + a^2) * fan_in))的正态分布。该方法也被称为`He`的初始化。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  a -此层后使用的整流器的负斜率（默认为 ReLU 为 0）
3.  mode - "fan_in"（默认）或"fan_out"。"fan_in"保留正向传播时权值方差的量级，"fan_out"保留反向传播时的量级。

```py
w = torch.Tensor(3, 5)
print torch.nn.init.kaiming_normal(w, mode='fan_out') 
```

```py
torch.nn.init.orthogonal(tensor, gain=1) 
```

使用（半）正交矩阵填充输入张量或变量,参考 Saxe，A.等人 2013 年"深深度线性神经网络学习的非线性动力学的精确解"。输入张量必须至少是 2 维的，对于更高维度的张量，超出的维度会被展平。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable，其中 n>=2
2.  gain - 可选缩放因子

例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.orthogonal(w) 
```

```py
torch.nn.init.sparse(tensor, sparsity, std=0.01) 
```

将二维输入张量或变为稀疏矩阵的非零元素，其中非零元素根据一个均值为 0，标准差为 std 的正态分布生成。如"深度学习通过 Hessian 免费优化"- Martens，J.（2010）。

参数：

1.  tensor – n 维的 torch.Tensor 或 autograd.Variable
2.  sparsity - 每列中需要被设置成零的元素比例
3.  std - 用于生成的正态分布的标准差
4.  non-zero values (the) – 例子：

```py
w = torch.Tensor(3, 5)
print torch.nn.init.sparse(w, sparsity=0.1) 
```

### 译者署名

| 用户名 | 头像 | 职能 | 签名 |
| --- | --- | --- | --- |
| [Song](https://ptorch.com) | ![](img/2018033000352689884.jpeg) | 翻译 | 人生总要追求点什么 |