提交 4616a8c8 编写于 作者: T Travis CI

Deploy to GitHub Pages: 95b4e397

上级 91d73c3f
...@@ -286,3 +286,16 @@ PaddlePaddle的参数使用名字 :code:`name` 作为参数的ID,相同名字 ...@@ -286,3 +286,16 @@ PaddlePaddle的参数使用名字 :code:`name` 作为参数的ID,相同名字
.. code-block:: bash .. code-block:: bash
paddle train --use_gpu=true --trainer_count=2 --gpu_id=2 paddle train --use_gpu=true --trainer_count=2 --gpu_id=2
12. 训练过程中出现 :code:`Floating point exception`, 训练因此退出怎么办?
------------------------------------------------------------------------
Paddle二进制在运行时捕获了浮点数异常,只要出现浮点数异常(即训练过程中出现NaN或者Inf),立刻退出。浮点异常通常的原因是浮点数溢出、除零等问题。
主要原因包括两个方面:
* 训练过程中参数或者训练过程中的梯度尺度过大,导致参数累加,乘除等时候,导致了浮点数溢出。
* 模型一直不收敛,发散到了一个数值特别大的地方。
* 训练数据有问题,导致参数收敛到了一些奇异的情况。或者输入数据尺度过大,有些特征的取值达到数百万,这时进行矩阵乘法运算就可能导致浮点数溢出。
主要的解决办法是减小学习律或者对数据进行归一化处理。
...@@ -203,6 +203,7 @@ ...@@ -203,6 +203,7 @@
<li><a class="reference internal" href="#cmake-pythonlibspythoninterp">10. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致</a></li> <li><a class="reference internal" href="#cmake-pythonlibspythoninterp">10. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致</a></li>
<li><a class="reference internal" href="#a-protocol-message-was-rejected-because-it-was-too-big">10. A protocol message was rejected because it was too big</a></li> <li><a class="reference internal" href="#a-protocol-message-was-rejected-because-it-was-too-big">10. A protocol message was rejected because it was too big</a></li>
<li><a class="reference internal" href="#gpu">11. 如何指定GPU设备</a></li> <li><a class="reference internal" href="#gpu">11. 如何指定GPU设备</a></li>
<li><a class="reference internal" href="#floating-point-exception">12. 训练过程中出现 <code class="code docutils literal"><span class="pre">Floating</span> <span class="pre">point</span> <span class="pre">exception</span></code>, 训练因此退出怎么办?</a></li>
</ul> </ul>
</li> </li>
</ul> </ul>
...@@ -260,6 +261,7 @@ ...@@ -260,6 +261,7 @@
<li><a class="reference internal" href="#cmake-pythonlibspythoninterp" id="id25">10. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致</a></li> <li><a class="reference internal" href="#cmake-pythonlibspythoninterp" id="id25">10. CMake源码编译, 找到的PythonLibs和PythonInterp版本不一致</a></li>
<li><a class="reference internal" href="#a-protocol-message-was-rejected-because-it-was-too-big" id="id26">10. A protocol message was rejected because it was too big</a></li> <li><a class="reference internal" href="#a-protocol-message-was-rejected-because-it-was-too-big" id="id26">10. A protocol message was rejected because it was too big</a></li>
<li><a class="reference internal" href="#gpu" id="id27">11. 如何指定GPU设备</a></li> <li><a class="reference internal" href="#gpu" id="id27">11. 如何指定GPU设备</a></li>
<li><a class="reference internal" href="#floating-point-exception" id="id28">12. 训练过程中出现 <code class="code docutils literal"><span class="pre">Floating</span> <span class="pre">point</span> <span class="pre">exception</span></code>, 训练因此退出怎么办?</a></li>
</ul> </ul>
</li> </li>
</ul> </ul>
...@@ -561,6 +563,17 @@ F1205 <span class="m">14</span>:59:50.295174 <span class="m">14703</span> Traine ...@@ -561,6 +563,17 @@ F1205 <span class="m">14</span>:59:50.295174 <span class="m">14703</span> Traine
</pre></div> </pre></div>
</div> </div>
</div> </div>
<div class="section" id="floating-point-exception">
<h2><a class="toc-backref" href="#id28">12. 训练过程中出现 <code class="code docutils literal"><span class="pre">Floating</span> <span class="pre">point</span> <span class="pre">exception</span></code>, 训练因此退出怎么办?</a><a class="headerlink" href="#floating-point-exception" title="永久链接至标题"></a></h2>
<p>Paddle二进制在运行时捕获了浮点数异常,只要出现浮点数异常(即训练过程中出现NaN或者Inf),立刻退出。浮点异常通常的原因是浮点数溢出、除零等问题。
主要原因包括两个方面:</p>
<ul class="simple">
<li>训练过程中参数或者训练过程中的梯度尺度过大,导致参数累加,乘除等时候,导致了浮点数溢出。</li>
<li>模型一直不收敛,发散到了一个数值特别大的地方。</li>
<li>训练数据有问题,导致参数收敛到了一些奇异的情况。或者输入数据尺度过大,有些特征的取值达到数百万,这时进行矩阵乘法运算就可能导致浮点数溢出。</li>
</ul>
<p>主要的解决办法是减小学习律或者对数据进行归一化处理。</p>
</div>
</div> </div>
......
因为 它太大了无法显示 source diff 。你可以改为 查看blob
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册