改造CRNN_CTC模型自定义数据集训练 loss 为 nan
Created by: xiangyubo
1)PaddlePaddle版本:1.3.2 3)GPU:v100, 4)系统环境:AI Studio 1)模型名称:CRNN 2)使用数据集名称:AI Studio 上公开数据集 Task 2.3: Word Recog 3)使用算法名称 4)模型链接
-
复现信息: 可以在 AI Studio 上找到项目,fork 过来,将配置"use_gpu": True 根据环境调整后,直接从上往下运行复现 https://aistudio.baidu.com/aistudio/projectDetail/60125
-
问题描述:我看了读取数据部分,读取数据,并且读取标签信息,似乎没错。模型没有改动,读取方式改为异步 py_reader 方式。训练数据使用自己定义的方式增强和尺寸归一化。训练时候的 loss 一开始非常大,后来就变为 nan,distance 一直维持在1左右,instance error 一直是 1. 没变过