Created by: guoshengCS
PR types
New features
PR changes
Others
Describe
Incorporate cudnn_lstm into LSTM api
- 在LSTM中集成cudnn_lstm
- 将基类
RNNMixin
修改为RNNBase
- 为coalesce_tensor_op增加use_align属性,以便在参数转换中小tensor合并得到大tensor时忽略小tensor中的memory chunk
- 修改cudnn_lstm grad kernel对in_h/in_c为可选的求导
TODO:
- 待 #27192 合入后,使用小参数调用cudnn_lstm,隐藏大参数。当前参数同时包含小参数和大参数(
.parameters()
结果,因而保存时也会同时保存),且使用大参数调用cudnn_lstm,小参数无梯度(但由于和大参数共享内存其值能够更新)。 - 是否需要将非cudnn输出结果中padding部分置0以和cudnn一致