• Z
    [cherry-pick-2.2.1]fix fused_transformer_encoder_layer bug (#37229) · 36dd295e
    zhangkaihuo 提交于
    修复了fused_transformer_encoder_layer fine-tune过程发现的一些问题:
    
        fused_attention_op添加attn_mask=None的支持:PR
        pre_layer_norm处理问题:PR
        参数处理,计算错误的问题:PR
        add_bias计算错误问题:PR
        添加pure fp16的支持:PR
    36dd295e
fused_transformer.py 22.7 KB