Created by: littleKaa

transfomer的模型代码里self-attention里点击的时候加了一个attention的bias。 但是没有看到更新这个bias的地方。

请问加这个bias的目的是什么？