Created by: zhangting2020

PR types

Others

PR changes

Others

Describe

set isfinite op on cpu for amp

AMP训练中，isfinite的输出会作为conditionnal_block的cond，cond会被拷贝到CPU上，存在wait，导致耗时较多。但在profiling report中，conditional_block中的wait会干扰分析，实际上conditional_block中计算量可忽略不计。

因此将isfinite设置在CPU上，则wait会体现在isfinite中，这样设置并不会影响原始性能。