save_persistables模型保存存在内存泄露
Created by: walloollaw
使用paddle1.3 cuda9 P40或K40单机4卡训练resnet50模型,在频繁保存模型的时候 会出现内存泄露(表现为内存一直上涨)
模型保存代码如下:
fluid.io.save_persistables(exe, model_path + '/persistables', main_program=train_prog)
fluid.io.save_inference_model(
model_path + '/inference_mode', feeded_var_names=[feed_var_name],
target_vars=feas, executor=exe, main_program=test_prog)
运行环境为paddlecloud paddle1.3 P40或K40队列