Created by: MrChengmo

PR types

New features,Bug fixes

PR changes

Others

Describe

• 支持fleetrun运行ps-gpu模式
• 支持fleetrun运行ps-heter模式
• 修复ps-heter 若干bug
• 修复ps-heter的模型保存

任务启动示例

# ps-gpu模式（默认启动2Pserver + 2Trainer模式）
fleetrun -distributed_mode=ps_gpu train.py

# ps-heter模式（默认启动2Pserver + 2CPU-Trainer + 2Heter-Tainer gpu模式）
fleetrun -distributed_mode=ps_heter train.py

# 自定义ps-heter模式
fleetrun -disributed_mode=ps_heter --worker_num=4 --server_num=4 --heter_worker_num=4 --heter_worker_device=gpu train.py