Created by: dashulu

我打算尝试通过nccl进行paddle的多机多卡训练，程序执行后打印出main_program时，并不像文档所说的有broadcast和reduce的op，只在startup_program中看到gen_nccl_id。 这个是为什么？