From f52a188296c22c90e1f5254ac70804c7d876c53a Mon Sep 17 00:00:00 2001 From: Dong Daxiang <35550832+guru4elephant@users.noreply.github.com> Date: Tue, 30 Jul 2019 09:00:50 +0800 Subject: [PATCH] Update fleet_api_howto_cn.rst test=document_preview --- .../howto/training/fleet_api_howto_cn.rst | 30 +++++++++++++++++-- 1 file changed, 27 insertions(+), 3 deletions(-) diff --git a/doc/fluid/user_guides/howto/training/fleet_api_howto_cn.rst b/doc/fluid/user_guides/howto/training/fleet_api_howto_cn.rst index 5ceef7b11..cdd8fab07 100644 --- a/doc/fluid/user_guides/howto/training/fleet_api_howto_cn.rst +++ b/doc/fluid/user_guides/howto/training/fleet_api_howto_cn.rst @@ -43,7 +43,7 @@ Start ` "y": np.random.randint(2, size=(128, 1)).astype('int64')} 单机Trainer定义 -^^^^^^^^^^^^^^^ +>>>>>>>>>>>>>>> .. code:: python @@ -67,7 +67,7 @@ Start ` print("step%d cost=%f" % (i, cost_val[0])) Parameter Server训练方法 -^^^^^^^^^^^^^^^^^^^^^^^^ +>>>>>>>>>>>>>>> 参数服务器方法对于大规模数据,简单模型的并行训练非常适用,我们基于单机模型的定义给出其实用Parameter Server进行训练的示例如下: @@ -108,7 +108,7 @@ Server进行训练的示例如下: (fleet.worker_index(), i, cost_val[0])) Collective训练方法 -^^^^^^^^^^^^^^^^^^ +>>>>>>>>>>>>>>> collective training通常在GPU多机多卡训练中使用,一般在复杂模型的训练中比较常见,我们基于上面的单机模型定义给出使用Collective方法进行分布式训练的示例如下: @@ -144,10 +144,27 @@ training通常在GPU多机多卡训练中使用,一般在复杂模型的训练 print("worker_index: %d, step%d cost = %f" % (fleet.worker_index(), i, cost_val[0])) +更多使用示例 +------------ + +`点击率预估 <>`__ + +`语义匹配 <>`__ + +`向量学习 <>`__ + +`基于Resnet50的图像分类 <>`__ + +`基于Transformer的机器翻译 <>`__ + +`基于Bert的语义表示学习 <>`__ Fleet API相关的接口说明 ----------------------- +Fleet API接口 +>>>>>>>>>>>>>>> + - init(role\_maker=None) - fleet初始化,需要在使用fleet其他接口前先调用,用于定义多机的环境配置 - is\_worker() @@ -169,6 +186,8 @@ Fleet API相关的接口说明 - distributed\_optimizer(optimizer, strategy=None) - 分布式优化算法装饰器,用户可带入单机optimizer,并配置分布式训练策略,返回一个分布式的optimizer +RoleMaker +>>>>>>>>>>>>>>> - MPISymetricRoleMaker @@ -245,12 +264,17 @@ Fleet API相关的接口说明 server_endpoints=pserver_endpoints) fleet.init(role) +Strategy +>>>>>>>>>>>>>>> + - Parameter Server Training - Sync\_mode - Collective Training - LocalSGD - ReduceGrad +Fleet Mode +>>>>>>>>>>>>>>> - Parameter Server Training -- GitLab