提交 · 6baeb2d1066b58be0f64d3f864b6e3aea0f5974d · PaddlePaddle / Paddle

17 10月, 2022 1 次提交

Support BF16 training for sharding (#46846) · 0b39b244

由 Ghost Screaming 提交于 10月 17, 2022

* Fix bug of reduce_sum op. When input.numel() > INT32_MAX, its result
is wrong.

* support pure bfloat16

* support bf16 linear

* update PR to pass CI

* tiny fix where_grad_kernel.cu

* Support bfloat16 type for reducer and sharding.

* Fix some bug.

* Polish code.

* Polise code.

* Add bfloat16 datatype in fill_grad kernels.
Co-authored-by: Nsneaxiy <sneaxiy@126.com>

0b39b244

11 10月, 2022 2 次提交
- W
  
  Support both use_calc_stream and sync_op in collective communication API (#46761) · f94edc3b
  由 Wen Sun 提交于 10月 11, 2022
  
  f94edc3b
- W
  
  Completes bfloat16 dtype for collective api in eager mode (#45844) · e4eb8d36
  由 Wen Sun 提交于 10月 11, 2022
  
  e4eb8d36
10 10月, 2022 1 次提交
- L
  
  Move group and all reduce from collective to communication (#45848) · a0dffd39
  由 LiYuRio 提交于 10月 10, 2022
  
  a0dffd39
08 10月, 2022 1 次提交
- H
  
  [Dygraph] Fix performance of pp+mp by using send/recv_calc_stream instead of send/recv (#46116) · 8c0529fd
  由 Haohongxiang 提交于 10月 08, 2022
  
  8c0529fd
30 9月, 2022 1 次提交
- W
  
  Support both use_calc_stream and sync_op in allgather API (#46295) · ecae7b31
  由 Wen Sun 提交于 9月 30, 2022
  
  ecae7b31
29 9月, 2022 1 次提交
- X
  
  fix mpi include bug (#46601) · 7057093e
  由 Xinger 提交于 9月 29, 2022
  
  7057093e
21 9月, 2022 1 次提交
- W
  
  Mpi final dev simple (#46247) · 9ce31e96
  由 wuhuachaocoding 提交于 9月 21, 2022
  
  9ce31e96
16 9月, 2022 1 次提交
- W
  
  Support both use_calc_stream and sync_op in send recv APIs (#46023) · ae00f428
  由 Wen Sun 提交于 9月 16, 2022
  
  ae00f428
07 9月, 2022 1 次提交
- L
  
  add device context getter (#45790) · b7d219be
  由 LiYuRio 提交于 9月 07, 2022
  
  b7d219be
06 9月, 2022 1 次提交
- W
  
  Completes basic dtypes for collective api in eager mode (#45574) · 7a92e74b
  由 Wen Sun 提交于 9月 06, 2022
  
  7a92e74b
01 9月, 2022 1 次提交
- S
  Lazy initialize dense_contents_ in reducer (#45631) · 196b0187
  由 sneaxiy 提交于 9月 01, 2022
```
* make dense_contents_ lazy init

* update legacy dygraph

* fix legacy dygraph bug
```
  196b0187
31 8月, 2022 1 次提交
- L
  
  add stream.all_reduce API and ProcessGroupStream (#45282) · ce4775cd
  由 LiYuRio 提交于 8月 31, 2022
  
  ce4775cd
26 8月, 2022 1 次提交
- D
  
  fix brpc update compile error; test=develop (#45438) · a5e9ccda
  由 danleifeng 提交于 8月 26, 2022
  
  a5e9ccda
25 8月, 2022 1 次提交
- D
  update brpc version to 1.2.0 (#45351) · 9b5b005e
  由 danleifeng 提交于 8月 25, 2022
```
* update brpc version;test=develop
```
  9b5b005e
22 8月, 2022 1 次提交
- R
  
  [CustomDevice] fix custom ccl (#45276) · 307ad60d
  由 ronnywang 提交于 8月 22, 2022
  
  307ad60d
12 8月, 2022 1 次提交
- L
  
  fix nccl comm in sync_bn (#45100) · 1e965756
  由 LiYuRio 提交于 8月 12, 2022
  
  1e965756
08 8月, 2022 1 次提交
- S
  
  fix memory leak (#44971) · 031debb7
  由 ShenLiang 提交于 8月 08, 2022
  
  031debb7
03 8月, 2022 1 次提交
- R
  [CustomDevice] add custom ccl 2/2 (#44650) · 80ca78a2
  由 ronnywang 提交于 8月 03, 2022
```
* [CustomDevice] add custom ccl 2/2

* update

* update

* update launch
```
  80ca78a2
01 8月, 2022 1 次提交

unify gpu context (#44740) · 86763023

由 Leo Chen 提交于 8月 01, 2022

* remove cudaDeviceContext

* remove more template

* fix rocm compile

* remove alias name CUDADeviceContext

* fix compile

* fix tests

* revert changes

86763023

29 7月, 2022 2 次提交

move CUDAStream to phi (#44529) · da3743fd

由 Leo Chen 提交于 7月 29, 2022

* init

* move CUDAStream to phi

* fix compilation

* merge develop

* add stream_owned_ member

* split cuda_stream.h

* fix cpu compile

* fix constructor

* fix bug

* fix windows compile

* fix inference test_levit

* fix windows tests

da3743fd

J

Support backward final hook (#44686) · 8c43c0fe
由 Jiabin Yang 提交于 7月 29, 2022

8c43c0fe

28 7月, 2022 1 次提交
- L
  
  Complete the dtypes for all_gather, add all_gather_object api (#44417) · d4cf02bc
  由 LiYuRio 提交于 7月 28, 2022
  
  d4cf02bc
22 7月, 2022 1 次提交
- H
  
  support send_partial, recv_partial and allgather_partial in ProcessGroupNCCL (#44444) · 18c77325
  由 Haohongxiang 提交于 7月 22, 2022
  
  18c77325
11 7月, 2022 1 次提交

[Dygraph] Support new apis in ProcessGroupNCCL (#43918) · 37216a8f

由 Haohongxiang 提交于 7月 11, 2022

* fix conflict

* new pg apis

* add docs of new apis

* update

* fix coverage

* update

* fix bug

* fix reduce scatter

* fix api

* update
Co-authored-by: NForFishes <2282912238@qq.com>

37216a8f

02 7月, 2022 1 次提交

unify cpu context, part2 (#44012) · 755438a7

由 Leo Chen 提交于 7月 02, 2022

* fix init()

* delete test_device_context

* replace CPUDeviceContext with CPUContext

* fix test_scalar

* remove dot_op.cc

* fix compile

755438a7

28 6月, 2022 2 次提交
- R
  Remove boost::variant (#43100) · b3cf28f8
  由 Ruibiao Chen 提交于 6月 28, 2022
```
* boost::variant -> paddle::variant

* boost::variant.apply_visit -> paddle::visit

* Update pybind_boost_hraders.h

* Fix CINN compilation errors

* Revert FetchResultType
```
  b3cf28f8
- Q
  
  fix compiling error when WITH_PSCORE=ON on DCU, test=develop (#43833) · 5d6bdabb
  由 Qi Li 提交于 6月 28, 2022
  
  5d6bdabb
26 6月, 2022 1 次提交
- S
  
  format all files in fluid using new config (#43776) · 576236a0
  由 Sing_chan 提交于 6月 26, 2022
  
  576236a0
13 6月, 2022 1 次提交
- S
  
  Support DCU in ProcessGroup (#43356) · c92b3805
  由 ShenLiang 提交于 6月 13, 2022
  
  c92b3805
07 6月, 2022 1 次提交
- H
  [Dygraph] Fix bugs of EagerReducer for complex control flows (#43252) · 2922985a
  由 Haohongxiang 提交于 6月 07, 2022
```
* fix bugs of reducer

* update

* update
```
  2922985a
05 6月, 2022 1 次提交
- S
  
  【code format check upgrade】 step2：clang-format (#42840) · a3730dc8
  由 Sing_chan 提交于 6月 05, 2022
  
  a3730dc8
04 6月, 2022 1 次提交
- S
  
  【code format check upgrade】 step2：cmake-format (#43057) · 92568edb
  由 Sing_chan 提交于 6月 04, 2022
  
  92568edb
28 5月, 2022 1 次提交
- S
  [Bug Fix]Fix global_scatter/global_gather in ProcessGroup (#43027) · 8cc2e28c
  由 ShenLiang 提交于 5月 28, 2022
```
* fix alltoall

* rename utest
```
  8cc2e28c
18 5月, 2022 1 次提交
- Y
  
  [collective] dynamic shape for send_v2 and recv_v2 (#42765) · 1f64c42e
  由 Yuang Liu 提交于 5月 18, 2022
  
  1f64c42e
11 5月, 2022 1 次提交
- H
  [Dygraph] Support diff batch for sparse of EagerReducer (#42646) · c5232b4b
  由 Haohongxiang 提交于 5月 11, 2022
```
* support diff batch for sparse of eagerreducer

* fix
```
  c5232b4b
06 5月, 2022 1 次提交
- L
  
  add send/recv for ProcessGroupHeter (#42318) · df113208
  由 lilong12 提交于 5月 06, 2022
  
  df113208
29 4月, 2022 1 次提交
- J
  
  Using small vector for slot and merge edge into grad_slot_meta (#42350) · 2bee99df
  由 Jiabin Yang 提交于 4月 29, 2022
  
  2bee99df
26 4月, 2022 1 次提交

fix heter_client&heter_server (#42188) · 27cb52a4

由 ziyoujiyi 提交于 4月 26, 2022

* back fl

* delete ssl cert

* .

* make warning

* .

* unittest paral degree

* solve unittest

* heter & multi cloud commm ready

* .

* .

* arm_brpc compile

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* only output is ok

* base is ok

* .

* .

* .

* .

* .

* .

* .

* .

* add switch server bin

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* adapt brpc ssl

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* .

* fix heter_server & heter_client

* .

* .

* int->int64_t

* .

27cb52a4

25 4月, 2022 1 次提交
- merge all phi kernel lib to several big static lib, reduce link command (#42185) · e52e6d01
  由 zhouweiwei2014 提交于 4月 25, 2022
```
* merge all phi lib to several big static lib

* merge all phi lib to several big static lib
```
  e52e6d01

PaddlePaddle / Paddle 大约 1 年 前同步成功

PaddlePaddle / Paddle
大约 1 年前同步成功