1. 16 6月, 2023 1 次提交
  2. 14 6月, 2023 1 次提交
    • P
      support sharding stage1 (#54069) · 974676bc
      pangengzheng 提交于
      * support sharding stage1
      
      * fix unittest
      
      * format
      
      * pass sharded sharding params_and_grads to inner_opt apply_pptimize
      
      * change sharding gradient allreduce to reduce
      
      * support save state_dict adptively and support sharding with mp
      
      * fix sharding test
      
      * test set_state_dict
      
      * add more unit test
      
      * fix global norm of mp case
      
      * polish
      
      * hack to calculate global norm in order to remove diff in calculating global norm values in HybridParallelClipGrad compared to dp
      
      * remove print
      974676bc
  3. 13 6月, 2023 3 次提交
  4. 08 6月, 2023 5 次提交
  5. 05 6月, 2023 1 次提交
  6. 01 6月, 2023 1 次提交
  7. 29 5月, 2023 1 次提交
  8. 26 5月, 2023 1 次提交
  9. 23 5月, 2023 3 次提交
  10. 22 5月, 2023 2 次提交
  11. 20 5月, 2023 1 次提交
  12. 19 5月, 2023 2 次提交
  13. 15 5月, 2023 3 次提交
  14. 14 5月, 2023 2 次提交
  15. 12 5月, 2023 2 次提交
  16. 11 5月, 2023 1 次提交
  17. 29 4月, 2023 1 次提交
  18. 28 4月, 2023 1 次提交
  19. 27 4月, 2023 3 次提交
  20. 26 4月, 2023 4 次提交
  21. 25 4月, 2023 1 次提交