Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
weixin_40195168达庆意
Python专题
提交
340c3bac
Python专题
项目概览
weixin_40195168达庆意
/
Python专题
与 Fork 源项目一致
Fork自
GitCode官方 / Python专题
通知
2
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
Python专题
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
体验新版 GitCode,发现更多精彩内容 >>
提交
340c3bac
编写于
5月 28, 2021
作者:
M
MaoXianxin
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
删除2篇OneFlow文章
上级
46a2f946
变更
3
隐藏空白更改
内联
并排
Showing
3 changed file
with
0 addition
and
120 deletion
+0
-120
OneFlow/OneFlow深度学习框架交流群讨论精选(一)-2020-07-27.md
OneFlow/OneFlow深度学习框架交流群讨论精选(一)-2020-07-27.md
+0
-60
OneFlow/OneFlow深度学习框架交流群讨论精选(二)-2020-07-28.md
OneFlow/OneFlow深度学习框架交流群讨论精选(二)-2020-07-28.md
+0
-56
README.md
README.md
+0
-4
未找到文件。
OneFlow/OneFlow深度学习框架交流群讨论精选(一)-2020-07-27.md
已删除
100644 → 0
浏览文件 @
46a2f946
OneFlow 即将开源,“OneFlow 深度学习框架微信交流群”中已经聚集了一大群深度学习理论研究者、工程实践者、知识精英,在OneFlow 开源前讨论对 OneFlow 的期待,以及深度学习框架的未来趋势。
不少讨论的技术话题我们认为很有价值,我们选择其中有代表性的展示给未能参与讨论的朋友们。
以下内容摘录自2020.7.25OneFlow深度学习框架交流群。
![](
./imgs/1.jpg
)
**太长不看版本**
举个例子,整个神经网络有的层次在一组卡上,另外一些层次在另一组卡上,两组卡以接力的方式协同工作。谷歌有一篇文章 gpipe。是分多个阶段,在设备之间流水执行。
OneFlow团队通过理论分析证明了在某些特定场景下,流水并行是最优选择,并在OneFlow中应用。
**讨论过程:**
<img
src=
"./imgs/2.jpg"
style=
"zoom: 67%;"
/>
![](
./imgs/3.jpg
)
**太长不看版本**
模型并行的难度主要在于将模型切分到具体的物理设备上,编程和调试难度都较高,其次模型并行中高效率地实现也很难。
TensorFlow和Pytorch因为历史包袱的原因,在已有框架下做模型并行,较难有优雅且高效的实现。
个别后发的厂商,提出了自己的方案解决模型并行问题,包括OneFlow。
**讨论过程:**
<img
src=
"./imgs/4.jpg"
style=
"zoom:67%;"
/>
![](
./imgs/5.jpg
)
**太长不看版本**
虽然有越来越多的超大规模模型面世,但是不能断定大模型是趋势。已有框架对大规模模型问题的支持并不理想,往往需要定制框架。OneFlow 想从框架级别解决这类问题,并且认为解决问题的过程中积累的经验,对于非大规模模型问题,也是有益的。
想从软件角度解决深度学习的算力问题,让大量“一般”的芯片协同起来像一个“超级芯片”那样工作,让分布式训练中的“核武器”平民化。
**讨论过程:**
(有人举了BERT、GPT等大模型例子)
<img
src=
"./imgs/6.jpg"
style=
"zoom:67%;"
/>
![](
./imgs/7.jpg
)
**太长不看版本**
为了方便用户从其它框架到OneFlow的转入转出。OneFlow支持onxx,在一些固定结构的模型上可以直接转化,相关工作还在持续开发。
OneFlow在开源同时,开放的Model Zoo中会包括一些常见的模型,它们与pytorch、tensorflow均已对齐。预训练模型也会逐步完善。
与其它框架对标的常见op均已提供,部分少见的op也在完善,并且可以让用户自定义op。
**讨论过程:**
<img
src=
"./imgs/8.jpg"
style=
"zoom:67%;"
/>
\ No newline at end of file
OneFlow/OneFlow深度学习框架交流群讨论精选(二)-2020-07-28.md
已删除
100644 → 0
浏览文件 @
46a2f946
距离志在引领下一代深度学习框架的 OneFlow 开源的时间越来越近了,群中资深票友的讨论也依然精彩。今天整理的群讨论,包括了OneFlow 分布式训练易用性、OneFlow 通讯库、OneFlow文档建设及对深度学习编译器等话题。
以下内容摘录自2020.7.27OneFlow深度学习框架交流群。
![](
./imgs/9.jpg
)
**太长不看版本**
OneFlow 为单卡、单机多卡、多机多卡提供了一样的视角,从单卡程序变为分布式程序,只需要做很简单的几行代码配置,其它代码都一样。
**讨论过程:**
![](
./imgs/10.jpg
)
![](
./imgs/11.jpg
)
**太长不看版本**
OneFlow基于RDMA自研了一套通讯库,相当于在RDMA的基础上实现了nccl的功能,这对于自研芯片的厂商可能更友好。OneFlow可以使用nccl通信。
OneFlow 的通讯模块会随着OneFlow整个框架一起开源。
**讨论过程:**
![](
./imgs/12.jpg
)
![](
./imgs/13.jpg
)
**太长不看版本**
OneFlow会随开源提供快速入门的教程和一些常用的模型库。与tf等完备框架比OneFlow 的文档可能还不够完善,会尽快推进完备起来。OneFlow的文档会有中英两个版本。
**讨论过程:**
![](
./imgs/14.jpg
)
![](
./imgs/15.jpg
)
**太长不看版本**
OneFlow 实现了动态图与静态图两套机制,对于动态图做了很多优化,理论上效率和静态图的效率差不多。完成的测试结果会在后续公布。
**讨论过程:**
![](
./imgs/16.jpg
)
![](
./imgs/17.jpg
)
**太长不看版本**
OneFlow已经支持xla、openvino、tensorrt for training多种深度学习编译器,tvm的支持也正在推进。
**讨论过程:**
![](
./imgs/18.jpg
)
\ No newline at end of file
README.md
浏览文件 @
340c3bac
...
...
@@ -14,10 +14,6 @@
### 2021-05-26
[
OneFlow深度学习框架交流群讨论精选(二)-2020-07-28
](
./OneFlow/OneFlow深度学习框架交流群讨论精选(二
)
-2020-07-28.md)
[
OneFlow深度学习框架交流群讨论精选(一)-2020-07-27
](
./OneFlow/OneFlow深度学习框架交流群讨论精选(一
)
-2020-07-27.md)
[
TensorFlow和PyTorch迎来了后浪-2020-08-02
](
./OneFlow/TensorFlow和PyTorch迎来了后浪-2020-08-02.md
)
### 2021-05-25
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录