Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
BaiXuePrincess
Paddle
提交
5f2c5b9e
P
Paddle
项目概览
BaiXuePrincess
/
Paddle
与 Fork 源项目一致
Fork自
PaddlePaddle / Paddle
通知
1
Star
1
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
Paddle
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
5f2c5b9e
编写于
4月 13, 2022
作者:
R
Roc
提交者:
GitHub
4月 13, 2022
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix moe apis (#41650)
上级
d95280c7
变更
2
显示空白变更内容
内联
并排
Showing
2 changed file
with
3 addition
and
2 deletion
+3
-2
python/paddle/incubate/distributed/models/moe/gate/gshard_gate.py
...addle/incubate/distributed/models/moe/gate/gshard_gate.py
+1
-1
python/paddle/incubate/distributed/models/moe/utils.py
python/paddle/incubate/distributed/models/moe/utils.py
+2
-1
未找到文件。
python/paddle/incubate/distributed/models/moe/gate/gshard_gate.py
浏览文件 @
5f2c5b9e
...
@@ -62,6 +62,6 @@ class GShardGate(NaiveGate):
...
@@ -62,6 +62,6 @@ class GShardGate(NaiveGate):
if
self
.
random_routing
:
if
self
.
random_routing
:
rand_routing_prob
=
paddle
.
rand
(
rand_routing_prob
=
paddle
.
rand
(
shape
=
[
gate_score
.
shape
[
0
]],
dtype
=
"float32"
)
shape
=
[
gate_score
.
shape
[
0
]],
dtype
=
"float32"
)
topk_idx
=
paddle
.
distributed
.
utils
.
random_routing
(
topk_idx
=
paddle
.
distributed
.
models
.
moe
.
utils
.
_
random_routing
(
topk_idx
,
topk_val
,
rand_routing_prob
)
topk_idx
,
topk_val
,
rand_routing_prob
)
return
topk_val
,
topk_idx
return
topk_val
,
topk_idx
python/paddle/incubate/distributed/models/moe/utils.py
浏览文件 @
5f2c5b9e
...
@@ -11,7 +11,8 @@
...
@@ -11,7 +11,8 @@
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# See the License for the specific language governing permissions and
# limitations under the License.
# limitations under the License.
from
paddle.distributed.models.moe.utils
import
*
from
paddle.distributed.models.moe.utils
import
_number_count
,
_limit_by_capacity
,
_prune_gate_by_capacity
,
_assign_pos
import
paddle
def
_alltoall
(
in_tensor_list
,
group
=
None
,
use_calc_stream
=
True
):
def
_alltoall
(
in_tensor_list
,
group
=
None
,
use_calc_stream
=
True
):
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录