Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
CSDN 技术社区
ai
chatCSDN
提交
95ea4cd1
C
chatCSDN
项目概览
CSDN 技术社区
/
ai
/
chatCSDN
通知
107
Star
8
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
chatCSDN
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
提交
95ea4cd1
编写于
3月 13, 2023
作者:
U
u010280923
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
opt reward model
上级
c1da839b
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
5 addition
and
5 deletion
+5
-5
src/rlhf/reward.py
src/rlhf/reward.py
+5
-5
未找到文件。
src/rlhf/reward.py
浏览文件 @
95ea4cd1
...
...
@@ -141,7 +141,7 @@ class RewardModel(pl.LightningModule):
return
bool
(
cfg
.
get
(
"offload_optimizer"
)
or
cfg
.
get
(
"offload_param"
))
return
False
def
single_
forward
(
def
forward
(
self
,
x
,
mask
=
None
,
...
...
@@ -183,21 +183,21 @@ class RewardModel(pl.LightningModule):
return
reward
def
forward
(
self
,
x_p
,
x_a
,
m_p
,
m_a
):
def
train_
forward
(
self
,
x_p
,
x_a
,
m_p
,
m_a
):
# 因为前向传播的时候,需要过两次模型。所以反馈的时候需要冻结其中一次的参数
# 不然梯度会被计算两次,在包含 deepspeed 框架下会报错
# 报错信息:Gradient computed twice for this partition.
with
torch
.
enable_grad
():
prefer_reward
=
self
.
single_
forward
(
x_p
,
prompt_mask
=
m_p
)
prefer_reward
=
self
.
forward
(
x_p
,
prompt_mask
=
m_p
)
with
torch
.
no_grad
():
alter_reward
=
self
.
single_
forward
(
x_a
,
prompt_mask
=
m_a
)
alter_reward
=
self
.
forward
(
x_a
,
prompt_mask
=
m_a
)
return
prefer_reward
,
alter_reward
def
training_step
(
self
,
batch
,
batch_idx
):
x_p
,
x_a
,
m_p
,
m_a
=
batch
prefer_reward
,
alter_reward
=
self
(
prefer_reward
,
alter_reward
=
self
.
train_forward
(
x_p
,
x_a
,
m_p
,
m_a
)
loss
=
loss_function
(
prefer_reward
,
alter_reward
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录