Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
CSDN 技术社区
ai
chatCSDN
提交
066d5029
C
chatCSDN
项目概览
CSDN 技术社区
/
ai
/
chatCSDN
通知
107
Star
8
Fork
2
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
DevOps
流水线
流水线任务
计划
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
C
chatCSDN
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
DevOps
DevOps
流水线
流水线任务
计划
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
流水线任务
提交
Issue看板
提交
066d5029
编写于
4月 21, 2023
作者:
CSDN-Ada助手
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
add quick start
上级
8d3bb64e
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
22 addition
and
4 deletion
+22
-4
README.md
README.md
+22
-4
未找到文件。
README.md
浏览文件 @
066d5029
## ChatCSDN
ChatCSDN基于RWKV1.5B基模型
源码来源于:https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v4neo
主要是在RWKV提供的1.5B参数的基础之上,使用CSDN的问答数据和博客数据进行增量预训练,经过指令微调,得到拥有IT行业知识体系的大语言模型。
原始模型参数地址:https://huggingface.co/BlinkDL/rwkv-4-pile-1b5
微调后的模型参数地址:https://huggingface.co/zxm2023/ChatCSDN
源码来源于:https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v4neo
主要是在RWKV提供的1.5B参数的基础之上,使用CSDN的问答数据和博客数据进行增量预训练,经过指令微调,得到拥有IT行业知识体系的大语言模型。
原始模型参数地址:https://huggingface.co/BlinkDL/rwkv-4-pile-1b5
微调后的模型参数地址:https://huggingface.co/zxm2023/ChatCSDN
介绍博客地址:https://blog.csdn.net/zxm2015/article/details/130227450
## 硬件需求
训练时采用的机器配置:
内存:256G
显卡:Nvidia Quadro RTX 6000 24G
但是实际上是用不完的,推理4G显存,训练10G显存足够。同时推理也是支持CPU的,只是速度较慢。
## 快速开始
1、安装依赖
pip install -m requirements.txt
2、
[
下载模型参数
](
https://huggingface.co/zxm2023/ChatCSDN
)
3、修改chat.py,将model_path修改为下载好的模型地址替换
args.MODEL_NAME = 'model_path'
4、运行python chat.py
## 预处理数据
使用项目 https://github.com/EleutherAI/gpt-neox 提供的数据转换工具将.jsonl文件转换为.bin和.idx文件,目前已经将代码全部移植过来,放在tools文件夹中。词典使用的是20B_tokenizer.json。
jsonl文件格式示例:
...
...
@@ -91,5 +106,8 @@ python train_ppo.py --load_sft_model "./out_sft/rwkv-190.pth" --load_rm_model "
--my_qa_mask 1
```
### 协议
本仓库的代码依照
[
Apache-2.0
](
LICENSE
)
协议开源,模型参数同样需要遵循相应的开源协议。
模型受限于参数量和训练数据,可能会产生与事实相违背/有危害性的答案,因此本项目仅供学习研究使用。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录