File tree Expand file tree Collapse file tree 4 files changed +14
-7
lines changed Expand file tree Collapse file tree 4 files changed +14
-7
lines changed Original file line number Diff line number Diff line change 12
12
5 . 🚀` 多卡串联 `
13
13
:当前,多数的大模型的尺寸已经远远大于单个消费级显卡的显存,需要将多个显卡串联,才能训练大模型、才能部署大模型。因此对部分模型结构进行修改,实现了` 训练时 ` 、` 推理时 `
14
14
的多卡串联功能。
15
- 6 . ⚙️` 模型工具 ` :添加了大模型的` 词表裁切 ` 和` 词表扩充 ` 教程[ model_modify] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_modify )
15
+ 6 . ⚙️` 模型工具 ` :添加了大模型的` 词表裁切 ` 和` 词表扩充 `
16
+ 教程[ model_modify] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_modify )
16
17
17
18
## 目录
18
19
53
54
| 中文` clip ` | [ chinese_clip] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_clip ) | ✅ | ✅ | ✅ | ☑️ | ✅ |
54
55
| 图像生成中文文本 | [ VisionEncoderDecoderModel] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/vit-gpt2-image-chinese-captioning ) | ✅ | ✅ | ✅ | ☑️ | ✅ |
55
56
| vit核心源码介绍 | [ vit model] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/vit ) | ☑️ | ☑️ | ☑️ | ☑️ | ✅ |
56
- | ` Thu-ChatGlm-6b ` | [ simple_thu_chatglm6b] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/simple_thu_chatglm6b ) | ✅ | ✅ | ✅ | ✅ | ☑️ |
57
+ | ` Thu-ChatGlm-6b ` ( ` v1 ` 版本 作废) | [ simple_thu_chatglm6b] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/simple_thu_chatglm6b ) | ✅ | ✅ | ✅ | ✅ | ☑️ |
57
58
| 中文` dolly_v2_3b ` | [ dolly_v2_3b] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_dolly_v2_3b ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
58
59
| 中文` llama ` (作废) | [ chinese_llama] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_llama ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
59
60
| 中文` bloom ` | [ chinese_bloom] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
60
61
| 中文` falcon ` (注意:falcon模型和bloom结构类似) | [ chinese_bloom] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
61
62
| 中文** 预训练** 代码 | [ model_clm] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_clm ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
63
+ | 🌟chatglm-` v2 ` -6b🎉 | [ chatglm_v2_6b_lora] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora ) | ✅ | ✅ | ✅ | ☑️ | ☑️ |
62
64
63
65
<details ><summary ><b >数据流程图解</b ></summary >
64
66
File renamed without changes.
Original file line number Diff line number Diff line change 3
3
2 . 之前就给` v1 ` 版本做过lora,在智谱AI宣布` v2 ` 可以商用后,打算给` v2 ` 也做一版lora;
4
4
3 . 基于` v2 ` 的[ 官网代码] ( https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning ) ,做了简单修改;
5
5
6
- ## 更新记录
6
+ ## 📝 更新记录
7
7
1 . ** 07-14 版本** ` chatglm-v2-6b ` 模型的` lora ` 训练方案🔗👉[ ** chatglm_v2_6b_lora** ] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora )
8
8
9
- # 训练
9
+ # 🔄 训练
10
10
11
11
## 使用vscode调试
12
12
1 . 这个已经写好了,就在` .vscode/launch.json ` 里面;
15
15
16
16
1 . ` sh train.sh `
17
17
18
- # 推理
19
- 1 . 使用文件:infer.ipynb
18
+ # 🚜 推理
19
+ 1 . 使用文件:` infer_lora.ipynb `
20
+
21
+
22
+ # 😱 血的教训
23
+ 1 . 一定要从` huggingface ` 上把[ ` chatglm-v2-6b ` 的所有文件] ( https://huggingface.co/THUDM/chatglm2-6b/tree/main ) 都下载下来,放在一个文件夹下;这样即使他更新了,也不会影响到你。如果你不下载,你会很被动😒
Original file line number Diff line number Diff line change 1
1
# 🚀 最简单、最便宜的训练` thu-chatglm-6b ` 模型教程 🎯
2
- # 🎉 ** 07-14 版本** ` chatglm-v2-6b ` 模型的` lora ` 训练方案🔗👉[ ** chatglm_v2_6b_lora** ] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora )
2
+ 1 . ` v2 ` 版本现在已经开源并且可以商用,那么` v1 ` 版本可以作废了
3
+ 2 . 🎉 ** 07-14 版本** ` chatglm-v2-6b ` 模型的` lora ` 训练方案🔗👉[ ** chatglm_v2_6b_lora** ] ( https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora )
3
4
4
5
5
6
You can’t perform that action at this time.
0 commit comments