Skip to content

Commit 4426047

Browse files
add new chatglm-v2-6b
1 parent 21692b1 commit 4426047

File tree

4 files changed

+14
-7
lines changed

4 files changed

+14
-7
lines changed

README.md

Lines changed: 4 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -12,7 +12,8 @@
1212
5. 🚀`多卡串联`
1313
:当前,多数的大模型的尺寸已经远远大于单个消费级显卡的显存,需要将多个显卡串联,才能训练大模型、才能部署大模型。因此对部分模型结构进行修改,实现了`训练时``推理时`
1414
的多卡串联功能。
15-
6. ⚙️`模型工具`:添加了大模型的`词表裁切``词表扩充`教程[model_modify](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_modify)
15+
6. ⚙️`模型工具`:添加了大模型的`词表裁切``词表扩充`
16+
教程[model_modify](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_modify)
1617

1718
## 目录
1819

@@ -53,12 +54,13 @@
5354
| 中文`clip` | [chinese_clip](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_clip) |||| ☑️ ||
5455
| 图像生成中文文本 | [VisionEncoderDecoderModel](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/vit-gpt2-image-chinese-captioning) |||| ☑️ ||
5556
| vit核心源码介绍 | [vit model](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/vit) | ☑️ | ☑️ | ☑️ | ☑️ ||
56-
| `Thu-ChatGlm-6b` | [simple_thu_chatglm6b](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/simple_thu_chatglm6b) ||||| ☑️ |
57+
| `Thu-ChatGlm-6b`(`v1`版本 作废) | [simple_thu_chatglm6b](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/simple_thu_chatglm6b) ||||| ☑️ |
5758
| 中文`dolly_v2_3b` | [dolly_v2_3b](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_dolly_v2_3b) |||| ☑️ | ☑️ |
5859
| 中文`llama`(作废) | [chinese_llama](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_llama) |||| ☑️ | ☑️ |
5960
| 中文`bloom` | [chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom) |||| ☑️ | ☑️ |
6061
| 中文`falcon`(注意:falcon模型和bloom结构类似) | [chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom) |||| ☑️ | ☑️ |
6162
| 中文**预训练**代码 | [model_clm](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_clm) |||| ☑️ | ☑️ |
63+
| 🌟chatglm-`v2`-6b🎉 | [chatglm_v2_6b_lora](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora) |||| ☑️ | ☑️ |
6264

6365
<details><summary><b>数据流程图解</b></summary>
6466

File renamed without changes.

chatglm_v2_6b_lora/readme.md

Lines changed: 8 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -3,10 +3,10 @@
33
2. 之前就给`v1`版本做过lora,在智谱AI宣布`v2`可以商用后,打算给`v2`也做一版lora;
44
3. 基于`v2`[官网代码](https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning),做了简单修改;
55

6-
## 更新记录
6+
## 📝 更新记录
77
1. **07-14 版本** `chatglm-v2-6b`模型的`lora`训练方案🔗👉[**chatglm_v2_6b_lora**](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora)
88

9-
# 训练
9+
# 🔄 训练
1010

1111
## 使用vscode调试
1212
1. 这个已经写好了,就在`.vscode/launch.json`里面;
@@ -15,5 +15,9 @@
1515

1616
1. `sh train.sh`
1717

18-
# 推理
19-
1. 使用文件:infer.ipynb
18+
# 🚜 推理
19+
1. 使用文件:`infer_lora.ipynb`
20+
21+
22+
# 😱 血的教训
23+
1. 一定要从`huggingface`上把[`chatglm-v2-6b`的所有文件](https://huggingface.co/THUDM/chatglm2-6b/tree/main)都下载下来,放在一个文件夹下;这样即使他更新了,也不会影响到你。如果你不下载,你会很被动😒

simple_thu_chatglm6b/readme.md

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,6 @@
11
# 🚀 最简单、最便宜的训练`thu-chatglm-6b`模型教程 🎯
2-
# 🎉 **07-14 版本** `chatglm-v2-6b`模型的`lora`训练方案🔗👉[**chatglm_v2_6b_lora**](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora)
2+
1. `v2`版本现在已经开源并且可以商用,那么`v1`版本可以作废了
3+
2. 🎉 **07-14 版本** `chatglm-v2-6b`模型的`lora`训练方案🔗👉[**chatglm_v2_6b_lora**](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chatglm_v2_6b_lora)
34

45

56

0 commit comments

Comments
 (0)