• ChatGLM-Tuning
• • S1 Finetune
  • • 准备
    • 数据预处理
    • 训练
    • 推理
• TODO:

ChatGLM-Tuning

一种平价的chatgpt实现方案，基于清华的 ChatGLM-6B + LoRA 进行finetune.

数据集: alpaca

官方ptuning代码

S1 Finetune

准备

• 显卡: 显存 >= 16G (最好24G或者以上)
• 环境：
• • python>=3.8
• • cuda>=11.6, cupti, cuDNN, TensorRT等深度学习环境
• • pip3 install -r requirements.txt

数据预处理

tokenization

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 200 \ 
    --skip_overlength

• --jsonl_path 微调的数据路径, 格式jsonl, 对每行的['context']和['target']字段进行encode
• --save_path 输出路径
• --max_seq_length 样本的最大长度

训练

python finetune.py \
    --dataset_path data/alpaca \
    --lora_rank 8 \
    --per_device_train_batch_size 6 \
    --gradient_accumulation_steps 1 \
    --max_steps 52000 \
    --save_steps 1000 \
    --save_total_limit 2 \
    --learning_rate 1e-4 \
    --fp16 \
    --remove_unused_columns false \
    --logging_steps 50 \
    --output_dir output

推理

参考 infer.ipynb

Finetune前后对比

利用Alpaca数据集合对ChatGLM-6B Finetune后，在Alpaca数据集上表现得更好:

• Answer: 是模型的输出
• #### Answer: 是原答案
  

TODO:

• bs > 1 support
• 使用中文数据
• 加入RLHF