参数高效微调 (PEFT)：LoRA 与 QLoRA 在消费级 GPU 上微调大模型

📂 所属阶段：第五阶段 — 迈向大模型 (LLM) 的阶梯
🔗 相关章节：指令微调 (Instruction Tuning) · Hugging Face 实战

1. 为什么需要 PEFT？

1.1 全量微调的问题

GPT-3（175B 参数）全量微调：
- 需要 8×80GB A100 GPU（极其昂贵）
- 每个任务都需要复制一份完整模型（存储成本高）
- 训练时间长

PEFT = Parameter-Efficient Fine-Tuning
→ 只需微调少量参数，效果媲美全量微调！
"""

2. LoRA（核心原理）

2.1 LoRA 思想

"""
LoRA = Low-Rank Adaptation

核心洞察：大模型的权重矩阵往往是"低秩"的
→ 可以用低秩矩阵近似表示参数更新

全量更新：W_new = W_old + ΔW
LoRA 更新：ΔW = B · A
         其中 B = (r, d)，A = (k, r)
         r = rank（秩），通常 4-16

举例：W_old = (d, d) = (4096, 4096)
全量更新参数量：4096 × 4096 = 16M
LoRA 更新（r=8）：(8, 4096) + (4096, 8) = 64K ← 减少 250 倍！

"""

2.2 LoRA 实现

import torch
import torch.nn as nn

class LoRALinear(nn.Module):
    def __init__(self, in_features, out_features, rank=8, alpha=16):
        super().__init__()
        self.rank = rank
        self.alpha = alpha
        self.scaling = alpha / rank

        # 可训练参数 A 和 B
        self.lora_A = nn.Parameter(torch.randn(rank, in_features) * 0.01)
        self.lora_B = nn.Parameter(torch.zeros(out_features, rank))

    def forward(self, x):
        # 原权重冻结不变
        original_output = x @ self.weight.T + self.bias

        # LoRA 增量
        lora_output = (x @ self.lora_A.T) @ self.lora_B.T
        lora_output = lora_output * self.scaling

        return original_output + lora_output

3. 使用 Hugging Face PEFT

pip install peft transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, TaskType

# 加载基础模型（Llama 3.1 8B）
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3.1-8B",
    load_in_8bit=True,  # 8 位量化，显存减半
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3.1-8B")

# LoRA 配置
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=16,                      # rank（越高越强，计算越多）
    lora_alpha=32,             # 缩放因子
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],  # 只微调 attention 层
)

# 应用 LoRA
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 8,072,282,112 || trainable%: 0.052%
# 只训练 0.05% 的参数！

# 训练（显存需求从 ~16GB → ~6GB！）
trainer = Trainer(
    model=model,
    train_dataset=train_data,
    ...
)
trainer.train()

4. QLoRA

"""
QLoRA = Quantized LoRA

核心：NF4（4位量化）+ LoRA

效果：
- 65B 参数模型可以在 48GB GPU 上微调
- 效果媲美全量 BF16 微调！

这就是为什么个人开发者也能微调大模型！
"""

from transformers import BitsAndBytesConfig

# 4 位量化配置
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=True,
)

# 加载量化模型
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Meta-Llama-3.1-8B",
    quantization_config=bnb_config,
)

5. 其他 PEFT 方法

方法原理参数量
LoRA低秩矩阵分解~0.1%
QLoRA4位量化 + LoRA~0.1%
Adapter在 Transformer 层之间插入适配器~1-5%
Prefix Tuning添加可学习的前缀 token~0.1%
Prompt Tuning仅微调软提示~0.01%

6. 小结

PEFT 三剑客：

LoRA：低秩矩阵近似更新 → 最流行
QLoRA：4位量化 + LoRA → 消费级 GPU
Adapter：插入适配器层 → 可插拔

2026 年实践：
1. 小模型（<7B）→ 全量微调或 LoRA
2. 中模型（7-70B）→ QLoRA
3. 超大模型（>70B）→ 纯推理，API 调用
"""

💡 记住：PEFT 是让大模型"平民化"的关键技术。LoRA + QLoRA 组合让任何人都能在消费级 GPU 上微调专属大模型。

🔗 扩展阅读