1. 全量微调（Full Fine-tuning）
核心原理
- 定义：更新模型所有参数，使其完全适应新任务。
- 目标：最大化模型在特定任务上的性能，但计算成本高。
- 适用场景：任务与预训练目标差异大（如从语言生成转向文本分类）。
微调步骤
1. 数据准备：
收集与任务相关的标注数据集。预处理：清洗、分词、编码（如tokenization）。
2. 模型加载：
加载预训练模型（如BERT、GPT）及其权重。
3. 参数配置：
设置超参数：学习率（如1e-5）、批大小（batch size）、训练轮次（epochs）。
4. 微调训练：
使用标注数据进行端到端训练。
优化器（如AdamW）最小化任务损失（如交叉熵损失）。
5. 评估与调优：
在验证集上评估性能（如准确率、F1-score）。
调整超参数（如学习率衰减、早停策略）。
6. 部署：
保存最优模型，用于推理。
2. 冻结层微调（Frozen Layers Fine-tuning）
核心原理
- 定义：仅更新模型顶层参数，冻结底层参数。
- 目标：保留预训练底层特征，减少过拟合风险。
- 适用场景：任务与预训练任务相似（如文本分类与语言模型预训练）。
微调步骤
1. 模型加载：
加载预训练模型，冻结底层（如前几层Transformer层）。
2. 添加新层：
在顶层添加任务专用层（如全连接层、分类头）。
3. 参数配置：
设置学习率（通常比全量微调低）。
4. 训练：
仅优化顶层参数，底层参数保持不变。
5. 评估与调优：
监控验证集性能，调整顶层结构或学习率。
3. LoRA（Low-Rank Adaptation）
核心原理
- 定义：通过低秩分解模拟参数变化，仅更新少量低秩矩阵。
- 数学原理：参数更新公式为 Wnew=Wbase+ΔWWnew=Wbase+ΔW，其中 ΔW=A⋅BΔW=A⋅B，AA 和 BB 是低秩矩阵。
- 目标：在保持模型性能的同时，减少参数更新量。
微调步骤
1. 选择权重矩阵：
选择关键层（如Transformer的注意力层、前馈层）的权重矩阵 WW。
2. 初始化低秩矩阵：
定义低秩秩数 rr（如r=8）。
初始化低秩矩阵 A∈Rd×rA∈Rd×r 和 B∈Rr×dB∈Rr×d。
3. 计算低秩更新：
计算 ΔW=A⋅BΔW=A⋅B。
4. 结合原始权重：
更新后的权重为 Wnew=Wbase+ΔWWnew=Wbase+ΔW。
5. 训练：
仅优化 AA 和 BB，冻结原始权重 WbaseWbase。
6. 评估：
测试微调后的模型性能。
4. Prefix Tuning（前缀微调）
核心原理
- 定义：引入任务特定的前缀向量，与输入拼接后输入模型。
- 目标：通过前缀引导模型生成，减少参数更新量。
- 变体：P-tuning v2 使用离散词嵌入表示前缀。
微调步骤
1. 生成前缀向量：
定义固定长度的前缀（如100个词元）。
初始化前缀向量 P∈RL×dP∈RL×d（LL为长度，dd为隐藏维度）。
2. 拼接输入：
将前缀 PP 与输入序列 XX 拼接：[P;X][P;X]。
3. 训练：
仅优化前缀参数 PP，冻结模型其他参数。
4. 推理：
使用优化后的前缀生成任务相关输出。
5. RLHF（人类反馈强化学习）
核心原理
- 定义：结合监督微调（SFT）和强化学习，通过人类偏好优化模型输出。
- 目标：使模型输出符合人类价值观（如对话系统、内容生成）。
微调步骤
1. 监督微调（SFT）阶段：
使用标注数据（输入-输出对）训练模型。
2. 奖励模型（Reward Model）训练：
收集人类偏好数据（如“输出A比输出B更好”）。训练奖励模型，预测输出质量。
3. 强化学习（RL）阶段：
使用策略梯度方法最大化奖励模型的评分。
4. 迭代优化：
重复SFT和RL阶段，逐步提升模型输出质量。
6. Adapter（适配器微调）
核心原理
- 定义：在模型层间插入轻量级适配器模块。
- 结构：典型适配器包含两个全连接层（瓶颈结构），如 x→Linear1→ReLU→Linear2x→Linear1→ReLU→Linear2。
- 目标：通过适配器学习任务特定特征。
微调步骤
1. 插入适配器：
在每层的注意力层和前馈层后插入适配器。
2. 初始化适配器参数：
随机初始化适配器权重。
3. 训练：
仅优化适配器参数，冻结模型其他参数。
4. 合并输出：
适配器输出与原始层输出相加（残差连接）。
7. QLoRA（量化+LoRA）
核心原理
- 定义：结合模型量化（如4-bit量化）和LoRA，降低显存和计算成本。
- 目标：在边缘设备部署超大规模模型。
微调步骤
1. 模型量化：
使用量化工具（如LLM.Q、Hugging Face的bitsandbytes）将模型权重压缩为4-bit。
2. LoRA插入：
在量化模型中插入低秩矩阵 AA 和 BB。
3. 训练：
仅优化低秩矩阵，冻结量化后的原始权重。
4. 推理加速：
量化后的模型在推理时占用更少显存。
8. UPFT（无监督前缀微调）
核心原理
- 定义：通过初始词元（前缀）引导推理，无需标注数据。
- 目标：利用“前缀自洽性”减少对标注数据的依赖。
微调步骤
1. 设计前缀：
选择与任务相关的初始词元（如“解决数学问题：”）。
2. 生成约束：
限制模型仅生成前缀后的词元，确保输出格式正确。
3. 无监督训练：
通过最大化前缀与后续生成内容的连贯性优化模型。
4. 推理：
使用优化后的前缀生成任务相关输出。
9. 量化微调（Quantization-aware Fine-tuning）
核心原理
- 定义：在量化过程中保留模型性能，通过微调优化低精度模型。
- 目标：平衡精度与资源消耗。
微调步骤
1. 模型量化：
使用工具（如TensorRT、DeepSpeed）将模型量化为低精度（如FP16、INT8）。
2. 微调配置：
设置量化感知训练参数（如动态范围调整）。
3. 训练：
在量化模型上进行微调，优化低精度参数。
4. 部署：
量化后的模型在边缘设备上运行更快。
10. Hugging Face PEFT 工具库
核心原理
- 定义：集成多种参数高效微调方法（如LoRA、Adapter、Prefix Tuning）。
- 目标：提供统一接口简化微调流程。
微调步骤（以LoRA为例）
1. 安装PEFT库：
pip install transformers peft2. 配置模型与适配器：
from peft import LoraConfig, get_peft_model
model = AutoModel.from_pretrained("bert-base-uncased")
lora_config = LoraConfig(
r=8, # 低秩秩数
lora_alpha=16,
target_modules=["query", "key", "value"],
lora_dropout=0.1,
)
model = get_peft_model(model, lora_config)3. 训练循环：
from transformers import Trainer, TrainingArguments
training_args = TrainingArguments(
output_dir="./results",
learning_rate=1e-3,
per_device_train_batch_size=4,
num_train_epochs=3,
)
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=val_dataset,
)
trainer.train()总结对比表
滇公网安备53230102000530号
统一社会信用代码：91532300MAC2D0R706
