RLHF 人类反馈强化学习学习指南

技能文档

---
name: itsmostafa-rlhf
title: RLHF 人类反馈强化学习学习指南
category: 学术研究
description: 系统讲解基于人类反馈的强化学习（RLHF）语言模型对齐技术，覆盖偏好数据、指令微调、奖励模型、策略优化（PPO/REINFORCE）与直接对齐算法（DPO/IPO/KTO）的概念、流程与工程实践。当用户学习 RLHF、了解大模型对齐、研究奖励模型或偏好优化算法、对比 DPO 与 PPO 时触发。
---

# 理解 RLHF（基于人类反馈的强化学习）

RLHF（Reinforcement Learning from Human Feedback）是一种让语言模型与人类偏好对齐的技术。它不完全依赖下一词预测，而是利用人类判断引导模型行为，使其输出更有帮助、无害且诚实。

## 目录

- [核心概念](#核心概念)
- [RLHF 流水线](#rlhf-流水线)
- [偏好数据](#偏好数据)
- [指令微调](#指令微调)
- [奖励建模](#奖励建模)
- [策略优化](#策略优化)
- [直接对齐算法](#直接对齐算法)
- [挑战](#挑战)
- [最佳实践](#最佳实践)
- [参考资料](#参考资料)

## 技能工作流

### 步骤1：定位学习需求

判断用户当前关注 RLHF 的哪个层面：整体概念入门、某个环节（数据/奖励模型/策略优化）、算法细节（DPO/IPO/KTO）还是工程实践问题。

### 步骤2：讲解核心概念

按用户层次从下方「核心概念」「RLHF 流水线」讲起，用对照和示例解释，避免直接堆公式。

### 步骤3：按需深入参考文档

需要展开时引导阅读对应参考文档：奖励模型训练细节 → [references/reward-modeling.md](references/reward-modeling.md)；策略优化算法 → [references/policy-optimization.md](references/policy-optimization.md)；直接对齐算法对比 → [references/direct-alignment.md](references/direct-alignment.md)。

### 步骤4：结合实践答疑

结合「挑战」与「最佳实践」章节回答落地问题（如过优化、奖励破解、评测困难），并给出可操作建议。

## 核心概念

### 为什么需要 RLHF？

预训练产出的是「会预测文本」的模型，而不一定是「产出好文本」的模型。在互联网数据上训练的模型会按训练分布续写文本——其中包含有毒、无用或不诚实的模式。RLHF 通过优化人类偏好而非似然来弥合这一差距。

核心洞察：人类**识别**一个好输出，往往比**描述**什么是好输出更容易。RLHF 正是利用这一点，收集人类判断并用其塑造模型行为。

### 对齐问题

语言模型面临多个对齐挑战：

- **有用性（Helpfulness）**：遵循指令并提供有用信息
- **无害性（Harmlessness）**：避免有毒、危险或不当输出
- **诚实性（Honesty）**：承认不确定性、避免编造
- **意图对齐**：理解用户真正想要什么，而不只是字面所说

RLHF 提供了通过偏好数据编码这些属性的框架。

### 关键组件

1. **偏好数据**：人类对模型输出两两比较的判断
2. **奖励模型**：逼近人类偏好的学习函数
3. **策略优化**：最大化期望奖励的强化学习算法
4. **正则化**：防止偏离基座模型过远的约束

## RLHF 流水线

标准 RLHF 流水线包含三个主要阶段：

### 阶段1：监督微调（SFT）

从预训练语言模型出发，在高质量示范数据上微调，教会模型期望的回答格式与风格。

**输入**：预训练模型 + 示范数据集
**输出**：能遵循指令的 SFT 模型

### 阶段2：奖励模型训练

训练一个模型来预测人类对输出对的偏好。奖励模型学会给输出打分，使分数与人类判断相关。

**输入**：SFT 模型 + 偏好数据集（chosen/rejected 对）
**输出**：能给任意输出打分的奖励模型

### 阶段3：策略优化

用强化学习针对奖励模型优化 SFT 模型，同时保持接近原 SFT 分布。

**输入**：SFT 模型 + 奖励模型
**输出**：最终对齐模型

### 替代路线：直接对齐

直接对齐算法（DPO、IPO、KTO）完全跳过奖励模型，直接从偏好数据优化。这简化了流水线，但牺牲了一部分灵活性。

## 偏好数据

偏好数据编码了人类对模型输出的判断，最常见形式是两两比较。

### 成对偏好

给定提示词，收集两个或以上模型输出，由人类指出哪个更好：

```
Prompt: "解释量子纠缠"

Response A: [技术性解释]
Response B: [带类比的简单解释]

人类偏好: B > A
```

由此构成用于训练的 (prompt, chosen, rejected) 三元组。

### 收集方式

**人工标注**：训练有素的标注员按规范比较输出。最可靠，但贵且慢。

**AI 反馈**：用能力强的大模型生成偏好。更快更便宜，但可能传播偏见。这是宪法 AI（CAI）和 RLAIF 的基础。

**隐式信号**：用户交互行为，如点赞、重新生成、对话长度。噪声大但量大。

### 数据质量要点

- **标注员一致性**：一致性低说明标准模糊或偏好过于主观
- **分布覆盖**：偏好应覆盖模型行为的各种情况
- **提示多样性**：多样的提示可避免过拟合到狭窄场景
- **偏好强度**：有些比较一目了然，有些接近平手

## 指令微调

指令微调（在指令-回答对上做监督微调）是 RLHF 的地基。

### 目的

- 让模型学会遵循指令而不只是续写文本
- 确立回答的格式与风格
- 得到已表现出期望行为的起点
- 提供 KL 正则化所需的参考策略

### 数据集构成

典型的指令微调数据集包括：

- **单轮问答**：问题 + 直接回答
- **多轮对话**：多轮交流
- **任务指令**：带示例的具体任务
- **思维链**：复杂问题的推理过程

### 与 RLHF 的关系

SFT 模型定义了 RLHF 精修的「先验」。更好的 SFT 模型意味着：

- 奖励模型有更好的初始输出可比较
- 策略优化要做的工作更少
- KL 惩罚能让最终模型更贴近这条基线

## 奖励建模

奖励模型把成对偏好转化为可用于 RL 优化的标量信号。

### Bradley-Terry 模型

偏好用 Bradley-Terry 框架建模：

```
P(A > B) = sigmoid(r(A) - r(B))
```

其中 r(x) 是输出 x 的奖励。该假设下，偏好只取决于奖励差。

损失函数为：

```
L = -log(sigmoid(r(chosen) - r(rejected)))
```

它推动奖励模型给被偏好的输出打更高分。

### 架构

奖励模型通常：

- 是把语言建模头换成标量头的 SFT 模型
- 在 (prompt, chosen, rejected) 三元组上训练
- 对任意 (prompt, response) 对输出单一标量奖励

### 注意事项

- **规模**：更大的奖励模型通常产生更好的信号
- **校准**：绝对分值不如排序重要
- **泛化**：必须能给训练时未见过的输出打分
- **过优化**：策略可能利用奖励模型的弱点

详细训练流程见 [references/reward-modeling.md](references/reward-modeling.md)。

## 策略优化

策略优化用 RL 最大化期望奖励，同时保持接近参考策略。

### RLHF 目标函数

```
maximize E[R(x, y)] - β * KL(π || π_ref)
```

其中：
- R(x, y) 是提示 x 下回答 y 的奖励
- KL(π || π_ref) 度量与参考策略的偏离
- β 控制正则化强度

### PPO（近端策略优化）

PPO 是 RLHF 最常用的算法：

1. 从当前策略采样回答
2. 用奖励模型给回答打分
3. 计算优势估计
4. 用裁剪代理目标更新策略

裁剪机制防止大幅策略更新破坏训练稳定性。

### KL 正则化

KL 惩罚有多重作用：

- **防止奖励破解**：阻止策略去找奖励模型的对抗性输入
- **保持能力**：让模型贴近预训练分布
- **稳定训练**：限制每次更新的移动幅度

β 越高更新越保守；β 越低优化越激进。

### REINFORCE 与 PPO 对比

REINFORCE 更简单但方差更高：

- 使用原始回报，没有价值函数基线
- 单样本梯度估计
- 适用于较简单的问题

PPO 更复杂但更稳定：

- 裁剪代理目标
- 每个 batch 多轮更新
- 样本效率更高

算法细节见 [references/policy-optimization.md](references/policy-optimization.md)。

## 直接对齐算法

直接对齐方法无需单独训练奖励模型即可优化 RLHF 目标。

### DPO（直接偏好优化）

DPO 对 RLHF 目标做重参数化，推导出闭式损失：

```
L = -log sigmoid(β * (log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))
```

其中 y_w 是偏好回答，y_l 是被拒绝回答。

**优点**：
- 无需单独训练奖励模型
- 流程更简单、超参数更少
- 比 RL 类方法更稳定

**代价**：
- 不如显式奖励模型灵活
- 奖励模型无法复用于其他用途
- 可能对数据质量更敏感

### IPO（恒等偏好优化）

IPO 针对 DPO 的潜在过拟合，改用另一种损失形式，不再假设 Bradley-Terry 模型能完美描述偏好。

### KTO（卡尼曼-特沃斯基优化）

KTO 使用二元反馈（好/坏）而非成对比较，降低数据收集门槛。其理论基础是行为经济学的前景理论。

### 何时用直接对齐

以下情况优先直接对齐：
- 重视简单性
- 算力资源有限
- 奖励模型不需要复用

以下情况优先基于奖励的 RLHF：
- 奖励模型需另作他用（过滤、排序）
- 偏好数据集很大
- 需要最大优化灵活性

详细算法对比见 [references/direct-alignment.md](references/direct-alignment.md)。

## 挑战

### 过优化

随着优化推进，策略可能钻奖励模型的空子，而不是在真实目标上变好。症状包括：

- 奖励模型分数上升，人类评测下降
- 输出越来越啰嗦或模板化
- 讨好行为（无论对错都附和用户）

缓解手段：
- 加强 KL 正则
- 奖励模型集成
- 基于留出评测的早停

### 奖励破解

策略找到奖励模型打分高但不代表真实改进的输入：

- 长度利用（回答越长分越高）
- 风格模仿（照抄高奖励样本的模式）
- 让奖励模型失灵的对抗性输出

### 评测

对齐模型评测困难，因为：

- 人类偏好主观且依赖上下文
- 自动指标难以刻画对齐属性
- A/B 测试又贵又慢
- 模型在评测和实际部署中表现可能不一致

### 分布偏移

偏好数据来自特定的提示与回答分布。部署后模型会遇到不同输入，奖励模型可能泛化不佳。

## 最佳实践

1. **从强 SFT 模型出发**：RLHF 是精修，基座已具备期望模式时效果最好
2. **重视偏好数据质量**：进去的是垃圾，出来的也是垃圾——清晰的规范和合格的标注员很关键
3. **使用 KL 正则**：不要过度激进地优化奖励；奖励模型只是不完美的代理
4. **监控奖励破解**：把人类评测和奖励模型分数放在一起跟踪
5. **优先考虑直接对齐**：DPO 更简单，效果常与 PPO 相当
6. **迭代奖励模型**：发现弱点就改进奖励模型
7. **提示多样化**：确保偏好数据覆盖你关心的分布
8. **合理正则**：安全关键场景用高 β；能力优先训练用低 β

## 参考资料

### 参考文档

- [references/reward-modeling.md](references/reward-modeling.md) - 奖励模型训练详细流程
- [references/policy-optimization.md](references/policy-optimization.md) - RLHF 的 PPO 与策略梯度算法
- [references/direct-alignment.md](references/direct-alignment.md) - DPO、IPO、KTO 等直接方法

### 外部资源

- [RLHF Book by Nathan Lambert](https://rlhfbook.com/) - RLHF 系统性教材
- [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155) - InstructGPT 论文
- [Direct Preference Optimization](https://arxiv.org/abs/2305.18290) - DPO 论文

使用说明

# RLHF 人类反馈强化学习学习指南

系统讲解基于人类反馈的强化学习（RLHF）：从偏好数据、指令微调、奖励模型，到 PPO 策略优化与 DPO/IPO/KTO 直接对齐算法，含工程挑战与最佳实践。

## 使用

```text
讲讲 RLHF 的完整流程是什么？
```

```text
DPO 和 PPO 有什么区别？我该选哪个？
```

```text
什么是奖励破解（reward hacking）？怎么防范？
```

## 工作原理

SKILL.md 按流水线组织知识：核心概念 → 三阶段流程（SFT/奖励模型/策略优化）→ 挑战与最佳实践；深入细节时查阅三个参考文档：`references/reward-modeling.md`（奖励模型训练）、`references/policy-optimization.md`（PPO 与策略梯度）、`references/direct-alignment.md`（直接对齐算法对比）。

如何安装此技能？

访问技能市场，点击「安装」按钮，按提示将技能包放入 AI 编程助手的 skills 目录即可。