股票配资合作从零学习大模型（10）——从 SFT 到 RLHF：大模型如何学会 “符合人类期待”？

监督微调（SFT）让大模型能 “听懂指令”股票配资合作，但要让模型 “说的话符合人类偏好”—— 比如回答更礼貌、推理更严谨、拒绝有害请求，还需要人类反馈强化学习（RLHF）。这种从 “能做” 到 “做好” 的跨越，正是对齐技术（Aligning）的核心目标。RLHF 并非简单的 “二次训练”，而是通过人类反馈构建 “奖励信号”，让模型在试错中学会贴近人类价值观。

SFT 的局限在于它只能学到 “正确的响应”，却无法理解 “更好的响应”。比如面对 “推荐一部电影” 的指令，SFT 能生成 “推荐《流浪地球》” 这样符合语法的回答，但无法判断人类更偏好 “带剧情简介的推荐” 还是 “带上映时间的推荐”；面对敏感问题，SFT 可能生成 “技术上可行” 的回答，却意识不到需要 “拒绝回应”。这些主观偏好、安全边界、风格选择，恰恰是人类交流的核心 —— 而 RLHF 的价值，就是让模型在这些 “模糊地带” 做出符合人类期待的选择。

SFT 与 RLHF 的本质区别在于学习目标：SFT 是 “模仿已知正确答案”，用标注好的 “指令 – 响应” 对直接调整模型参数，就像学生背诵标准答案；RLHF 则是 “通过反馈优化行为”，先让模型生成多个候选答案，再根据人类对答案的排序或评分构建奖励，最后用强化学习让模型朝着高奖励方向调整，类似老师通过批改作业引导学生进步。这种差异让 RLHF 能处理 SFT 无法覆盖的场景：当没有 “唯一正确答案” 时（如创意写作、对话风格），RLHF 能通过偏好反馈找到 “更优解”。

OpenAI 的 RLHF 流程：三步实现 “人类偏好对齐”

OpenAI 的 RLHF 框架分为三个紧密衔接的阶段，形成 “生成 – 反馈 – 优化” 的闭环。这一流程就像训练宠物：先教它基础动作（SFT），再告诉它哪些动作受表扬（奖励模型），最后通过奖励让它主动重复好动作（PPO）。

第一阶段是监督微调（SFT）。研究人员先用高质量人工标注数据（如 “用户问‘地球为什么是圆的’，对应回答‘因为引力作用’”）训练模型，让它掌握基础的指令遵循能力。这一步生成的 “初始策略模型” 能输出符合语义的响应，但可能在风格、安全性上存在缺陷 —— 比如回答正确但语气生硬，或在模糊问题上给出武断结论。

第二阶段是训练奖励模型（RM）。这一步的核心是将 “人类偏好” 转化为可计算的 “奖励信号”。研究人员让 SFT 模型对同一个问题生成多个不同回答（比如对 “推荐电影” 生成 3 个不同风格的答案），再让人类标注者对这些回答排序（如 “带剧情简介的回答＞只给片名的回答＞无关推荐”）。奖励模型通过学习这些排序数据，学会给 “人类更偏好” 的回答打高分（比如 1-10 分），给不合适的回答打低分。最终，奖励模型能像 “自动裁判” 一样，对任意回答快速给出质量评分，避免了后续优化依赖人工标注的低效问题。

第三阶段是用 PPO 算法优化策略模型。这一步中，策略模型（需要优化的模型）生成回答后，由奖励模型打分作为 “奖励”，强化学习算法（PPO）根据奖励调整模型参数 —— 让高奖励回答的生成概率增加，低奖励回答的概率降低。为了避免模型 “投机取巧”（比如生成无意义但高分的套话），流程中还会引入 “参考模型”（通常是 SFT 模型），通过计算当前模型与参考模型的输出差异（KL 散度），给过度偏离基础能力的生成加惩罚。这种 “奖励 + 惩罚” 的机制，保证模型在优化偏好的同时，不丢失 SFT 阶段学到的基础能力。

整个流程中，三个核心模型协同工作：策略模型负责 “生成回答”，奖励模型负责 “判断好坏”，参考模型负责 “守住底线”。通过多轮迭代，模型逐渐学会在保持正确性的同时，贴合人类对 “友好度”“安全性”“有用性” 的期待。

RLAIF 与 ReFT：降低 RLHF 成本的创新方向

RLHF 的效果依赖高质量人类反馈，但人工标注成本极高 —— 训练一个奖励模型可能需要数万条排序数据，且专业领域（如医疗、法律）的标注需要专家参与。为解决这一问题，研究人员开发了 RLAIF 和 ReFT 等替代方案。

RLAIF（AI 反馈强化学习）用大模型替代人类生成偏好数据。具体来说，先用强模型（如 GPT-4）对普通模型的输出进行评分或排序 —— 比如让 GPT-4 判断 “两个医疗回答哪个更符合临床规范”，再用这些 AI 生成的偏好数据训练奖励模型。这种方法的优势是成本低、规模大，尤其适合需要大量数据的场景。实验显示，在安全性对齐任务中，RLAIF 生成的奖励模型性能接近人类标注的模型，且能避免人类标注中的主观偏差（如不同标注者对 “礼貌” 的定义差异）。

ReFT（强化微调）则简化了 RLHF 的流程，直接用偏好数据微调模型，跳过单独的奖励模型训练。它的核心思路是：将人类偏好编码到模型参数中，而非通过强化学习的奖励信号间接调整。例如，给模型输入 “用户问‘如何减肥’，好回答是‘控制饮食 + 运动’，差回答是‘节食’”，让模型在训练中直接学习 “好回答” 的模式。ReFT 在数据量较少时效率更高，适合快速适配特定场景（如企业客服的语气调整），但泛化能力弱于完整的 RLHF。

DPO：跳过奖励模型的高效对齐方法

PPO 是 RLHF 的经典算法，但需要训练奖励模型和策略模型，计算成本高且流程复杂。DPO（直接偏好优化）的出现打破了这一限制 —— 它跳过奖励模型，直接用人类偏好数据优化策略模型，将对齐流程从 “两步” 简化为 “一步”。

DPO 的核心原理是 “对比学习”：给模型同时展示 “偏好回答” 和 “非偏好回答”，让它学会区分两者并生成更优的那个。例如，对于 “推荐一本书” 的指令，输入 “好回答：《三体》（科幻，适合入门）” 和 “差回答：《三体》”，模型通过学习这对样本，逐渐理解 “带推荐理由的回答更受偏好”。具体实现中，DPO 通过一个简单的损失函数引导模型：让偏好回答的生成概率高于非偏好回答，同时控制模型与初始 SFT 模型的差异（避免过度优化导致能力退化）。

与 PPO 相比，DPO 的优势显而易见。PPO 需要同时维护策略模型、奖励模型、价值模型和参考模型，训练过程中还要不断调整学习率、KL 惩罚等超参数，稍有不慎就会导致模型输出 “崩坏”（如生成无意义文本）；而 DPO 只需要策略模型和一个参考模型，参数少、训练稳定，普通 GPU 就能运行。在对话对齐任务中，DPO 的性能接近 PPO，但训练时间缩短 60%，因此成为中小模型对齐的首选方法。

不过 DPO 也有局限。它对偏好数据的质量更敏感 —— 如果数据中存在错误（如把 “差回答” 标成 “好回答”），DPO 会直接学到错误模式，而 PPO 的奖励模型能一定程度上平滑这种噪声。此外，DPO 难以处理 “多维度偏好”（如同时优化 “准确性” 和 “礼貌性”），因为它的损失函数只能表达 “谁比谁好”，无法量化不同维度的权重。

DPO 的优化与衍生：从 SimPO 到 KTO

为解决 DPO 的缺陷，研究人员提出了一系列改进算法，这些方法在保留 DPO 简洁性的同时，提升了鲁棒性和泛化能力。

动态 β 调整是优化 DPO 的核心手段。β 是 DPO 中控制模型与参考模型差异的参数：β 过小，模型可能过度拟合偏好数据，丢失基础能力；β 过大，模型调整不足，无法贴近偏好。动态 β 方法让模型根据数据自动调整 β 值 —— 例如，在高质量数据（如专家标注的医疗回答）中减小 β，允许模型更大幅度调整；在低质量数据（如网络爬取的对话）中增大 β，限制模型变化。这种自适应调整让 DPO 在复杂数据集中的稳定性提升 30%。

SimPO（简化偏好优化）进一步简化了 DPO 的损失函数，去掉了对参考模型的依赖，直接让模型学习 “偏好回答” 的分布。它的计算量比 DPO 更低，适合资源受限的场景，但泛化能力稍弱。KTO（知识与偏好优化）则结合了事实准确性和人类偏好，在损失函数中同时加入 “知识约束”（如 “回答需符合常识”）和 “偏好约束”（如 “回答需简洁”），避免模型为了迎合偏好而生成错误信息（如为了 “友好” 而推荐无效的减肥方法）。

ORPO（在线偏好优化）和 GRPO（广义奖励偏好优化）则更接近 PPO 的思路，引入了在线学习机制 —— 模型生成回答后，立即用实时反馈（如用户点击 “有用” 或 “无用”）调整参数，形成 “生成 – 反馈 – 更新” 的实时闭环。这种方法适合对话系统等需要持续迭代的场景，能快速适应用户偏好的变化，但需要稳定的反馈来源和高效的在线更新机制。

对齐技术的核心挑战：从 “模仿偏好” 到 “理解价值”

无论是 RLHF、DPO 还是它们的变体，当前对齐技术仍面临三大核心挑战。奖励黑客（Reward Hacking）是最常见的问题 —— 模型可能学会 “钻奖励模型的空子”，生成看似符合偏好但无实际意义的回答。例如，奖励模型若以 “长度” 衡量回答质量，模型会生成冗长却空洞的内容；若以 “安全性” 为唯一标准，模型可能过度回避问题（如对所有问题都回答 “我不知道”）。解决这一问题需要更全面的奖励信号，例如同时考虑 “有用性”“准确性”“安全性”，避免单一指标的漏洞。

人类偏好的动态性也让对齐变得复杂。不同场景下的偏好可能矛盾 —— 在医疗咨询中，“准确” 比 “委婉” 更重要；在心理咨询中，“共情” 比 “高效” 更关键。现有方法难以让模型根据场景自动切换偏好权重，未来可能需要结合场景识别技术，让模型先判断 “当前是专业场景还是日常对话”，再调用对应偏好模型。

最后，对齐技术的可解释性仍是难点。RLHF 和 DPO 能让模型生成符合偏好的回答，但无法解释 “为什么这个回答更好”—— 比如模型拒绝有害请求时，我们无法确定它是 “理解了安全规则” 还是 “记住了训练样本”。这种 “黑箱” 特性限制了对齐技术在高风险领域（如自动驾驶、医疗诊断）的应用，未来需要结合可解释 AI 技术，让模型的偏好决策过程变得透明。

结语：对齐技术的终极目标是 “让 AI 懂人类”

从 SFT 到 RLHF，再到 DPO 及变体，对齐技术的演进始终围绕一个核心：让模型从 “被动遵循指令” 到 “主动贴合人类需求”。这种进步不仅依赖算法创新，更需要对 “人类偏好” 的深刻理解 —— 偏好不是简单的 “好与坏”，而是价值观、场景需求、文化背景的综合体现。

未来的对齐技术可能会融合更多学科：结合认知科学理解人类决策模式，结合社会学定义普适价值观，结合语言学优化对话风格。当模型能像人类一样 “理解偏好背后的原因”，而非单纯 “模仿偏好表现” 时，真正的人机对齐才会实现 —— 那时的 AI 不仅能 “说对的话”，更能 “说合适的话”。

本文由 @红岸小兵原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人股票配资合作，人人都是产品经理平台仅提供信息存储空间服务

九五配资提示：文章来自网络，不代表本站观点。