第2015篇：RLHF工程实践——基于人类反馈的模型对齐方法论

适读人群：有微调基础、想了解RLHF工程化的AI工程师 | 阅读时长：约20分钟 | 核心价值：理解RLHF的工程实现路径，掌握在有限资源下实现效果的方法

ChatGPT之所以好用，RLHF功不可没。它回答问题的语气、格式、避免有害输出的能力，都来自大量的人类反馈训练。

但RLHF听起来高大上，全套实现（SFT + RM + PPO）涉及的工程量极大，很多团队不知道从哪里入手。

我走过一遍完整的路，从最简单的方法开始，到逐步引入更复杂的对齐技术。这篇文章是我的工程化经验总结。

---

RLHF的标准三阶段

每个阶段都有工程复杂度，但你不一定需要全部实现。

---

从最简单的方法开始：Direct Preference Optimization

PPO的工程复杂度很高（需要4个模型同时加载）。DPO（直接偏好优化）是更简单的替代方案，效果相当：

# DPO训练配置（LLaMA-Factory支持）
# dpo_config.yaml
model_name_or_path: Qwen/Qwen2-7B-Instruct
finetuning_type: lora
stage: dpo    # 关键：使用DPO而非SFT

# DPO参数
dpo_beta: 0.1  # 控制与参考模型的偏差程度

# 数据集格式（偏好数据）：
# {"instruction": "...", "chosen": "好回答", "rejected": "差回答"}
dataset: preference_data_v1
template: qwen

per_device_train_batch_size: 2
gradient_accumulation_steps: 4
learning_rate: 1.0e-5
num_train_epochs: 2

DPO需要的数据格式是偏好对：对同一个问题，给出"人类更喜欢的回答"和"人类不喜欢的回答"。

---

偏好数据的收集

这是RLHF的核心工作，也是最耗人力的部分：

@Service
@RequiredArgsConstructor
public class PreferenceDataCollector {
    
    private final ChatClient modelA;   // 当前线上模型
    private final ChatClient modelB;   // 候选模型
    private final EvaluationQueue evaluationQueue;
    
    /**
     * 对同一个问题，让两个模型都生成回答，
     * 然后由人工（或强LLM）来判断哪个更好
     */
    public void collectPreference(String question, String userId) {
        String answerA = modelA.prompt().user(question).call().content();
        String answerB = modelB.prompt().user(question).call().content();
        
        // 随机化顺序，避免评估者受位置偏见影响
        boolean swap = Math.random() > 0.5;
        
        PreferenceTask task = PreferenceTask.builder()
            .question(question)
            .answerFirst(swap ? answerB : answerA)
            .answerSecond(swap ? answerA : answerB)
            .metadataFirstIsA(!swap)   // 记录哪个是A但对评估者不可见
            .submittedBy(userId)
            .build();
        
        evaluationQueue.submit(task);
    }
    
    /**
     * 用强LLM自动生成偏好标注（AI评估AI，成本低但质量稍差）
     */
    public PreferencePair autoAnnotate(String question, String chosen, String rejected) {
        String verificationPrompt = """
            以下是同一个问题的两个回答，请判断哪个更好（输出A或B）：
            
            问题：%s
            
            回答A：%s
            
            回答B：%s
            
            判断标准：准确性 > 完整性 > 简洁性 > 格式
            
            输出A或B，并用一句话说明原因：
            """.formatted(question, chosen, rejected);
        
        // 调用GPT-4o做评判...（省略实现）
        return buildPreferencePair(question, chosen, rejected);
    }
}

---

构建简化版奖励模型

如果不想用DPO，也可以训练一个独立的奖励模型来打分：

@Component
public class RewardModelScorer {
    
    private final OllamaClient ollamaClient; // 本地部署的打分模型
    
    /**
     * 对回答质量打分（0-10分）
     * 这个"奖励模型"是通过偏好数据微调的分类模型
     */
    public double score(String question, String answer) {
        // 把问题+回答拼接，送进奖励模型
        String input = "[INST] " + question + " [/INST] " + answer;
        
        // 奖励模型输出的是一个标量分数
        return ollamaClient.generateScore(input);
    }
    
    /**
     * 批量比较两个回答，返回哪个更好
     */
    public boolean isFirstBetter(String question, String answerA, String answerB) {
        double scoreA = score(question, answerA);
        double scoreB = score(question, answerB);
        return scoreA > scoreB;
    }
}

---

最实用的简化RLHF路径

对于大多数企业AI项目，我推荐这个简化路径：

1. 收集偏好数据：对线上的AI回答，让用户标记"👍/👎"，或让专家对比选择更好的回答
2. 用DPO微调：把偏好数据喂进DPO训练，成本远低于完整PPO
3. A/B测试验证：新模型上线后小流量测试，看用户满意度指标是否提升
4. 迭代循环：把新模型的输出继续收集偏好，形成飞轮

完整的PPO训练可以留给资源更充裕的时候，DPO在大多数场景下已经够用。