后训练选型指南：DPO、PPO、GRPO 如何选择

选型别先看算法名字，先看反馈形式。有高质量偏好对，先用 DPO 建基线；任务能验证，再上 GRPO；只有真要 token 级控制，才去碰 PPO。

DPO 把问题变成固定偏好对上的二分类，省掉显式奖励模型、Critic 和在线采样，流程接近 SFT。PPO 靠在线采样和价值估计，能做细粒度信用分配，但链路长、调参贵。GRPO 用组内相对优势替代 Critic，适合数学、代码这类可验证任务，不过全组同分时信号会变弱。

模型数量不等于显存开销。8B 模型按 BF16、Adam、无 ZeRO 估算，仅模型状态就约 144GB，还没算激活、KV Cache 和临时空间。LoRA 能降训练成本，但激活仍穿过整个基座；长序列和大并发，会把压力转到推理和奖励侧。

在线强化学习不是开个开关就行。没有独立真值集时，代理奖励涨得再漂亮也不能继续训。上线前必须卡死门禁：奖励服务冻结回放、评估曲线同步监控、行为指标看有效信息有没有升。缺了 early stop、回滚和审计，就把奖励曲线当收益证明，纯属自欺欺人。