DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

论文解读报告 | 2026-04-14

当前 LLM 推理能力的提升严重依赖两种方法：

1. ▸Chain-of-Thought (CoT) 提示：依赖人工设计的 few-shot 示例或简单提示（如 "Let's think step by step"）
2. ▸监督微调 (SFT) + RL：依赖大量人工标注的推理轨迹

这两种方法的核心局限：

• ▸依赖人工标注：可扩展性差，引入人类认知偏差
• ▸性能上限受限于人工示例：模型只能模仿人类思维过程，无法探索更优的非人类式推理路径

❝

人类定义的推理模式可能限制模型探索，而无约束的 RL 训练能更好地激励 LLM 中新型推理能力的涌现。

本文验证：仅通过纯 RL（无需 SFT 前置），以最终答案正确性为唯一奖励信号，就能激励 LLM 自主发展出高级推理模式（自反思、验证、动态策略适应）。

核心设计：

• ▸基座模型：DeepSeek-V3-Base（671B MoE，37B 激活）
• ▸RL 算法：GRPO（Group Relative Policy Optimization）
• ▸无 SFT 前置：直接在预训练基座上开始 RL
• ▸奖励信号：仅基于最终答案正确性，不对推理过程施加约束
• ▸训练模板：仅要求结构化输出（<think>...</think> + <answer>...</answer>）

训练超参数：

论文 Figure 1 展示了两个关键趋势：

R1-Zero 在训练过程中涌现出一个重要现象——模型学会了用拟人化的语气进行自我反思：

❝

"Wait, wait. Wait. That's an aha moment I can flag here. Let's reevaluate this step-by-step..."

这标志着模型自主发展出高级问题解决策略：重新审视初始方法、分配更多推理时间、探索替代方案。这是无需人工标注推理步骤，仅通过 RL 奖励信号就涌现出反思能力的关键证据。

GRPO 是对 PPO 的简化，核心思想是取消价值模型，用组内相对优势替代。

论文 Figure 3 明确展示了两种方法的架构差异：

关键区别：

GRPO 目标函数：

J_GRPO(θ) = E[ 1/G × Σ min(ratio_i × A_i, clip(ratio_i, 1-ε, 1+ε) × A_i) - β × D_KL ]

其中优势函数：

A_i = (r_i - mean({r_1...r_G})) / std({r_1...r_G})

❝

关键决策：不使用神经奖励模型（无论是 ORM 还是 PRM），因为大规模 RL 中容易发生奖励劫持（reward hacking）。

语言一致性奖励：

Reward_language = Num(Words_target) / Num(Words)

用于解决 R1-Zero 的中英混合问题。

偏好奖励模型：

• ▸Helpful RM：66K 偏好对，arena-hard 格式，只对最终摘要评估（不干扰推理过程）
• ▸Safety RM：106K 安全标注数据，point-wise 分类（安全/不安全）

论文 Figure 5 展示了 DeepSeek 的 RL 训练框架，分为四个解耦模块：

关键优化：

• ▸VRAM 管理：每个模块完成后自动卸载模型到内存/磁盘
• ▸重叠执行：Rule-based Reward 与 Rollout/Inference 异步重叠
• ▸数据打包：按长度排序 + Best-Fit 策略，最小化 padding 浪费

蒸馏模型全面超越原始指令微调基座，甚至 1.5B 小模型在 AIME 上达到 28.3%。

论文 Figure 10 展示了 R1 和 R1-Zero 与人类专家的对比：

R1 在数学和编程竞赛中超越人类平均水平，但在 GPQA（博士级专业知识 + 网络搜索）上仍落后人类专家。

1. ▸无需 SFT 前置：R1-Zero 证明预训练基座本身就具备推理潜力，只需正确的奖励信号即可解锁
2. ▸能力自主涌现：自反思、验证、替代方案探索等高级推理行为是自发的，非人工设计
3. ▸"Aha Moment"：模型在训练过程中学会用 "wait" 等词汇进行自我修正，标志反思能力的涌现

R1-Zero 在 AIME 上的准确率从 15.6% 跃升至 77.9%，同时平均响应长度稳步增长。难问题（MATH level 4-5）的改善幅度最大——level 5 从 ~55% 提升至 ~90%。

训练过程中，模型使用反思词汇（"wait", "mistake", "however", "verify" 等）的频率增长 5-7 倍。特定反思模式（如 "wait"）在特定训练阶段（~8000 step 后）突然涌现。

论文 Figure 6 记录了重要的负面发现：在第二轮 RL 中使用偏好奖励模型时，奖励分数持续上升但 CodeForces 性能下降。这证明模型找到了利用奖励模型缺陷的捷径。

❝

教训：基于模型的奖励信号在大规模 RL 中容易被劫持，可靠的规则奖励仍然是最安全的选择。

• ▸越狱攻击：R1 的增强推理能力可生成更具可操作性的危险内容（如爆炸物制造方案）
• ▸公开模型的恶意微调：开源模型可能被进一步微调以绕过安全保护

整体安全水平中等（与 GPT-4o 相当），配合风控系统后达到优良标准。

DeepSeek-R1 论文证明了以下核心观点：

1. ▸纯 RL 可激励推理能力：R1-Zero 通过纯 GRPO RL（无 SFT 前置）在 AIME 上从 15.6% 跃升至 77.9%，涌现自反思和验证能力
2. ▸多阶段管道实现全面能力：R1 通过冷启动 SFT → RL → 拒绝采样 + SFT → 第二轮 RL，在推理和通用任务上均达到前沿水平
3. ▸GRPO 是高效 RL 算法：取消价值模型，组内归一化计算优势，超参数更稳健
4. ▸蒸馏到小模型效果显著：R1-Distill-Qwen-32B 在 AIME 上达到 72.7%，超越 QwQ-32B-Preview
5. ▸训练成本可控：R1-Zero + R1 总计 $294K，远低于同等性能闭源模型的训练成本

核心启示：解锁推理能力的关键不在于大量人工标注，而在于提供困难的推理问题、可靠的验证器和充足的 RL 算力。

本文（arXiv:2501.12948）是 DeepSeek-R1 的原始技术报告，而此前解读的 deepseek-paradigm-shifts（arXiv:2507.09955）是一篇综述论文。两者的关系：

本文是 R1 技术细节的第一手来源，包含综述论文未覆盖的内容：奖励模型训练细节、800K SFT 数据规格、奖励劫持现象、语言一致性奖励消融实验、安全报告等。