DeepSeek: Paradigm Shifts and Technical Evolution in Large AI ModelsDeepSeek: Paradigm Shifts and Technical Evolution in Large AI ModelsDeepSeek: Paradigm Shifts and Technical Evolution in Large AI Models

论文解读报告 | 2026-04-14

DeepSeek 于 2025 年 1 月发布的 V3 和 R1 系列模型因其低成本、高性能、开源三大优势引发全球关注：

• ▸R1 基于的聊天应用超越 ChatGPT，成为美国 iOS App Store 下载量第一的免费应用
• ▸导致 Nvidia 股价下跌 17%
• ▸训练方法论：纯 RL（无需 SFT 前置）、性能对标 OpenAI o1

❝

DeepSeek 标志着从"单纯增加模型参数和算力"到"算法优化 + 数据质量"的范式转移。

传统 LLM 发展遵循 scaling laws（参数越多、数据越大 = 性能越好），但 DeepSeek 证明：通过算法创新（MLA/MoE/MTP/GRPO）和工程优化（FP8/DualPipe/DeepEP），可以在大幅降低成本的同时达到甚至超越闭源模型的性能。

问题：标准 MHA 的 KV cache 过大，限制序列长度和 batch size。

方案：对 KV 进行低秩压缩。

标准 MHA:  qt = WQ·ht,  kt = WK·ht,  vt = WV·ht
           KV cache 维度 = 2 × dh × nh  ← 大!

MLA 方案:  qt = WUQ · (WDQ · ht)       ← 先压缩再解压
           kt = WUK · (WDKV · ht)      ← 只缓存压缩后的 dc 维
           vt = WUV · (WDKV · ht)      ← dc << dh × nh

关键技巧——解耦 RoPE：

• ▸由于低秩 KV 压缩与 RoPE 不兼容，引入额外查询 qtR 和共享键 ktR 单独处理位置编码
• ▸最终 qt = [qt; qtR], kt = [kt; ktR]

对比：

推理优化：FlashMLA（Hopper GPU 优化内核）实现 3000 GB/s 内存带宽利用和 580 TFLOPS 算力利用。

问题：传统 MoE 存在两大缺陷：

1. ▸知识混杂：专家少（8-16 个），每个专家要处理多种知识，无法专业化
2. ▸知识冗余：不同专家学到相同知识

方案：

1. ▸细粒度专家分割：将 FFN 隐藏维度分成更多小专家，总数参数不变
2. ▸共享专家隔离：部分专家设为始终激活的共享专家，捕获通用知识

输出公式：

h't = ut + Σ(共享专家i) + Σ(门控值i × 路由专家i)

负载均衡：辅助损失免（Auxiliary-loss-free）策略，通过 TopK 选择 + 偏置平衡，避免传统 MoE 中常见负载不均。

问题：传统 next-token prediction 每次只预测一个 token，内存访问效率低。

方案：每一步预测 D 个未来 token，同时保持因果链。

token t1 → MTP module 1 → 预测 t2
         → MTP module 2 → 预测 t3 (输入: module1 输出 + t2 真实值)
         → MTP module D → 预测 t(D+1)

关键设计：

• ▸顺序预测：保留因果依赖，避免并行头部的序列依赖丢失
• ▸真实值输入：训练时将 ground truth 作为输入，减少误差传播
• ▸共享输出头：所有 MTP 模块共用同一 output head

总损失：

L = L_main + λ × (1/D) × Σ(Lk_MTP)

问题：PPO 需要一个与策略模型同等大小的价值模型（value model），资源消耗大且绝对分数不能反映相对质量。

方案：取消价值模型，用组内相对优势替代。

关键区别：

优势函数：

Ai = (ri - mean({r1...rG})) / std({r1...rG})

目标函数：

J_GRPO = E[min(Ii·Ai, clip(Ii, 1-ε, 1+ε)·Ai) - β·DKL]

两种奖励：

• ▸准确率奖励：评估答案正确性
• ▸格式奖励：强制结构一致性，防止内容偏差

在纯 RL 训练过程中，R1-Zero 出现了一个重要现象：

❝

模型学会了通过重新审视初始方法来分配更多推理时间。这种行为反映了模型自主发展出高级问题解决策略的能力——与传统从监督数据直接学习解法的方式形成鲜明对比。

这是无需人工标注推理步骤，仅通过 RL 奖励信号就涌现出反思能力的关键证据。

• ▸架构：LLaVA-style 框架，SigLIP 视觉编码器 + MLP 投影
• ▸创新：动态分块策略处理高分辨率和极端宽高比图像
  • ▸高分辨率图像缩放至 384×384 的倍数 → 分割为局部 tile + 全局缩略图
• ▸数据：800B 精心策划的 tokens
• ▸效率：激活参数量 ≤ 当前开源模型

• ▸核心创新：解耦理解与生成的视觉编码
  • ▸理解路径：SigLIP 编码器 → 高维语义特征
  • ▸生成路径：VQ tokenizer → 离散图像 token
  • ▸统一：自回归 Transformer 统一处理
• ▸规模：成功扩展到 7B 参数变体
• ▸性能：在多个基准测试中超越更大模型

• ▸长 CoT 中的漏洞：越狱技术可通过推理链操纵 DeepSeek 生成不安全内容
• ▸核心张力：过度对齐 → 性能下降；对齐不足 → 安全风险
• ▸需要：动态可调参数的灵活安全策略

• ▸本文是一篇综述/分析论文，非原创研究，主要贡献在于系统性地整理和分析 DeepSeek 的技术创新
• ▸实验数据主要来源于 DeepSeek 官方技术报告，无独立复现验证
• ▸对未来趋势的讨论偏定性分析，缺乏定量预测

❝

未来 LLM 训练将优先考虑数据质量、多样性和成本，而非仅关注规模。

• ▸合成数据：扩散模型/GAN 生成特定场景数据；Deep Research 通过语义理解和多模态检索提取高价值数据
• ▸Agent 驱动：自动化数据管道支持流式数据的清洗、标注和增强

• ▸MoE：减少计算成本
• ▸FP8 混合精度：加速训练过程
• ▸分布式训练：梯度压缩 + 异步通信，最小化带宽消耗

• ▸边缘推理：量化 + 蒸馏 + 剪枝 + 硬件加速 → 部署到移动设备/IoT
• ▸领域特定：专家知识 + 轻量微调 → 快速定制

1. ▸

   长 CoT 效率：当前推理轨迹过长导致计算成本和能耗激增。需要推理路径压缩或潜在 CoT 技术来在保持推理质量的同时减少 token 消耗。

2. ▸

   PRM 设计：当前 R1 仅用 ORM（结果奖励），存在"错误推理得到正确答案"的风险。可靠的 PRM 需要同时避免奖励劫持，这是一个开放问题。

3. ▸

   安全对齐与性能的平衡：长 CoT 推理链中的越狱攻击是新兴安全威胁。动态可调参数的安全策略需要更多研究。

4. ▸

   MoE 负载均衡：虽然辅助损失免策略有效，但在大规模部署中，专家分布不均仍是性能瓶颈。DeepEP 的优化空间仍大。

5. ▸

   多模态扩展：当前 VL2 和 Janus-Pro 主要处理文本+图像。音频、视频等多模态的统一处理仍需探索。

6. ▸

   独立复现验证：本文作为综述，数据主要来源于官方报告。社区需要独立的复现实验来验证 DeepSeek 的性能声明。

本文系统性地综述了 DeepSeek 系列模型的技术创新，涵盖：

1. ▸

   四大算法创新：

   • ▸MLA：低秩 KV 压缩，大幅减少 cache 且不损失精度
   • ▸DeepSeekMoE：细粒度专家 + 共享隔离，解决传统 MoE 的知识混杂和冗余
   • ▸MTP：顺序多 token 预测，提高训练信号密度
   • ▸GRPO：无价值模型的组相对策略优化，节省 ~50% RL 资源
2. ▸

   工程优化突破：

   • ▸FP8 混合精度训练（2.7× 加速）
   • ▸DualPipe 流水线并行（最小化通信 bubble）
   • ▸DeepEP 专家并行通信库（1.5-2.5× 吞吐提升）
   • ▸FlashMLA 推理优化（3000 GB/s 内存带宽）
3. ▸

   范式转移：

   • ▸R1-Zero 的纯 RL 训练涌现出 "Aha Moment"——自主反思能力
   • ▸从"参数越大越好"到"算法效率 + 数据质量"的转变
   • ▸开源 MIT 许可推动技术民主化和生态标准建立

DeepSeek 的核心启示：在算力受限的条件下，通过算法创新和工程优化，依然可以达到甚至超越算力充裕的竞争对手。