导读：

从论文出发，逐层剖析 CSA / HCA 混合注意力、mHC 残差连接与 Muon 优化器——这三项核心创新如何让开源模型第一次真正"用得起"百万 token 上下文

编辑：公众号：人工智能研究Suo

注意力机制（Attention）是 Transformer 的核心，但它有一个致命的数学诅咒：计算复杂度随序列长度呈二次方增长。当上下文长度从 128K 扩展到 1M 时，原始注意力所需的 KV Cache 和计算量暴增近 60 倍。

这不只是内存问题。在 Agentic AI 场景中，模型需要持续保持数十万 token 的工作记忆——分析整个代码仓库、跨越数百页的文档推理、或者在长达数小时的多轮工具调用中维持连贯的思维链。没有原生高效的长上下文支持，这些能力只是数字游戏。

核心矛盾

测试时计算扩展（Test-Time Scaling）是 2025 年最重要的进展方向，但它本质上要求模型在推理时展开极长的思维链——而传统注意力机制的二次复杂度让这条路越走越贵。DeepSeek V4 的核心命题是：打破这个效率天花板。

论文给出了一组震撼的数据：在 1M token 上下文场景下，DeepSeek-V4-Pro 所需的单 token 推理 FLOPs 仅为 DeepSeek-V3.2 的 27%，KV Cache 仅为 10%；而更小的 Flash 版本更是降至 FLOPs 的 10%、KV Cache 的 7%。

27% V4-Pro 推理 FLOPs（vs V3.2，1M 上下文）

10% V4-Pro KV Cache（vs V3.2，1M 上下文）

10% V4-Flash 推理 FLOPsvs V3.2，1M 上下文）

7% V4-Flash KV Cache vs V3.2，1M 上下文）

这是 V4 最重要、最底层的架构创新。论文提出了两种全新的注意力机制，并将它们交织使用，形成一套多尺度感知系统。

1.1 压缩稀疏注意力（CSA）：精准模式

CSA 的设计哲学是"压缩后再选择"——先把 KV 序列压缩短，再只看最重要的部分。它分三步走：

2.1 传统残差连接的局限

标准残差连接（x_{l 1} = x_l F_l(x_l)）已经是深度网络的标配，但它有一个隐患：信号沿层传播时，梯度可能爆炸或消失，且各层之间存在强耦合。Hyper-Connections（HC）曾尝试通过扩展残差流宽度（引入 n_hc × d 的扩展维度）来解耦，但论文指出在多层堆叠时会出现严重的数值不稳定。

2.2 mHC 的核心思路：把残差映射约束到双随机矩阵流形

mHC 的关键创新在于将残差变换矩阵 B_l 约束到双随机矩阵（Doubly Stochastic Matrix）集合，即 Birkhoff 多胞形 M：每行每列之和均为 1，且所有元素非负。

为什么双随机矩阵有效

双随机矩阵的谱范数 ‖B_l‖₂ 被保证 ≤ 1，这意味着残差变换是非扩张的（non-expansive）——信号经过任意多层变换后不会爆炸。更重要的是，双随机矩阵集合在乘法下是封闭的，从数学上保证了深层堆叠后的稳定性。

训练 1.6 万亿参数模型时，论文团队遭遇了严重的训练不稳定问题，最终找到了两个有效解法，并在论文中坦诚承认其背后机理尚未完全理解。

Anticipatory Routing（预期路由）

核心思路：将骨干网络的参数更新与路由网络的参数更新在时间上解耦。在步骤 t 计算特征时，路由 index 使用历史参数 θ_{t-Δt} 预先计算好。这打破了路由决策和特征计算之间的恶性循环，显著减少了 loss spike 的发生频率。

工程实现上，额外的 wall-time 开销约为 20%，且系统会自动检测 loss spike 后才激活 Anticipatory Routing，正常训练时不开启——几乎零成本。

SwiGLU Clamping（激活函数值域截断）

对 SwiGLU 的线性分量截断到 [-10, 10]，门控分量上界截断到 10。这是一个极其简单但据论文反映极为有效的方法——直接消除了 MoE 层中的异常大值，从源头抑制训练不稳定。

类似方法在 Gemma 2 等论文中也有出现，V4 将其应用到了 SwiGLU 这个具体激活函数上。

SWE-Verified（代码工程 Agent

SimpleQA-Verified（事实知识）

在事实知识方面，V4 领先所有其他开源模型，但与 Gemini-3.1-Pro 仍有明显差距。论文对此直言不讳。

百万 Token 上下文（MRCR 检索)

在长上下文检索方面，V4 超越了 Gemini-3.1-Pro，但仍落后于 Claude Opus 4.6。考虑到 V4 是第一个原生高效支持 1M 上下文的开源模型，这个成绩非常值得肯定。

论文明确指出：在推理能力上，V4-Pro-Max 超过 GPT-5.2 和 Gemini-3.0-Pro，但落后于 GPT-5.4 和 Gemini-3.1-Pro，开发轨迹上大约落后前沿闭源模型 3~6 个月。这种坦诚度在技术报告中颇为罕见。

V4 的论文有将近三分之一篇幅在讲基础设施，这在 LLM 论文中非常罕见，但也最能体现工程深度。

1.92× 理论加速比的通信计算重叠

将 MoE 层的 Expert 分批（wave）处理，当前 wave 的 Expert 在计算时，下一 wave 的 token 传输和上一 wave 的结果发送同时进行。相比 Comet 方案（1.42× 加速），V4 的细粒度 wave 调度实现了 1.92× 的理论加速，已开源为 DeepGEMM 的一部分（MegaMoE）。

形式化整数分析驱动的 kernel 开发

TileLang 是 DeepSeek 基于 TVM 自研的领域特定语言，用于开发 fused kernel。V4 在其中集成了 Z3 SMT solver，对 tensor index 算术进行形式化分析，将每次 kernel 调用的 CPU 端验证开销从数百微秒降至亚微秒级别，并解锁了更激进的向量化、内存优化。

共享前缀场景的推理复用

对于 CSA/HCA 的压缩 KV 条目，直接持久化存盘并在命中前缀时复用（跳过重新 prefill）。对于 SWA 的未压缩 KV（体积约是压缩 KV 的 8 倍），提供三种策略：Full Caching（零计算冗余但存储密集）、Periodic Checkpointing（可调节存储/计算权衡）、Zero SWA Caching（纯计算复现、零存储）。

DeepSeek V4 不是一次参数规模的暴力扩展，而是一次系统性的架构重设计。CSA/HCA 混合注意力解决了百万上下文的效率瓶颈；mHC 解决了极深网络的训练稳定性；Muon 优化器提升了收敛速度；OPD 替代混合 RL 实现了更平滑的多专家能力融合。

更重要的是，这些创新是开源的。模型权重在 HuggingFace 以 MIT 协议开放，技术细节在论文中详细披露，CSA 的参考实现也已开源。整个社区都可以在这个基础上继续迭代。

真正值得关注的信号不是某个 benchmark 的分数，而是：百万 token 上下文正在从"技术噱头"变成可以日常部署的工程现实。这将深刻改变 Agentic AI、长文档分析、代码库理解等场景的产品边界。