快思慢想研究院院长 田丰

DeepSeek V4的核心创新叫做"混合注意力架构"，由两种机制交替叠加构成：CSA（压缩稀疏注意力）和HCA（重度压缩注意力）。

想象你正在读一部一百万字的侦探小说。传统注意力机制要求你翻到每一页时，都必须重新翻阅所有前文，才能判断当前情节与哪些过去情节相关——这在现实中是荒谬的。没有人这样读书。

CSA的做法是这样的： 每隔m个段落，先把这些段落"提炼"成一个摘要词条（这是"压缩"）。当你读到第500章时，面对的不是499章的完整原文，而是经过压缩的摘要词条库。然后，一个叫做"闪电索引器"的子模块会快速扫描这些词条，判断哪些最可能与当前情节相关，只取最相关的top-k个词条进行精读（这是"稀疏选择"）。压缩加稀疏，双重降低计算量。

HCA更激进： 每m'个段落（m'远大于m）才压缩成一个词条，压缩率极高，但完全不做稀疏选择——全量关注所有词条，只是每个词条都非常浓缩。它牺牲了细节精度，但计算代价极低，专门负责捕捉"万里之外"的长程依赖关系。

两种机制交替出现在模型的不同层：CSA处理精细的中程信息，HCA处理粗粒度的超长程信息。同时，每个注意力层还保留了一个"滑动窗口注意力分支"，专门负责最近128个token的近邻局部信息，弥补压缩机制容易丢失局部细节的缺陷。

论文中给出的实测数据相当惊人。在100万token的超长上下文场景下，与上一代V3.2相比：

论文还提到，如果以标准BF16 GQA8配置作为基准（行业常见设置），V4系列的KV缓存在百万token场景下可压缩至该基准的约2%。换句话说，过去需要一个大型服务器集群才能跑起来的百万上下文推理，现在用少得多的硬件就能完成。这直接决定了V4能够被更多企业、更多国家的开发者实际部署使用。

自2017年Adam优化器被广泛采用以来，几乎所有大模型训练都在用它的变体（AdamW）。V4做了一件在大规模训练中颇为罕见的事：把大部分参数的训练发动机从AdamW换成了Muon。

Muon的核心思想是：在每次更新参数之前，先对梯度矩阵做一次"正交化"处理——通过Newton-Schulz迭代，把梯度矩阵的奇异值逼近1，使参数更新的方向更加"规整"。论文中描述了一个分两阶段的混合迭代策略：前8步用系数(3.4445, -4.7750, 2.0315)快速驱动奇异值收敛到1附近，后2步用(2, -1.5, 0.5)精确锁定到1——工程细节的颗粒度精细至此，显示了团队在训练基础设施上的极深积累。

嵌入层、预测头和RMSNorm模块仍保留AdamW，其余模块全部使用Muon，并引入了混合BF16精度的梯度通信策略，将跨数据并行节点的通信数据量减半。

然而，训练万亿参数级MoE模型从来不是一帆风顺的。论文第4.2.3节描述了他们遭遇的"loss尖刺"——训练过程中损失值会突然爆炸，简单回滚无济于事，因为尖刺会周期性复发。研究者找到了两个工程解法：

第一个叫"预判路由"（Anticipatory Routing）：在第t步训练时，路由索引不用第t步的参数计算，而是提前在t-Δt步就预先算好、缓存起来，用于第t步——这打断了路由网络和主干网络同步更新形成的恶性循环。额外时间开销被控制在约20%，并通过自动检测机制只在尖刺发生时才激活此模式。

第二个叫"SwiGLU截断"：直接把激活函数的线性分量输出截断在[-10, 10]范围内，门控分量上限截断至10，物理上压制异常值的产生。论文验证这不影响模型最终性能。

这些细节——每一个都是真实大规模训练中踩坑后的工程结晶——也从侧面说明了为什么顶级AI研发无法廉价复制：不是算法难以抄袭，而是这些踩坑的经验，是用时间和算力成本一刀一刀刻出来的。3000亿估值与50亿起投门槛背后，资本正在为这些无法用PPT传递的工程积累定价。

性能数据是任何AI论文的核心战场，也是最容易被过度包装的地方。V4论文在这一点上的表述，相对克制。以下所有数据均直接来自论文原文，无任何推断：

代码竞赛能力，是V4最耀眼的成绩。论文第5.3节记录，V4-Pro在14场Codeforces Division 1竞赛（共114道题，时间跨度2025年5月至11月）中，通过标准评分系统计算得到Elo评分3206分，V4-Flash为3052分，GPT-5.4为3168分——这是官方论文中首次有开源模型在编程竞赛评分上超过顶级闭源模型的记录。在SWE-bench Verified（真实软件工程任务）上，V4-Pro达到80.6%，与Claude Opus 4.6（80.8%）几乎持平。

数学推理能力，V4展示了一项引人注目的成就。在Putnam-2025（相当于数学界的奥林匹克）上，采用混合形式推理加Lean 4形式化验证的流程，DeepSeek-V4达到120/120满分，与Axiom系统并列，领先Seed-1.5-Prover（110/120）。

知识宽度，论文的描述诚实而不自夸：V4-Pro-Max在SimpleQA（事实性知识问答）上达到57.9分，"显著超过所有开源竞争者"，但同时明确指出"仍落后于领先的专有模型Gemini-3.1-Pro（75.6分）"。这句话，写在了自己的论文里。

V4论文最值得深读的章节之一，是第五章关于后训练流程的描述。这里发生了一个根本性的方法论替换。

DeepSeek把之前版本用的强化学习（RL）阶段，整体替换为"在策略蒸馏（On-Policy Distillation，OPD）"。

流程是这样的：首先针对数学、代码、Agent任务、指令跟随等不同领域，分别训练出超过十个"领域专家模型"——每个专家通过专项SFT微调加上领域定制的GRPO强化学习，在自己的领域内达到极致性能。然后，让所有专家模型同时扮演"老师"，V4基础模型作为"学生"，通过最小化学生与各老师之间的反向KL散度，让学生同时学习所有老师在各自擅长领域的输出概率分布——最终，十余个专家的能力被整合进同一套参数。

论文特别强调，他们选择了"全词表逻辑蒸馏"而非常见的token级别近似估算。这意味着每次蒸馏步骤都需要实时重建教师模型在完整词表（128K个词）上的输出分布，工程难度大幅提升。为此，论文第5.2.2节详细描述了分布式存储和按需加载的解决方案：教师模型的权重被卸载到中央分布式存储，只有最后一层隐藏状态被缓存，在训练时按需通过预测头重建完整logits，同时所有加载和卸载操作全部异步进行，不阻塞主计算流。

这对全球AI生态的意义是双重的。对最终用户和开发者而言，开源带来了免费的前沿能力；对资本和产业而言，大模型正在成为一个极度集中的"豪门局"。市场已经在用脚投票：据美国国会及行政当局中国委员会2026年3月的报告，约80%的美国初创企业使用中国基础模型开发其衍生产品。新加坡政府支持的AI Singapore项目，在Qwen和Llama之间选择了阿里巴巴的Qwen来构建其最新区域模型。马来西亚宣布本国主权AI生态系统将基于DeepSeek运行。这些不是政治宣言，是工程师做出的技术选型决定。

斯坦福AI Index 2026报告以冷静的数据揭示了这场追赶的速度：美中最强模型的性能差距，已从2023年5月的最高31.6个百分点收窄至2026年3月的2.7%。这发生在美国私人AI投资（2859亿美元）是中国（124亿美元）整整23倍的背景之下。

这组数字背后的含义，值得任何关心AI产业格局的人反复咀嚼：当投入产出比的差距已经大到这个程度，"钱能买来竞争优势"这个命题，正在被历史悄悄撤销——但与此同时，3000亿的估值也在提醒我们，钱从来没有离场，只是换了一种更集中、更高门槛的方式重新入场。

第二种逻辑是资本的集中化。 3000亿估值、50亿起投门槛、严格筛选的LP资格——AI的研发前沿正在演变成一个普通机构和散户根本没有入局资格的"豪门局"。大模型研发所需的算力、人才、工程积累，每一项都不是可以用聪明创意替代的，它们需要持续的、大规模的资金投入。AI下半场，资源和资金将向头部玩家极速集中，这不是预测，已经是正在发生的现实。

这两种逻辑同时成立，并不互相取消。一个更准确的图景是：AI能力的使用成本正在趋近于零，但AI能力的生产成本正在趋近于天文数字。前者让全球数十亿人和数百万企业受益，后者让这个行业的竞争格局迅速收敛为少数玩家之间的角逐。

田丰院长的判断是：当效率成为武器，算力的不对称可以被算法的不对称所抵消。 这依然成立——但同时要加上另一句：当规模成为护城河，效率的优势最终需要资本的纵深来维系。DeepSeek用技术重新定义了竞争边界，又用估值宣告了这条边界的代价。这是同一个故事里不可分割的两面。

能看清这两面，才算真正读懂了DeepSeek V4这一天。

参考资料：本文基于DeepSeek-V4官方技术论文（2026年4月24日发布）、斯坦福大学AI Index 2026报告；融资消息来源于公开市场信息。

出版社：人民邮电出版社

作者：田丰

帮助你定位AI当下发展坐标的指南针

帮助你洞察AI未来演进趋势的航海图

通俗化解读AI的原理、特性和四大发展规律、提供AI赋能商业、引发新质生产力变革的一手案例分析。既有宏观视角的全局观照，又有各行业应用层面的下探记录，聚焦AI的原理与实践、现在与未来，是当下AI应用的全景图、更是身处AI技术浪潮之中的探路书。