突发！DeepSeek 一口气连发 2 个新模型

　　DeepSeek官微推文中写道，“DeepSeek-V3.2模型在Agent评测中达到了当前开源模型的最高水平”。

　　在指令跟随、数学证明、逻辑验证方面，DeepSeek-V3.2-Speciale能力出众，推荐用来完成高度复杂数学推理、编程竞赛、学术研究类任务。

　　在高度复杂任务上，Speciale模型大幅优于标准版本，但消耗的Tokens也显著更多，成本更高。

　　新的稀疏注意力机制DSA大幅降低计算复杂度，强化学习训练的计算量超过预训练的10%，还有全新的大规模Agent任务合成管线……

　　传统的注意力机制在处理长序列时计算复杂度是O（L²），严重制约了模型的部署效率和后续训练的可扩展性。

　　闪电索引器负责快速计算查询token和历史token之间的相关性分数，然后只选择top-k个最相关的token进行注意力计算。

　　第一阶段是Dense Warm-up，保持密集注意力，只训练lightning indexer，让它学会对齐主注意力的分布。

　　第二阶段才引入稀疏机制，每个查询token选择2048个键值对，训练了15000步，总共处理了9437亿个tokens。

　　H800集群上的测试显示，当序列长度达到128K时，预填充阶段每百万token的成本从0.7美元降到了0.2美元左右，解码阶段从2.4美元降到了0.8美元。

　　DeepSeek在技术报告中提到，开源模型在post-training阶段的计算资源投入不足，限制了其在困难任务上的性能。

　　为此，团队开发了稳定、可扩展的RL协议，使训练后阶段的计算预算超过了预训练成本的10%，从而解锁了模型的先进能力。

　　在实际训练中，为了提高效率通常会生成大批量的rollout数据，然后分成多个mini-batch进行梯度更新deepseek。这种做法本身就引入了off-policy行为。

　　团队通过计算数据采样策略和当前策略之间的KL散度，把那些偏离太远的负样本序列给mask掉，避免它们干扰训练。

　　推理框架和训练框架的实现差异可能导致同样的输入激活不同的专家，这会造成参数空间的突变。通过保存推理时的路由路径并在训练时强制使用相同路径，确保了参数优化的一致性。

　　先为每个任务训练专门的模型，包括数学、编程、通用逻辑推理、通用Agent任务、Agent编程和Agent搜索这6个领域，每个领域都支持思考和非思考两种模式。

　　在思考上下文管理方面，团队发现DeepSeek-R1那种每次开启新对话就丢弃推理内容的策略，实在是太——浪费token了。

　　只有在引入新的用户消息时才丢弃历史推理内容，如果只是添加工具相关消息，推理内容会被保留。即使推理痕迹被删除，工具调用历史和结果也会保留在上下文中。

　　最硬核的是团队开发了一个自动环境合成pipeline，生成了1827个任务导向的环境和85000个复杂提示。

　　以旅行规划为例，模型需要在满足各种约束条件下规划三天的行程，包括不重复城市、根据酒店价格调整餐厅和景点预算等复杂逻辑。

　　虽然在巨大的组合空间中找到满足所有约束的方案很困难，但验证给定方案是否满足约束相对简单，这种”难解易验”的特性非常适合RL训练。

　　在代码Agent方面，团队从GitHub挖掘了数百万个issue-PR对，经过严格筛选和自动环境构建，成功搭建了数万个可执行的软件问题解决环境，涵盖Python、Java、JavaScript等多种语言。

　　搜索Agent则采用多Agentpipeline生成训练数据，先从大规模网络语料中采样长尾实体，再通过问题构建、答案生成和验证等步骤产生高质量数据。

　　Token效率也是个挑战。通常情况下，本次上新的两个模型需要生成更长的轨迹，才能达到Gemini-3.0-Pro的输出质量。原文出处：突发！DeepSeek 一口气连发 2 个新模型，感谢原作者，侵权必删！