DeepSeek开源第二弹：EP通信库来了，有望再次降低计算消耗

2月25日，DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示，这是第一个用于MoE（专家）模型训练和推理的开源EP通信库。

“高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA（远程直接内存访问，一种通信技术）；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU（图形处理器）资源控制，实现计算与通信重叠。”DeepSeek如此介绍DeepEP的特点。

EP即expert parallelism（专家并行），是一种在大规模分布式AI模型训练中使用的技术，能用于提升模型并行处理能力和训练效率。DeepSeek在代码托管网站GitHub上解释，对于延迟敏感的推理解码任务，DeepEP包含有一组使用纯RDMA的低延迟内核，可以用于将延迟最小化，DeepEP还引入一种通信与计算重叠的方法，这种方法可以不占用SM（流处理器）资源。简而言之，DeepEP也是用于提升GPU利用效率的关键技术之一。

性能可比肩OpenAI o1的DeepSeek-R1是基于DeepSeek-V3训练出来的模型，DeepSeek-V3此前就以不大规模使用最先进的英伟达GPU、低训练预算著称。为了在已有的GPU上训练大模型，DeepSeek进行了诸多创新，以高效利用GPU算力。有学界人士此前就解读了DeepSeek-V3实现计算与通信重叠的重要作用。清华大学计算机系长聘教授翟季冬在解读DeepSeek的相关技术时表示，DeepSeek-V3为了训练效率提升，做了四方面的优化，包括负载均衡、通信优化、内存优化和计算优化，为此，DeepSeek团队充分挖掘了算法、软件和硬件协同创新的潜力。例如DeepSeek为了降低通信开销想了很多办法，包括精细化编排计算和通讯。

“DeepSeek提出一种流水线并行算法DualPipe，通过精细控制分配给计算和通信的GPU SM数量，实现计算和通信完全重叠，从而提高GPU资源的利用率。期间，DeepSeek团队使用了英伟达底层的PTX语言来控制SM的使用。” 翟季冬表示。

中存算半导体董事长陈巍解析DeepSeek-V3和R1训练结构的独特优势时也指出，DeepSeek设计了DualPipe算法来实现更高效的流水线并行，并通过计算与通信的重叠隐藏了大模型训练过程中的大部分通信开销。此外，DeepSeek开发了跨节点All-to-All通信内核，以充分利用InfiniBand和NVLink带宽，对显存使用进行了优化，使得DeepSeek无需使用昂贵的张量并行即可训练DeepSeek-V3。

记者就开源DeepEP通信库的影响询问DeepSeek，它的回答是，DeepEP能显著提升MoE模型的训练和推理效率，显著降低计算资源消耗，开源DeepEP有助于降低AI技术的开发成本，且有助于减少重发开发。

一些网友则在DeepSeek宣布开源的帖子下评论。“DeepEP看上去像是MoE模型训练和推理的颠覆者。”有网友称。也有网友表示，NVLink和RDMA是支持大规模MoE模型的重要因素，看来DeepSeek再次突破了AI基础设施的极限。

DeepSeek此前宣布，本周会陆续开源5个代码库。加上2月24日开源的代码库FlashMLA，DeepSeek已开源了2个代码库，接下来还有3个代码库待开源。DeepSeek此前在公告中表示，DeepSeek是探索AGI（通用人工智能）的小公司，作为开源社区的一部分，每分享一行代码，都会成为加速AI行业发展的集体动力。

(本文来自第一财经)