DeepSeek下一代稀疏模型提前剧透DeepSeek开源大模型记忆模块

　　#DeepSeek发布梁文锋署名论文#【#DeepSeek下一代稀疏模型提前剧透##DeepSeek开源大模型记忆模块#】DeepSeek节前开始蓄力！最新论文直接给Transformer加上“条件记忆”（Conditional Memory），补上了原生缺乏的知识查找机制。

　　论文中不仅提出了条件记忆这个全新范式，并给出了具体实现方案Engram模块，实验中让27B参数碾压同规模纯MoE模型，甚至变相提升了大模型的推理能力：

　　让原来Transformer要用6层注意力才能干的简单任务压缩到1-2层搞定，省出来的资源就可以用于更难的推理任务了。

　　给大模型一个巨大的词表deepseek，专门存那些固定的实体名称和两三个词的短语，不管词表多大，找信息都是O(1)速度。

　　关键就在于，如此前大模型时代的玩法，DeepSeek如何解决传统N-gram模型存储爆炸和多义性问题，又是让它和现代Transformer结合起来的？（量子位）原文出处：DeepSeek下一代稀疏模型提前剧透DeepSeek开源大模型记忆模块，感谢原作者，侵权必删！