当前位置:首页 > Deepseek最新资讯 > 正文内容

谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明

4个月前 (01-20)Deepseek最新资讯76

  研究发现,当遇到 GPQA graduate-level 科学问题、复杂数学推导这类高难度任务时,这种内部观点冲突会变得更加激烈。

  团队通过分析 DeepSeek-R1 和 QwQ-32B 等模型的思维轨迹发现,它们的推理过程充满了对话感。

  团队借助稀疏自编码器 SAE,对 AI 的推理黑盒进行了深度解码,成功“监听”到了 AI 的脑内群聊。

  首先,研究者让 AI 执行复杂的数学或逻辑推理任务。在模型产出思维链的同时,团队同步提取其隐藏层神经元的激活数值。

  将这些激活数据输入 SAE,通过 SAE 的稀疏约束机制,就可以把杂乱的激活拆解为“自问自答”、“切换视角”等独立的对话语义特征;

  通过分析这些特征的激活频率以及它们在时间序列上的协同关系,团队成功识别出了不同的内部逻辑实体。

  再给上述特征打上“规划者”、“验证者”等虚拟角色的标签,就成功解码了 AI 内部的多角色对话行为deepseek

  通过对比 DeepSeek-R1 与 DeepSeek-V3、Qwen-2.5-32B-IT 这类普通指令模型的推理轨迹,发现推理模型的对话式行为出现的频率显著更高。

  当团队通过激活添加法强化模型的对话特征,放大“哦!”这类表达惊讶、转折的话语标记时,模型在 Countdown 算术推理任务中的准确率直接从 27.1% 翻倍至 54.8%。

  研究人员不提供任何对话结构的训练信号,只奖励模型答对题目的行为,结果发现模型会自发学会用对话式思考;

  而先通过多智能体对话数据对模型进行微调,再进行推理训练,进步速度会远快于直接训练推理或用独白式推理数据微调的模型。

  在 Qwen-2.5-3B 和 Llama-3.2-3B 两个模型体系中,早期训练阶段对话微调模型的准确率比独白微调模型高出 10% 以上,Llama-3.2-3B 到训练后期差距甚至扩大到 22%。原文出处:谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明,感谢原作者,侵权必删!

标签: deepseek

“谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明” 的相关文章

12月30日DeepSeek预测:雄鹿vs黄蜂,字母哥率队客场复仇

12月30日DeepSeek预测:雄鹿vs黄蜂,字母哥率队客场复仇

  北京时间12月30日早8点,NBA常规赛将迎来一场东部中游卡位战——夏洛特黄蜂坐镇光谱中心迎战密尔沃基雄鹿。两支胜率不足五成的球队目前分列东部第11、12位,此役胜负或将直接影响季后赛...

华为昇腾+DeepSeek:AI黄金组合增长TOP10全解析

华为昇腾+DeepSeek:AI黄金组合增长TOP10全解析

  在全球AI竞赛白热化的背景下,华为昇腾与DeepSeek的协同创新成为国产AI突围的关键力量。   昇腾芯片:华为自主研发的AI处理器系列,通过架构创新(如昇腾384...

11月3日 DeepSeek预测 老鹰vs骑士:米切尔伤缺或成转折,老鹰客场险胜

11月3日 DeepSeek预测 老鹰vs骑士:米切尔伤缺或成转折,老鹰客场险胜

  北京时间11月3日07:00,NBA常规赛将上演一场东部卡位战,目前同以3胜3负战绩并列东部第六的骑士与老鹰将在克利夫兰展开直接对话。作为上赛季东决球队,骑士本赛季受困伤病暂未展现预期...

江西南昌:“数智+服务”护航文旅发展

江西南昌:“数智+服务”护航文旅发展

  今年以来,在南昌市委、市政府及上级主管部门的坚强引领下,南昌市文化广电旅游监测中心全面落实“深入看、系统改、专业干,齐心协力做实,守正创新争先,推进文广旅游工作高质量发展”的工作思路,...

海能达:“情指行一体化实战平台”已深度融合国产大模型DeepSeek

海能达:“情指行一体化实战平台”已深度融合国产大模型DeepSeek

  证券日报网讯 海能达8月8日在互动平台回答投资者提问时表示,公司“情指行一体化实战平台”已深度融合国产大模型DeepSeekdeepseek,进一步强化平台的智能决策能力,为公安实战指...

东莞材料所发布MatChat 2,打造材料科学的智能研究新范式

东莞材料所发布MatChat 2,打造材料科学的智能研究新范式

  近日,中国科学院东莞材料科学与技术研究所(简称“东莞材料所”)正式发布MatChat 2.0,这是国内首个专注于材料科学领域的AI智能体的全新升级版。相较于前代产品,MatChat 2...