当前位置:首页 > Deepseek最新资讯 > 正文内容

谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明

7个月前 (01-20)Deepseek最新资讯89

  研究发现,当遇到 GPQA graduate-level 科学问题、复杂数学推导这类高难度任务时,这种内部观点冲突会变得更加激烈。

  团队通过分析 DeepSeek-R1 和 QwQ-32B 等模型的思维轨迹发现,它们的推理过程充满了对话感。

  团队借助稀疏自编码器 SAE,对 AI 的推理黑盒进行了深度解码,成功“监听”到了 AI 的脑内群聊。

  首先,研究者让 AI 执行复杂的数学或逻辑推理任务。在模型产出思维链的同时,团队同步提取其隐藏层神经元的激活数值。

  将这些激活数据输入 SAE,通过 SAE 的稀疏约束机制,就可以把杂乱的激活拆解为“自问自答”、“切换视角”等独立的对话语义特征;

  通过分析这些特征的激活频率以及它们在时间序列上的协同关系,团队成功识别出了不同的内部逻辑实体。

  再给上述特征打上“规划者”、“验证者”等虚拟角色的标签,就成功解码了 AI 内部的多角色对话行为deepseek

  通过对比 DeepSeek-R1 与 DeepSeek-V3、Qwen-2.5-32B-IT 这类普通指令模型的推理轨迹,发现推理模型的对话式行为出现的频率显著更高。

  当团队通过激活添加法强化模型的对话特征,放大“哦!”这类表达惊讶、转折的话语标记时,模型在 Countdown 算术推理任务中的准确率直接从 27.1% 翻倍至 54.8%。

  研究人员不提供任何对话结构的训练信号,只奖励模型答对题目的行为,结果发现模型会自发学会用对话式思考;

  而先通过多智能体对话数据对模型进行微调,再进行推理训练,进步速度会远快于直接训练推理或用独白式推理数据微调的模型。

  在 Qwen-2.5-3B 和 Llama-3.2-3B 两个模型体系中,早期训练阶段对话微调模型的准确率比独白微调模型高出 10% 以上,Llama-3.2-3B 到训练后期差距甚至扩大到 22%。原文出处:谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明,感谢原作者,侵权必删!

标签: deepseek

“谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明” 的相关文章

DeepSeek预测:西汉姆联vs切尔西!铁锤帮主场恐遭蓝军碾压,鲍文PK帕尔默

DeepSeek预测:西汉姆联vs切尔西!铁锤帮主场恐遭蓝军碾压,鲍文PK帕尔默

  英超第2轮即将迎来一场伦敦德比,降级区挣扎的西汉姆联将在伦敦体育场迎战状态渐入佳境的切尔西。两支球队首轮表现天差地别:铁锤帮0-3惨败升班马桑德兰,而蓝军则0-0闷平水晶宫。本场比赛对...

传DeepSeek正在开发具备更先进AI智能体功能的人工智能模型

传DeepSeek正在开发具备更先进AI智能体功能的人工智能模型

  有报道称,DeepSeek 正在开发一款具备更先进 AI 智能体功能的人工智能模型,意在与OpenAI等美国竞争对手在技术新前沿展开竞争。该公司正在打造的模型能够在用户仅提供最少指令的...

DeepSeek预测:国际米兰VS科莫!劳塔罗火力全开,蓝黑军团主场碾压升班马?

DeepSeek预测:国际米兰VS科莫!劳塔罗火力全开,蓝黑军团主场碾压升班马?

  北京时间12月7日凌晨1点,意甲第14轮将上演焦点对决——排名第3的国际米兰主场迎战升班马科莫。目前积分榜上,AC米兰与那不勒斯同积28分领跑,国米仅以1分之差紧咬,而科莫作为本赛季最...

11月23日DeepSeek预测:灰熊vs独行侠——伤病潮下的西南区内战,莫兰特

11月23日DeepSeek预测:灰熊vs独行侠——伤病潮下的西南区内战,莫兰特

  当达拉斯独行侠(5胜12负)在美航中心迎战孟菲斯灰熊(5胜11负),这场西南分区内战将成为西部排名卡位战的关键节点。两支胜率不足32%的球队仅相差0.5个胜场,败者将大概率跌至西部垫底...

软通华方超炫3700四卡液冷工作站,澎湃算力擘画教育蓝图

软通华方超炫3700四卡液冷工作站,澎湃算力擘画教育蓝图

  当《北京市教育领域人工智能应用工作方案》描绘出“以智助教”、“以智助学”、“以智助评”、“以智助育”、“以智助研”、“以智助管”六大领域的应用场景的蓝图,强大的本地算力基础设施便成为实...

11月15日DeepSeek预测:黄蜂vs雄鹿,字母哥缺阵或成转折点

11月15日DeepSeek预测:黄蜂vs雄鹿,字母哥缺阵或成转折点

  11月15日09:00,雄鹿将坐镇主场迎战背靠背作战的黄蜂。目前雄鹿7胜5负排名东部第7,黄蜂4胜7负位列第12。此役对双方排名至关重要——雄鹿若胜可冲击前六,黄蜂赢球则有望缩小与附加...