当前位置:首页 > Deepseek最新资讯 > 正文内容

谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明

3个月前 (01-20)Deepseek最新资讯72

  研究发现,当遇到 GPQA graduate-level 科学问题、复杂数学推导这类高难度任务时,这种内部观点冲突会变得更加激烈。

  团队通过分析 DeepSeek-R1 和 QwQ-32B 等模型的思维轨迹发现,它们的推理过程充满了对话感。

  团队借助稀疏自编码器 SAE,对 AI 的推理黑盒进行了深度解码,成功“监听”到了 AI 的脑内群聊。

  首先,研究者让 AI 执行复杂的数学或逻辑推理任务。在模型产出思维链的同时,团队同步提取其隐藏层神经元的激活数值。

  将这些激活数据输入 SAE,通过 SAE 的稀疏约束机制,就可以把杂乱的激活拆解为“自问自答”、“切换视角”等独立的对话语义特征;

  通过分析这些特征的激活频率以及它们在时间序列上的协同关系,团队成功识别出了不同的内部逻辑实体。

  再给上述特征打上“规划者”、“验证者”等虚拟角色的标签,就成功解码了 AI 内部的多角色对话行为deepseek

  通过对比 DeepSeek-R1 与 DeepSeek-V3、Qwen-2.5-32B-IT 这类普通指令模型的推理轨迹,发现推理模型的对话式行为出现的频率显著更高。

  当团队通过激活添加法强化模型的对话特征,放大“哦!”这类表达惊讶、转折的话语标记时,模型在 Countdown 算术推理任务中的准确率直接从 27.1% 翻倍至 54.8%。

  研究人员不提供任何对话结构的训练信号,只奖励模型答对题目的行为,结果发现模型会自发学会用对话式思考;

  而先通过多智能体对话数据对模型进行微调,再进行推理训练,进步速度会远快于直接训练推理或用独白式推理数据微调的模型。

  在 Qwen-2.5-3B 和 Llama-3.2-3B 两个模型体系中,早期训练阶段对话微调模型的准确率比独白微调模型高出 10% 以上,Llama-3.2-3B 到训练后期差距甚至扩大到 22%。原文出处:谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明,感谢原作者,侵权必删!

标签: deepseek

“谷歌新发现:DeepSeek 推理分裂出多重人格,左右脑互搏越来越聪明” 的相关文章

梁文锋代表DeepSeek,他代表梁文锋

梁文锋代表DeepSeek,他代表梁文锋

  阿里云创始人王坚院士亲自主持,宇树创始人及CEO王兴兴、强脑科技创始人及CEO韩璧丞、群核科技创始人及董事长黄晓煌、游戏科学创始人及CEO、《黑神话:悟空》制作人冯骥、云深处科技创始人...

中国创新药的“DeepSeek时刻”来临

中国创新药的“DeepSeek时刻”来临

  中国创新药企凭借七年来政策、资本和人才的积累,迎来“DeepSeek时刻”,在研发能力和临床数据质量上已达到国际先进水平,成为跨国药企争相合作的对象。   创新药“质...

Anthropic声称被Deepseek蒸馏!马斯克为啥怼?

Anthropic声称被Deepseek蒸馏!马斯克为啥怼?

  2.4万个虚假账号,与Claude进行了约1600万次交互,用来抽取模型能力训练自家模型。Anthropic称,这种行为并非正常使用,而是系统化、工业级的能力提取。他们形容为“hydr...

DeepSeek概念12日主力净流入2.67亿元,海光信息、神州泰岳居前

DeepSeek概念12日主力净流入2.67亿元,海光信息、神州泰岳居前

  8月12日,DeepSeek概念上涨0.13%,今日主力资金流入2.67亿元deepseek,概念股79只上涨,18只下跌。   主力资金净流入居前的分别为海光信息(...

1月13日DeepSeek预测:凯尔特人vs步行者,绿军双星闪耀客场轻取残阵对手

1月13日DeepSeek预测:凯尔特人vs步行者,绿军双星闪耀客场轻取残阵对手

  北京时间1月13日早8:30,NBA常规赛将迎来东部强弱对话——排名第3的凯尔特人(24胜14负)客场挑战垫底步行者(8胜31负)。作为联盟传统豪强,绿军近期虽2胜3负但整体实力碾压,...

编程表现超越Claude和GPT?DeepSeek准备第二次震惊全世界

编程表现超越Claude和GPT?DeepSeek准备第二次震惊全世界

  去年7月,由于DeepSeek下载量从高峰期的8000多万暴跌至2000多万,下滑72.2%,“DeepSeek跌落神坛”就成为了当时互联网最热门的话题。   但据多...