当前位置:首页 > Deepseek最新资讯 > 正文内容

颠覆行业!仅29.4万美元,DeepSeek R1超低训练成本登上《自然》封面

7个月前 (09-20)Deepseek最新资讯451

  所公布的数亿美元级别成本,更标志着全球首个通过权威期刊同行评审的大型语言模型正式诞生,引发科技界对

  论文首次公开了R1模型的详细训练成本与技术细节:该模型使用512颗英伟达H800芯片组成的计算集群,经过80小时训练完成,总成本控制在29.4万美元。《自然》在封面推荐中特别指出,该研究揭示了在极少人工输入下训练模型进行推理的突破性方法,即通过强化学习让模型在正确解答数学问题时获得奖励,从而自主发展出逐步推理能力。

  这一成果颠覆了行业对大模型研发的认知。相比之下,OpenAI首席执行官萨姆・奥尔特曼(Sam Altman)2023年曾透露,其基础模型训练成本远超过1亿美元,而Anthropic首席执行官达里奥・阿莫迪(Dario Amodei)更预测未来三年AI模型训练成本可能飙升至1000亿美元。美国消费者新闻与商业频道(CNBC)评价称,DeepSeek的成本控制令人震惊,已经推翻了只有拥有最先进芯片的国家才能在AI竞赛中占据主导地位的假设。

  DeepSeek的低成本突破源于其开创性的技术路径。论文详细阐述了一种无需依赖大量人工标注数据的训练方法——通过纯粹的强化学习(RL)激发模型的复杂推理能力,而非传统方法中必须先用人类解题步骤进行监督微调(SFT)。

  该团队开发的群组相对策略优化(GRPO)算法无需使用与策略模型同等规模的评估模型,直接从群组分数中估算基线,大幅降低了计算资源需求。研究显示,模型在训练过程中自发发展出动态调整思考时间、自我反思修正甚至探索多种解题路径等高级行为,其中顿悟时刻(Aha Moment)的出现尤为引人注目——模型在训练中期学会了通过重新评估初始方法来合理分配思考时间。

  在工程实现上,DeepSeek采用了基座模型+强化学习的渐进式方案:首先利用A100芯片完成小规模模型的实验准备(即冷启动阶段),随后在512颗H800芯片集群上进行正式训练。这种分阶段优化策略既保证了模型性能,又显著控制了成本。Hugging Face机器学习工程师路易斯・汤斯顿(Lewis Tunstall)作为论文审稿人证实,其他实验室已成功复现R1模型的效果,证明该方法的普适性。

  值得注意的是,该团队在训练中引入语言一致性奖励机制,通过计算思维链(CoT)中目标语言单词的比例来优化模型输出,虽然这导致性能略有下降,但显著提升了可读性,体现了技术取舍中的实用主义考量。

  DeepSeek的低成本宣称也引发了关于技术合规性的争议。论文披露的H800芯片是英伟达公司在美国2022年10月禁止向中国出口H100、A100等高端AI芯片后,专为中国市场设计的特供版产品,其计算能力经过调整以符合美国出口管制要求。

  在《自然》论文的补充材料中,DeepSeek首次承认曾在研发准备阶段使用过A100芯片,用于较小规模模型的实验准备,但强调R1模型的最终训练是在H800芯片集群上完成。这一细节披露正值中美芯片贸易摩擦升级之际——美国政府今年多次收紧对华AI芯片出口限制,而中国商务部已于9月13日启动针对美国集成电路领域歧视性措施的反歧视调查。

  美国企业和官员此前曾质疑,DeepSeek能否使用性能受限的特供版芯片训练出高性能模型。对此,英伟达方面曾回应称DeepSeek使用的是合法采购的H800芯片。行业分析指出,H800作为A100的替代产品,虽在计算能力上有所降低,但通过集群优化和算法创新,仍能支撑先进AI模型的研发,DeepSeek的实践正是这一思路的成功验证。

  DeepSeek的研究成果不仅具有科学价值,更树立了AI研发透明化的新标杆。论文毫无保留地公开了包括学习率、采样温度、每道题尝试16个答案等具体参数设置,甚至坦诚为解决中英夹杂问题引入的语言一致性奖励会略微牺牲模型跑分,这种开放态度获得学术界高度评价。

  俄亥俄州立大学AI研究员Huan Sun评论道:经历严格的同行评审,无疑能有效验证模型的可靠性与实用价值。其他公司也应效仿此举deepseek,摆脱发布会上的惊艳演示和不断刷新的排行榜分数这种行业乱象。

  从行业视角看,R1模型的成功证明了低成本高效研发路径的可行性。DeepSeek采用的最大量免费数据预训练+模型自生成数据微调策略,与Meta的Llama系列开源模式形成呼应,但更进一步实现了顶级性能突破。科技咨询网站Tech Space 2.0分析指出:DeepSeek已经改变了游戏规则,这种节俭的策略是其他公司目前正在深入研究的模板。

  不过,研究也承认模型存在局限性,包括对非中英文查询可能出现语言混合、对提示词较敏感以及在长周期验证任务上提升有限等问题。这些不足恰恰为后续研究指明了方向,也凸显了AI技术仍需在开放与规范中不断演进。

  随着DeepSeek的研究登上《自然》封面,全球AI竞争正从资本密集型向智力密集型转变。29.4万美元与数亿美元的成本差距背后,不仅是技术路线的差异,更预示着AI民主化时代的加速到来——当先进模型的研发门槛大幅降低,人工智能技术的创新活力或将得到前所未有的释放。原文出处:颠覆行业!仅29.4万美元,DeepSeek R1超低训练成本登上《自然》封面,感谢原作者,侵权必删!

标签: deepseek

“颠覆行业!仅29.4万美元,DeepSeek R1超低训练成本登上《自然》封面” 的相关文章

2月22日DeepSeek预测:灰熊vs热火,阿德巴约率队捍卫主场

2月22日DeepSeek预测:灰熊vs热火,阿德巴约率队捍卫主场

  东部第八的热火将在主场迎战西部第十一的灰熊,两队近期状态迥异:热火近5场3胜2负,灰熊则1胜4负。此役对季后赛卡位战的热火至关重要,而伤兵满营的灰熊恐难延续历史交锋优势。...

DeepSeek V3.1引爆算力板块 浙江大学人工智能研究所副所长郑小林:自主

DeepSeek V3.1引爆算力板块 浙江大学人工智能研究所副所长郑小林:自主

  “在国产算力受限的当下,更需通过MoE模型优化、模型智能调度等技术,挖掘现有算力潜力。”浙江大学计算机学院教授、博士生导师,浙江大学人工智能研究所副所长郑小林对财联社记者表示。...

AI礼品新选择:DingTalk A1,融合效率与陪伴的认知伙伴

AI礼品新选择:DingTalk A1,融合效率与陪伴的认知伙伴

  马年新春将至,一份承载心意与远见的礼物,既是对过往的致谢,也是对未来的期许。当精心准备的馈赠能读懂对方生活里的真实痛点,悄然融入日常成为不可或缺的陪伴,这份新春祝福便拥有了超越时间的力...

1月14日DeepSeek预测:老鹰vs湖人,东契奇率队主场复仇

1月14日DeepSeek预测:老鹰vs湖人,东契奇率队主场复仇

  西部第五的湖人(23胜14负)将在斯台普斯中心迎战东部第九的老鹰(20胜21负),这是两队本赛季第二次交锋。在11月9日的首次对决中,老鹰曾以122-102大胜湖人,此番紫金军团坐镇主...

DeepSeek:倪张根的坚持与围棋的十字路口

DeepSeek:倪张根的坚持与围棋的十字路口

  一场围棋赛事的延期风波,折射出远超黑白世界的复杂棋局。倪张根对卞相壹的“禁赛令”,已成为体育精神、民族情绪与商业力量的多面镜。   第六届梦百合杯世界围棋公开赛的命运...

DeepSeek:已对AI生成合成内容添加标识 用户不得恶意删除

DeepSeek:已对AI生成合成内容添加标识 用户不得恶意删除

  此举为贯彻落实《人工智能生成合成内容标识办法》(2025年9月1日起施行)及《网络安全技术 人工智能生成合成内容标识方法》等国家标准的相关要求,防止AI生成内容可能引发的公众混淆、误认...