DeepSeek-R1大模型训练方法在《自然》杂志发表
开源人工智能（AI）模型DeepSeek-R1采用的大规模推理模型训练方法，本周发表在了《自然》 杂志上。作者是DeepSeek-AI团队梁文锋及其同事。
研究表明deepseek，大语言模型（LLM）的推理能力可通过纯强化学习来提升，从而减少增强性能所需的人类输入工作量。训练出的模型在数学、编程竞赛和STEM领域研究生水平问题等任务上，比传统训练的LLM表现更好。
让AI模型像人类一样进行推理一直是难题。LLM已显示出一些推理能力，但训练过程需要大量计算资源。通过人工提示引导可改进这类模型，促使其生成中间推理步骤，从而大为强化其在复杂任务中的表现。但这个方法会导致计算成本过高，并限制其扩展潜力。
DeepSeek-R1包含一个在人类监督下的深入训练阶段，以优化推理过程。文章说，该模型使用了强化学习而非人类示例来开发推理步骤，从而减少了训练成本和复杂性。DeepSeek-R1在被展示优质的问题解决案例后，会获得一个模板来产生推理过程。这一模型通过解决问题获得奖励，从而强化学习效果。在评估AI表现的数学基准测试中，DeepSeek-R1-Zero和DeepSeek-R1得分分别为77.9% 和 79.8%。作者补充说，该模型在编程竞赛及研究生水平的生物学、物理和化学问题上同样表现优异。
当前版本的DeepSeek-R1有一些能力限制，作者希望能在未来版本中得到改进。例如，该模型有时会混合语言，目前只针对中文和英文做了优化。它对提示词也很敏感，需要精心设计的提示词工程，在某些任务上没有展现出明显提升，例如软件工程任务。最后，作者总结说，未来研究可以聚焦优化奖励过程，以确保推理和任务结果可靠。（经济日报记者 佘惠敏）原文出处：DeepSeek-R1大模型训练方法在《自然》杂志发表，感谢原作者，侵权必删！
