DeepSeek-R1模型训练方法发布

DeepSeek-AI团队梁文锋及其同事17日在《自然》杂志上发表了开源人工智能（AI）模型DeepSeek-R1所采用的大规模推理模型训练方法。研究表明，大语言模型（LLM）的推理能力可通过纯强化学习来提升，从而减少增强性能所需的人类输入工作量。训练出的模型在数学、编程竞赛和STEM领域研究生水平问题等任务上，比传统训练的LLM表现更好。

DeepSeek-R1包含一个在人类监督下的深入训练阶段，以优化推理过程。梁文锋团队报告称，该模型使用了强化学习而非人类示例来开发推理步骤，减少了训练成本和复杂性。DeepSeek-R1在被展示优质的问题解决案例后，会获得一个模板来产生推理过程，即这一模型通过解决问题获得奖励，从而强化学习效果。团队总结说，未来研究可以聚焦优化奖励过程，以确保推理和任务结果更可靠。

在评估AI表现的数学基准测试中，DeepSeek-R1-Zero和DeepSeek-R1得分分别为77.9% 和 79.8%，在编程竞赛及研究生水平的生物学、物理和化学问题上同样表现优异。