什么是后训练？ 简单来说，大模型的训练通常包括两个大的阶段：预训练（Pre-training）和后训练（Post-training）。 1. 预训练：让模型… · @whoknowskaemi · TwKit

@whoknowskaemi

什么是后训练？ 简单来说，大模型的训练通常包括两个大的阶段：预训练（Pre-training）和后训练（Post-training）。 1. 预训练：让模型学习知识和规律 模型通过海量的文本、代码等数据进行训练，学习语言规律、知识以及不同任务中的模式。 你可以把它理解为一个人通过大量阅读，建立自己的知识储备和基础能力。 但读过很多书，不代表就能把知识用好。 2. 后训练：进一步塑造模型的能力和行为 预训练之后，研究人员会通过后训练，让模型更好地遵循指令、解决问题，并按照预期完成任务。 常见的后训练方法包括： 🔹 SFT（监督微调）：通过高质量的示范数据，教模型如何回答问题、遵循指令。 🔹 RLHF（基于人类反馈的强化学习）：利用人类对模型回答的偏好反馈，进一步优化模型。 🔹 DPO（直接偏好优化）：利用偏好数据，直接优化模型生成回答的倾向。 🔹 RL（强化学习）：通过奖励信号优化模型行为，帮助模型在数学推理、代码等任务中提升表现。 这些方法并不是互相排斥的阶段，不同模型会根据训练目标组合使用。 3. 为什么后训练很重要？ 因为模型知道什么，不等于它能把这些知识转化成可靠的能力。 例如，一个模型可能已经具备编程知识，但不一定能根据用户的要求稳定地修改代码；它可能知道如何调用工具，却不一定能在复杂任务中正确使用工具并完成整个流程。 后训练的价值，就是进一步改善这些能力。 当然，后训练并不是万能的，也不意味着训练越多越好。数据质量、训练方法、计算成本和评估方式都会影响最终效果。 4. 那为什么有人说，现在大家都不做后训练了？ 这个说法值得进一步拆解。 后训练并没有因为某种技术趋势就整体消失。更准确的问题是：当基础模型越来越强，哪些能力还需要通过后训练获得？哪些能力可以通过扩大预训练规模、改进数据、推理时计算或其他方法实现？ 不同的模型和任务，答案可能不同。 理解后训练，不只是记住几个技术名词，更重要的是理解它在解决什么问题：如何让一个已经具备基础能力的模型，变得更有用、更可靠。

曝光 286 · 评论 1 · 点赞 2 · 书签 0