📄 LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data 概述：LongZer… · @kafkaup · TwKit

@kafkaup

📄 LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data 概述：LongZero是一种无需外部数据的强化学习方法，让大语言模型自行合成长上下文多跳推理与多轮检索任务，并用GRPO训练以提升长上下文推理能力。 核心贡献：LongZero首次将“零数据强化学习”范式扩展到长上下文推理任务，提出先紧凑合成问答与证据、再单独扩展证据为长文档上下文的两阶段任务合成流程，从而摆脱对外部语料或更强教师模型的依赖。 实验结果：作者报告称，在两个大语言模型和五个长上下文推理基准上评测后，LongZero能够泛化到真实任务，并优于基于外部语料合成数据训练的强化学习基线，但摘要中未给出具体数值结果。

曝光 109 · 评论 3 · 点赞 0 · 书签 0