推文

@fireandstart · 2026-10-15 04:01

GEPA 这条路线最有意思的地方，是把“改提示词”从凭感觉润色，变成一个可以反复检验的搜索过程：先在带标签的样例上运行指令，再让另一个模型同时看输入、输出和反馈，提出下一版；新版本回到同一批样例上比较，得分提升后才进入独立验证集。模型权重固定，变化集中在指令本身，因此更容易观察优化究竟来自哪里。 我尤其认同把独立验证放进流程：在参与搜索的样例上变好，只是候选信号，不足以证明迁移到新请求后也会变好。若每次修改都反复盯着同一批样例，提示词同样可能对样本过拟合。把候选评估与搜索分开，至少能让这种风险被看见，也避免把“分数提高”直接误读成普遍能力提升。 落地时还要算完整账本：优化器增加了多少模型调用、延迟和费用，验证集能否覆盖真实请求的变化，以及提示词更新后是否留有线上监测与回滚空间。否则离线指标上升，未必抵得过生产成本或数据分布变化。GEPA值得关注的不是自动改写本身，而是把反馈、候选筛选和独立评估串成闭环；这比只让模型“再想一个更好的提示”更可审计，也更接近可维护的工程流程。

曝光 25 · 评论 0 · 点赞 0 · 书签 0