打开各大 Benchmark无论是 SWE-bench、GAIA 还是 WebArena，大家都在测试同一个场景，给模型一段 Prompt，然后双手离开键盘… · @snwiki238337 · TwKit

@snwiki238337

打开各大 Benchmark无论是 SWE-bench、GAIA 还是 WebArena，大家都在测试同一个场景，给模型一段 Prompt，然后双手离开键盘，祈祷 Agent 能一个人从头到尾把代码写完、把网页点完。 但每一个在真实职场中每天使用 AI 的专业人士都清楚在现实的严肃生产力场景中，根本不存在所谓的全自动。 长流程工作流本质上全都是人机协同，人类定方向、看初稿、提意见、反复修剪，AI 负责辅助、提供支架、快速迭代。 然而我们却从未测过一个问题：当 AI 生成了一大段答案离开聊天框后，它真的知道人类在怎么使用它的产出吗？它自以为的高效，是不是只是人类在帮它？ 明尼苏达大学 NLP 团队联合多家机构刚刚发布的这篇论文讲的就是这件事Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows。 他们构建了业内首个针对真实长流程人机协作的多模态基准 Kolab，记录并复盘了人类专家在聊天窗口之外的真实行为。 结果是当今最顶尖的基座与智能体大模型，普遍有极其严重的过度自信，它们不仅完全猜不到人类在如何处置自己的产出，甚至根本读不懂人类的沉默。 为了捕捉最真实的人机交互，Kolab 深入了40 个专业领域、追踪了 50 位资深专家在 90 多款专业软件中超过 115 小时的屏幕实操全过程，细分了 508 个协作步骤。 在屏幕录像的下，AI 输出离开对话框后的操作被拆解为三种： 人类直接复制使用 人类发现骨架可用，但在外部软件中进行了大量重写与修补 人类看了一眼后一言不发，直接删掉全盘推翻重写。 也就是说在专业人士眼里，超过三分之一的 AI 产出根本不能直接用。 但因为人类是在第三方软件窗口里默默改代码或重写文档，并没有在聊天框里跟 AI 抱怨，现有的 Agent 对此完全一无所知，依然沉浸在自己的幻觉中。 研究团队让包括 GPT-6 Astra、Claude Opus 5.5、Gemini 3.1 Pro、Gemini 3.8 Flash 以及 Qwen3-VL 等顶级多模态大模型来做两项预测 一是预测人类究竟是采纳、修改还是拒绝了输出。二是预测人类专家对这次协作的真实满意度与质量打分。 结果可以说是全员翻车，所有前沿模型在预测人类使用行为时的 F1 分数最高仅有 0.513（GPT-6 Astra）。尤其在预测 REJECT 上，模型的 F1 分数跌至谷底Gemini 仅为 0.129，GPT 仅为 0.235。大模型固执地认为人类一定会全盘采纳我的建议。 此外当让大模型给本次协作的满意度打分时，模型预测与人类专家的实际感受呈现出巨大的脱节。很多时候人类已经改得焦头烂额，AI 却给自己打出了满分。 消融实验表明哪怕把人类过去所有的长视频和完整图谱上下文全部塞进上下文窗口，模型的判断准确率依然没有稳定提升，部分开源大模型甚至因为长上下文的噪声而导致判断力进一步退化。 如果一个 Agent 连自己被改了多少行、被拒绝了多少次都毫无感知，它就永远不可能成为专业人士真正能用的一个 agent。 推荐所有在打造 Copilot 产品、企业级智能助手与人机协作工作流的开发者和产品经理读这篇 arxiv：https://arxiv.org/abs/2610.21109

曝光 248 · 评论 6 · 点赞 3 · 书签 1