TwKit
正在载入
TwKit

Oct. 30th 2026 小路和你读AI论文。今日5篇高质量论文。 其中第二篇小路觉得最有意思,这2天我会发一篇精读文章。 1. 𝗧𝗿𝗮𝗶𝗻𝗶𝗻𝗴 𝗙𝗼… · @Zen_with_AI · TwKit

@Zen_with_AI

Oct. 30th 2026 小路和你读AI论文。今日5篇高质量论文。 其中第二篇小路觉得最有意思,这2天我会发一篇精读文章。 1. 𝗧𝗿𝗮𝗶𝗻𝗶𝗻𝗴 𝗙𝗼𝘂𝗻𝗱𝗮𝘁𝗶𝗼𝗻 𝗠𝗼𝗱𝗲𝗹𝘀 𝘄𝗶𝘁𝗵 𝗮 𝗦𝗶𝗻𝗴𝗹𝗲 𝗔𝗹𝗴𝗼𝗿𝗶𝘁𝗵𝗺(《用单一算法训练基础模型》) 链接:https://arxiv.org/abs/2610.40564 作者背景:Yuda Song、Fahim Tajwar、Ruslan Salakhutdinov、J. Andrew Bagnell、Aarti Singh、Andrea Zanette 等,Carnegie Mellon University / Johns Hopkins University 一句话概括:把预训练、中期训练、SFT 和合适的 RL 目标统一成同一个最大似然拟合问题,训练全周期变成"选什么数据、按什么比例和时机混合"。理论上把 RL 目标还原为对目标分布的似然拟合,受控和真实实验都显示,同等算力下准确率与算力的权衡和任务覆盖更好,能力保留也更好。对基础模型训练研究者和基础设施团队有直接参考价值。 2. 𝗛𝗼𝘄 𝘁𝗼 𝗟𝗼𝗼𝗽 𝗬𝗼𝘂𝗿 𝗧𝗿𝗮𝗻𝘀𝗳𝗼𝗿𝗺𝗲𝗿: 𝗟𝗼𝗼𝗽 𝗦𝗰𝗮𝗹𝗶𝗻𝗴, 𝗦𝗽𝗲𝗰𝗶𝗮𝗹𝗶𝘇𝗮𝘁𝗶𝗼𝗻, 𝗮𝗻𝗱 𝗣𝗮𝗿𝗮𝗹𝗹𝗲𝗹 𝗜𝗻𝗳𝗲𝗿𝗲𝗻𝗰𝗲(《如何循环你的 Transformer:循环扩展、特化与并行推理》) 链接:https://arxiv.org/abs/2610.40325 作者背景:Chanakya Ekbote、Artidoro Pagnoni、Mike Lewis、Sujan Kumar Gonugondla 等,FAIR at Meta 一句话概括:系统比较了循环 Transformer 在参数预算、训练算力和自回归推理效率约束下的设计取舍,并给出循环特异性 LoRA 和改进的并行循环方案。实验最大到 1B 参数、155B token、32 次循环:固定参数时全栈循环质量最好,算力受限时循环中间块更优,单纯加循环次数会饱和或不稳定。对需要在参数量和推理成本之间权衡的架构与效率团队有直接指导意义。 3. 𝗩𝗲𝗿𝗶𝗖𝗨𝗔: 𝗩𝗲𝗿𝗶𝗳𝗶𝗰𝗮𝘁𝗶𝗼𝗻 𝗮𝘀 𝗔𝗴𝗲𝗻𝘁𝗶𝗰 𝗘𝘅𝗽𝗹𝗼𝗿𝗮𝘁𝗶𝗼𝗻 𝗳𝗼𝗿 𝗖𝗼𝗺𝗽𝘂𝘁𝗲𝗿-𝗨𝘀𝗶𝗻𝗴 𝗔𝗴𝗲𝗻𝘁𝘀(《VeriCUA:把验证当作智能体的主动探索,面向电脑操作智能体》) 链接:https://arxiv.org/abs/2610.40578 作者背景:Qiushi Sun、Da Yu、Ravi Kumar、Pritish Kamath 等,Google Research / The University of Hong Kong 一句话概括:把电脑操作智能体的任务完成验证做成主动收集证据的过程,先读上下文生成细粒度 rubric,再选 GUI 或代码检查,并按证据规则仲裁。现有 VLM 判断器和程序检查器都只能看到部分状态,容易漏掉关键证据或放过虚假完成,VeriCUA 跨平台与参考标签的一致性更高,在困难案例和拒绝虚假完成声明上提升最明显。对搭建可靠的 CUA 训练与评估流水线的团队有直接价值。 4. 𝗡𝗲𝘁𝘄𝗼𝗿𝗸 𝗧𝗼𝗽𝗼𝗹𝗼𝗴𝘆 𝗗𝗼𝗲𝘀 𝗡𝗼𝘁 𝗠𝗮𝘁𝘁𝗲𝗿: 𝗧𝗵𝗲 𝗕𝗿𝗲𝗮𝗸𝗱𝗼𝘄𝗻 𝗼𝗳 𝗖𝗹𝗮𝘀𝘀𝗶𝗰𝗮𝗹 𝗖𝗼𝗻𝘀𝗲𝗻𝘀𝘂𝘀 𝗶𝗻 𝗟𝗟𝗠 𝗣𝗼𝗽𝘂𝗹𝗮𝘁𝗶𝗼𝗻𝘀(《网络拓扑无关紧要:LLM 群体中经典共识的失效》) 链接:https://arxiv.org/abs/2610.37699 作者背景:Sahil Rajesh Dhayalkar(独立研究者) 一句话概括:LLM 多智能体群体的更新算子系统性违反凸性,会出现负权重和主动排斥,网络拓扑几乎解释不了最终共识。作者在 8 个指令调优模型、7 万余次受控交换中直接测量更新算子,大规模模拟里代数连通性几乎解释不了方差,部分模型群体在任意拓扑下都会稳定收敛到错误主张。对多智能体系统设计和对齐研究者是个提醒:靠调拓扑可能没用,要看模型自身的更新偏置。 5. 𝗣𝗿𝗲-𝗖𝗿𝗶𝗺𝗲 𝗳𝗼𝗿 𝗔𝗴𝗲𝗻𝘁𝘀, 𝗮𝘁 𝘁𝗵𝗲 𝗟𝗮𝘀𝘁 𝗦𝗲𝗰𝗼𝗻𝗱: 𝗣𝗿𝗼𝗯𝗶𝗻𝗴 𝗪𝗵𝗲𝗻 𝗮 𝗥𝗲𝗰𝗿𝘂𝗶𝘁𝗲𝗱 𝗔𝗴𝗲𝗻𝘁 𝗚𝗶𝘃𝗲𝘀 𝗜𝗻(《智能体的"预判犯罪":探测被招募的智能体何时屈服》) 链接:https://arxiv.org/abs/2610.40588 作者背景:Leonidas Raghav(独立研究者) 一句话概括:在智能体即将泄露秘密、还没生成输出之前,用激活上的线性探针就能检测出"即将屈服",效果明显好于零样本文本监控。Qwen3-32B 上良性误报 5% 时能捕获 82% 的泄露调用。词袋分类器的表现也接近,说明标签监督贡献不小,另外警告范围较短,可能误伤良性轨迹。对智能体安全与监控研究者有实用参考。

曝光 445 · 评论 3 · 点赞 2 · 书签 2

查看原帖