TwKit
正在载入
TwKit

邵猛又写了篇长的,讲 MIT Media Lab 今年秋天新开的一门研究生课:MAS.S62「How to AI an AI」,Paul Liang 开的,… · @wlzh · TwKit

@wlzh

邵猛又写了篇长的,讲 MIT Media Lab 今年秋天新开的一门研究生课:MAS.S62「How to AI an AI」,Paul Liang 开的,副标题干脆就叫"自演化 AI"。 Kimi 给学生期末项目赞助了 API 额度。 这门课关心的问题挺前沿的:当 AI 能靠经验、反馈、记忆和探索,在很长一段时间里自己改进自己,会发生什么? 这两年"用 LLM 优化 LLM""agent 自己改自己的 harness"这类论文散得到处都是,名词还各说各话。这门课做的事,是第一次把这一摊东西收成一个体系。 骨架是四层演化框架,从外到内: 一是上下文演化,模型不动,改喂给它的东西——提示词、记忆、检索、工具。TextGrad 把文本反馈当梯度用,DSPy 把提示写成可编译的程序,再到 FunSearch、AlphaEvolve 这种拿 LLM 进化代码的。 二是 harness 演化,模型外面的脚手架自己改自己:Voyager 在 Minecraft 里攒技能库,Darwin Gödel Machine 直接改自己的代码。难得的是阅读清单里还放了《Why Do Multi-Agent LLM Systems Fail?》这种泼冷水的实证论文,不光是吹。 三是模型演化,动权重:持续学习、蒸馏、测试时训练、self-play。 四是任务与环境演化,最深也最难:让 AI 自己出题、自己造环境、自己定评估标准。说到底,高质量的任务和评估,现在比高质量模型还稀缺。 四次编程作业正好一层一个,期末项目还卡了一条:必须碰新的或者没人认真研究过的数据模态/任务,评估方案得严谨。往届的期末项目真发成了 EMNLP、NeurIPS Workshop、ICCV 的论文,不是练手。 这个四层框架本身就值得收着。以后再看到谁宣称"AI 能自我改进了",先问一句:改的是哪一层?上下文层最便宜也最表面,环境层影响最深、也最难验真假。 🔗 原文:https://x.com/i/article/2112152891670896640

曝光 45 · 评论 1 · 点赞 1 · 书签 0

查看原帖