推文

@snwiki238337 · 2026-10-09 15:36

对于将多 agent 引入一个信息源系统，我打算采用一种初次冻结图方便复用的方式降低 token 消耗量。 对于初次启动​： ​面对一个全新的网页或未知的防爬策略，主 agent 允许动态拓扑自由发挥。比如动态派生分析 Agent、交互 Agent、规则验证 Agent，通过多轮试错摸索出抓取路径。 熔断冻结并保存该图： ​一旦某次动态探索跑通，且质检节点确认提取结果完备，系统立即触发图冻结。也就是说​引擎提取本次成功路径的最小连通子图，剔除所有试错与冗余分支，并将动态决策直接固化为确定性规则。 通过这种方式，最终的系统可以实现持续复用拓扑图。​该网站后续的所有定时增量抓取，全部锁定并执行该固化后的静态图，完全跳过动态规划，成本归零，速度达到毫秒级。 另外还需要一个异常的处理措施和复现策略： ​静态图因为某些原因比如网站结构变更执行失败时，系统自动解冻，重新退回到动态拓扑探索模式，重新摸索路径并再次冻结。 这种方式其实是 jit 缓存的变体+ 自适应的代码修改。

曝光 314 · 评论 2 · 点赞 6 · 书签 1 · 曝光/时 47.83582643381171