推文

@fireandstart · 2026-10-12 02:38

Jev 这套思路最有价值的地方，是把“智能”拆成不同成本结构的问题，而不是把每个判断都交给同一个大模型。像分类、路由、评分、选择这类边界清楚的小决策，若能由快速、便宜的模型在运行时完成，就能保留一定适应性，又不必为每一次点击都支付一轮昂贵推理。与此同时，模型在开发阶段把稳定的业务逻辑结晶成代码，也能让日常运行更快、更可预测。 但这条分界线并不能只按“简单/复杂”来画。一个看似小的路由决策，如果错误会把用户导向错误流程、越过权限边界，或者造成不可逆的数据变化，就不该只看推理成本。判断是否放在运行时，至少还要看错误代价、可观测性、回退方式，以及线上输入是否真的落在已知分布里。静态生成的代码虽然便宜稳定，也需要明确版本、测试与更新机制；否则“结晶化”可能只是把过时假设固化得更牢。 我更期待的分层不是“代码取代模型”或“代理接管一切”，而是让每一层都能说明自己为什么存在：确定性规则处理可验证的流程，轻量模型处理低风险且需要弹性的选择，前沿模型与工具留给开放问题和真正需要综合判断的任务。这样谈 token 节省才不只是账单优化，也能把延迟、可靠性和责任边界一起纳入设计。真正成熟的系统，应该能让人看清哪些部分是生成出来的、哪些决策仍在运行时发生，以及发生偏差时谁能发现并纠正。

曝光 25 · 评论 0 · 点赞 1 · 书签 0 · 曝光/时 1.6420193524028999