说实话，我发现现在很多人学习 AI 工程的顺序可能真的搞反了。 Agent、RAG、MCP、Multi-Agent，各种框架、各种 Skill，每天都有新的… · @UPing123zzz · TwKit

@UPing123zzz

说实话，我发现现在很多人学习 AI 工程的顺序可能真的搞反了。 Agent、RAG、MCP、Multi-Agent，各种框架、各种 Skill，每天都有新的东西出来。 大家恨不得一上来就做一个能够自主规划、调用工具、完成复杂任务的超级 Agent。 但一个特别基础的问题，很多人可能到现在都没有认真研究过：当你把一段文字发送给大模型时，模型到底接收到了什么？ 答案不是我们人类所理解的完整文字，而是经过 Tokenizer 处理后的 Token 序列。 就这么一个看起来没什么技术含量的基础概念，实际上影响着上下文窗口、API 成本、代码生成、RAG 检索，甚至整个 Agent 系统的可靠性。 比如你在做 RAG 的时候，需要把企业知识库里的文档切成不同的 Chunk。 很多人可能直接按照字符长度切割，1000 个字符一段，觉得这样已经足够了。 但问题是，字符数量和 Token 数量根本不是一回事。 英文、中文、数字、代码、JSON，在不同模型的 Tokenizer 里面，可能会被切割成完全不同的 Token 序列。 如果你没有考虑 Embedding 模型真正支持的 Token 上限，就可能出现文档被截断、内容丢失，甚至检索效果下降的问题。 更麻烦的是，有些问题不会直接报错。 系统表面上正常运行，API 也返回了结果，但检索的时候就是找不到正确答案。 你以为是 Embedding 模型不行，或者 Reranker 有问题，折腾了半天，最后才发现问题可能出在最前面的数据处理阶段。 Agent 也是一样。一个复杂的 Agent 系统，除了用户输入的 Prompt，还要携带 System Prompt、历史对话、工具调用结果，以及各种上下文信息。 这些东西全部都在消耗 Token。 尤其是 Agent 长时间运行以后，工具输出不断累积，上下文越来越长。 如果没有合理的上下文管理，成本可能持续上升，关键信息也可能被挤出有效上下文，导致任务表现变差。 所以我现在觉得，学习 AI 工程真的不能只盯着最新的框架和工具。 你会调用 API，会配置工作流，会安装几个 Skill，这些东西当然有用。 但当系统真正出现问题的时候，你会发现决定自己能不能解决问题的，往往是那些平常觉得不起眼的基础知识。 比如 Tokenization、Context Window、Embedding、Retrieval、异步任务、状态管理、重试机制、幂等性，以及如何评估模型输出的可靠性。 这些东西单独拿出来，可能没有一个新 Agent 框架那么吸引人。 但如果你真的要把 AI 系统交付给企业，让它持续处理真实业务，这些基础反而绕不过去。 我自己从接触 AI 到现在做企业 GEO、Agent 和自动化工作流，感触最深的一点就是：做出一个能演示的 AI Demo，和做出一个能够稳定运行、长期交付的 AI 系统，完全是两种难度。 Demo 可以只展示最理想的情况。 但真实业务里，用户会上传格式混乱的文件，会输入你没有预料到的问题，API 会超时，工具调用会失败，知识库可能检索不到正确内容。 这些问题不是换一个更强的模型，就一定能够解决的。 你必须知道数据是怎么进入模型的，模型能看到哪些信息，系统在什么情况下会失败，以及失败以后应该怎么处理。 所以我特别认同原文提到的一个变化：过去学习数据科学，很多时候重点在于理解模型本身。 但到了 AI Engineering 阶段，你需要理解的是围绕模型构建起来的整个系统。 从用户输入，到 Tokenization、检索、上下文组装、模型推理、工具调用，再到最终的结果验证，每一层都可能决定系统到底能不能可靠运行。 当然，理解 Tokenization 并不会让你突然成为优秀的 AI 工程师。 但连这些基础都不理解，就急着搭建越来越复杂的 Agent，后面很容易陷入一种尴尬的状态： 系统能跑的时候，你觉得自己什么都会。 系统跑不通的时候，你甚至不知道应该从哪里开始排查。 AI 工具正在降低开发的门槛，但并没有取消理解系统的必要性。 反而因为代码和工作流越来越容易生成，真正能够理解底层机制、判断技术取舍、定位复杂问题的人，可能会变得更加重要。 我觉得未来 AI 工程师之间的差距，未必是谁知道的框架更多，谁收藏的 GitHub 仓库更多。 而是谁能够在一个系统出问题的时候，真正搞清楚它为什么失败，再用工程方法把问题解决。 不要总想着追最新的工具。有时候回过头来，把 Token、上下文、检索和系统可靠性这些基础重新学一遍，可能比再研究十个 Agent 框架都有用。 毕竟，调用模型很容易，真正理解并驾驭一个 AI 系统，才是工程能力。

曝光 287 · 评论 3 · 点赞 0 · 书签 3