告别 DOM 噪音与 Token 浪费：6 款专为大模型设计的开源数据清洗利器
@realfxw · 2026-10-12 12:59
在搭建 RAG 知识库或 AI Agent 数据流水线时，最消耗工程精力的往往不是模型选型或 Prompt 调优，而是非结构化数据的摄取与清洗。直接把网页源码或原始 DOM 丢给大模型，不仅会让上下文窗口被冗余的 CSS、JS
曝光 600 · 评论 0 · 点赞 0 · 书签 2 · 曝光/时 74.68480335142421
@realfxw · 2026-10-12 12:59
在搭建 RAG 知识库或 AI Agent 数据流水线时，最消耗工程精力的往往不是模型选型或 Prompt 调优，而是非结构化数据的摄取与清洗。直接把网页源码或原始 DOM 丢给大模型，不仅会让上下文窗口被冗余的 CSS、JS
曝光 600 · 评论 0 · 点赞 0 · 书签 2 · 曝光/时 74.68480335142421