如何以每周每机器人不到0.02美元的成本运行300个Grok机器人 如果没有这个方法，同样的集群每周要花费4500美元 降低成本的20个GitHub仓库： … · @cnfinancewatch · TwKit

@cnfinancewatch

如何以每周每机器人不到0.02美元的成本运行300个Grok机器人 如果没有这个方法，同样的集群每周要花费4500美元 降低成本的20个GitHub仓库： 1. LiteLLM > 在一个失控的工作流吞噬整个预算之前，跟踪API支出并设置预算 http://github.com/BerriAI/litellm 2. Crawl4AI > 在分析前将网页转换为干净的Markdown，剔除菜单和页面杂乱，让机器人只阅读重要内容 http://github.com/unclecode/craw… 3. GPTCache > 为类似请求提供保存的答案，而不是重新生成 - 围绕任务定义匹配和新鲜度规则 http://github.com/zilliztech/GPT… 4. Chonkie > 将长文档拆分成块，以便检索获取相关段落，而不是附加整个文件 http://github.com/feyninc/chonkie 5. PyBreaker > 在配置阈值后暂停对反复失败服务的调用，防止一个损坏的依赖项无限循环 http://github.com/danielfm/pybre… 6. Mem0 > 跨运行存储和检索相关事实，让每个任务以选定的记忆开始，而不是整个对话 http://github.com/mem0ai/mem0 7. LLMLingua > 在模型阅读前压缩冗长输入 - 保留任务依赖的事实、约束和限定条件 http://github.com/microsoft/LLML… 8. RouteLLM > 将简单请求路由到更便宜的模型，将强大的模型保留给需要它的任务 http://github.com/lm-sys/RouteLLM 9. Prefect > 缓存成功任务结果，并在配置输入匹配时重用它们，跳过已完成步骤的不必要重跑 http://github.com/PrefectHQ/pref… 10. Firecrawl > 以Markdown或结构化数据形式收集网页内容，让工作流只选取需要的字段 http://github.com/firecrawl/fire… 11. requests-cache > 使用过期规则存储获取的响应，然后让脚本在再次请求机器人查看前重用有效数据 http://github.com/requests-cache… 12. Phoenix > 追踪你的AI工作流，检查重复调用，并在保留“优化”前比较变化与输出质量 http://github.com/Arize-ai/phoen… 13. FlagEmbedding > 在生成前重新排序检索的段落，保留强有力的证据并从提示中丢弃无关匹配 http://github.com/FlagOpen/FlagE… 14. Celery > 将后台作业放入工作队列，让代码处理等待和分发，而模型调用仅在需要它们的任务中运行 http://github.com/celery/celery 15. Graphiti > 将变化的事实保存在可搜索图中，然后检索相关上下文，而不是重播完整事件历史 http://github.com/getzep/graphiti 16. RTK > 在常见命令输出进入对话前压缩它们，防止重复日志吞噬有用上下文 http://github.com/rtk-ai/rtk 17. Hishel > 为你的获取工具添加HTTP缓存和重新验证，防止不变响应陷入重复的下载-分析循环 http://github.com/karpetrosyan/h… 18. APScheduler > 在Python中按计划运行轻量级检查，并在传递有用更新给代理前批量处理非紧急工作 http://github.com/agronholm/apsc… 19. Semantic Router > 使用本地嵌入将请求匹配到预定义工作流，而不是支付大模型来决定每一步 http://github.com/aurelio-labs/s… 20. Portkey Gateway > 在共享网关后缓存匹配的API响应，让连接的工作流在重复请求中重用答案 http://github.com/Portkey-AI/gat… 通过终端、MCP或你自己的代码连接工作流所需工具 - 将API调用路由到你选择的网关，让其控制真正生效 从最大的泄漏开始：超大输入、重复研究、空检查，或不断重启的失败操作 阅读前过滤 > 生成前重用 > 检查变化 > 停止失败循环 然后将完成的工作与总使用量进行衡量，包括围绕机器人运行的工具 下面的完整课程展示了如何将工作流组合在一起 ↓

曝光 247 · 评论 0 · 点赞 0 · 书签 0