这五个让AI检查自己错误的项目，你绝对用得上！ 他们分别解决改稿、失败重试和系统评测的问题。 1｜Self-Refine：让 AI 对自己的初稿提意见 先生… · @CY160909 · TwKit

@CY160909

这五个让AI检查自己错误的项目，你绝对用得上！ 他们分别解决改稿、失败重试和系统评测的问题。 1｜Self-Refine：让 AI 对自己的初稿提意见 先生成内容，再让模型指出具体问题，然后按反馈修改，可以反复迭代。 适合文案润色、代码改进等任务。 GitHub： https://github.com/madaan/self-refine 2｜Reflexion：让 Agent 吸取上一次失败的经验 任务失败后，根据测试或环境反馈写下失败原因，下次尝试时把这段反思作为上下文。 比如代码没通过测试，Agent 可以参考报错和之前的分析重新尝试。 前提是有可信的反馈；光让 AI 自己猜错因并不可靠。 GitHub： https://github.com/noahshinn/reflexion 3｜DeepEval：给 AI 应用做自动化测试 给 AI 客服或知识库问答准备一组问题，再设定相关性、事实忠实度等评分指标，就能找出哪些回答没达到标准。 适合检查 RAG、聊天机器人、Agent 更新前后的质量变化。 部分评测需要调用裁判模型，存在成本和误判。 GitHub： https://github.com/confident-ai/deepeval 4｜Promptfoo：批量对比模型和提示词 拿同一组测试题比较多个模型，查看每道题的回答、断言结果和失败案例；还支持提示词注入等安全测试。 适合想认真比较 GPT、Claude、Gemini，或给 AI 产品建立发布前测试的人。 GitHub： https://github.com/promptfoo/promptfoo 5｜Inspect AI：更完整的模型与 Agent 评测框架 英国 AI Security Institute 开发，能把测试数据、模型调用、工具使用和评分流程组合起来，官方还有 200 多种预设评测。 适合研究人员和需要成体系测试 Agent 的团队。 GitHub： https://github.com/UKGovernmentBEIS/inspect_ai

曝光 61 · 评论 1 · 点赞 0 · 书签 0