promptfoo/promptfoo 能把同一批题跑给不同模型，再并排看回答，适合改提示词后查有没有退步。MIT 开源。 官方示例有个提醒：成本和延迟断言… · @DeaglePc · TwKit

@DeaglePc

promptfoo/promptfoo 能把同一批题跑给不同模型，再并排看回答，适合改提示词后查有没有退步。MIT 开源。 官方示例有个提醒：成本和延迟断言只检查已完成的回答，不会封顶花费，也不会终止慢请求。设了测试阈值，账单还得另管。

曝光 36 · 评论 3 · 点赞 3 · 书签 0