💥我靠！LLM评估终于不用再靠另一个“爱飘”的生成式裁判了！ DeepEval正式推出 JevEval：用Jev当自定义评估裁判，而不是每次都让另一个LLM… · @NFT_Chen · TwKit

@NFT_Chen

💥我靠！LLM评估终于不用再靠另一个“爱飘”的生成式裁判了！ DeepEval正式推出 JevEval：用Jev当自定义评估裁判，而不是每次都让另一个LLM去“生成”评分。 对比传统LLM-as-a-Judge： 🔹传统：模型自己解读标准 + 推理 + 生成结果（易飘、贵、慢、JSON还容易炸） 🔹JevEval：决策结构你定好，权重你配，strict_mode一开就是硬门槛。支持Yes/No、分级Score、Choice三种题型 特别适合Agent：直接评执行轨迹（trace），工具选对没、动作顺序对不对、任务到底完成没。 关键操作步骤（3分钟上手）： 1️⃣安装依赖：pip install -U deepeval typesafe-sdk 2️⃣配置Key：export TYPESAFE_API_KEY=你的key 3️⃣写问题：用Noul（是/否）、Score（分级）、Choice（行为选择）定义判断，可加权、可strict_mode 4️⃣丢进JevEval跑：支持单轮、多轮、甚至直接评Agent轨迹（不传evaluation_params即可） 5️⃣调用evaluate()，拿到0-1稳定分数 + 可追溯的score_breakdown 文档 + 示例代码已就绪，自定义评估终于能当“规格说明书”用了。 GitHub：https://github.com/confident-ai/deepeval 完整文档：https://deepeval.com/docs/metrics-jev-eval #AINEXT #大模型 #深度学习 #LLM评估 #DeepEval #JevEval #决策模型

曝光 1257 · 评论 9 · 点赞 17 · 书签 10