# 評分高就等於評得準？LLM 當評判先被拆穿：只看一致率，你根本是在給偏見頒獎 ## 一、開頭：來源、日期、反常識結論 英文原文《LLM as a Jud… · @swordBluesy · TwKit

@swordBluesy

# 評分高就等於評得準？LLM 當評判先被拆穿：只看一致率，你根本是在給偏見頒獎 ## 一、開頭：來源、日期、反常識結論 英文原文《LLM as a Judge: Calibrate in 13 Steps, 60 Min [2026]》，出自 Tech Insider，2026 年 10 月 25 日發表。原文標題直譯：《把大語言模型當評判：13 步校準，60 分鐘》。作者在開篇就劃了一條時間線：在 2026 年 10 月 2 日到 13 日的 11 天裡，OpenAI 記錄了 GPT-6 家族，Anthropic 把 Claude Haiku 5.5 推進了 Opus 5.5、Sonnet 5.5、Haiku 5.5 的陣容，Google 則發布了 Gemini 4 Argon。 先把反常識結論放前面：一個跟你的審查員大多數時候都一致的評判模型，仍可能是一把壞尺子。如果它偏愛放在 A 位置的答案，或者偏愛比較長的答案，那個一致率反映的 mostly 是你資料集裡的運氣，而不是它的判斷力。原文的整套做法，就是先別信任何一個分數，先把評判的偏見量出來：位置偏見、冗長偏見、翻轉率，量完、過了門檻，才能把分數放進 CI（持續整合，程式碼一提交就自動跑檢查的流程）。 ## 二、說清詞 - LLM 當評判（LLM as a Judge）：叫一個大語言模型去比較兩個答案、判誰贏的評估方法，省人力，但自帶偏見。 - 黃金標籤（Gold Labels）：事先由可信的人判好的正確答案，是衡量評判準不準的對照組，不是模型自己說了算。 - Cohen's kappa（科恩 kappa 值）：扣掉「瞎猜也能猜中」的那部分之後，評判與黃金標籤的一致程度；光看一致率會灌水，kappa 才會露出馬腳。 - 位置偏見（Position Bias）：評判偏愛放在某個位置（例如總是選 A）的毛病，與答案內容無關。 - 冗長偏見（Verbosity Bias）：評判偏愛比較長的答案的毛病，寫得長不代表寫得對。 - 翻轉率（Flip Rate）：把兩個答案調換位置後，評判改變判決的比例；翻轉率高，說明它判的是位置，不是內容。 - 模擬評判（Mock Judge）：原文前 12 步用的離線假評判，偏見可以自己調，用來免費測通整個評估流程，測通了第 13 步才換真模型。 ## 三、一個真實例子，點名一條眼熟的進化路線 原文的示範資料集只有 96 對答案，種子固定為 7，所以任何人跑出來都是同一批。12 條常識題反覆出現 8 次——澳洲首都是坎培拉不是雪梨、一個位元組是 8 位元不是 10 位元、HTTPS 預設埠是 443 不是 80——重點根本不在考模型懂不懂，而在考評估流程抓不抓得到作弊。設計上有兩個刻意安排：正確答案一半放 A、一半放 B，所以一個永遠選 A 的評判只能拿到 50% 準確率、kappa 接近零；正確答案一半被填充廢話墊長、一半錯誤答案被墊長，所以長度與對錯脫鉤。這條路線你一定眼熟：考試之前先防作弊，考卷設計本身就要讓猜題、看位置、看長度都拿不到分——跟出題老師先把選擇題答案平均分配到四個選項、再談鑑別度，是同一個道理。 ## 四、先把話說全：反方適用條件清單 以下情況，原文這套校準做法不適用，或者說，別硬套： - 你只需要評判給一個大概感覺、不進任何決策：校準流程要花 60 分鐘，為感覺付這個成本不划算。 - 你的任務本來就允許兩個答案都對：原文用二元標籤（非 A 即 B）是為了讓 kappa 算法簡單，有平手選項要先升級設計，原文只在進階提示裡提及。 - 你的專家自己都吵不出一致意見：原文提醒，先讓兩個人標同一批樣本、算人與人之間的 kappa，評判再厲害，也不該指望它超過人類自己的一致程度。 - 你想直接引用廠商公布的評判一致率：原文在 2026 年 10 月 25 日查核時明言，沒找到 Anthropic、OpenAI、Google 任何一家公布的、關於自家模型與人類評分者一致率、位置偏好或長度偏好的官方數字；廠商公布的是能力與價格，不是評判校準。 - 你打算把模型 ID 寫死在程式碼裡：原文提醒，商品名與 API 模型 ID 不一定是同一個字串，而且作者當日未能確認每一個 API ID，正確做法是從環境變數讀、從廠商模型清單複製原文。 - 你的評判要長期押在某個舊模型上：原文稱「據報導」Anthropic 計畫於 2026 年 11 月 30 日從 API 退役 Claude Sonnet 4.5，這是未經作者證實的傳聞，動手前要以官方公告為準，不要直接寫進長期計畫。 ## 五、一句定性金句 評判的第一份工作不是打分，而是先證明自己沒有偏見；一個連自己偏見都量不出來的評判，給的分數越高，誤導就越像真理。 ## 六、正文 ### 第一節：翻車清單 - 只看一致率：永遠選 A 的評判在正確答案平均分布的資料集上也能拿 50%，一致率會替它掩護。 - 評判提示詞獎勵風格：沒寫明「只判事實正確性與任務完成度」，評判就會獎勵長度、禮貌與排版，短而對的答案反而輸。 - 提示詞洩漏答案：提示詞裡提到黃金標籤、寫答案的模型或分數，評判就不是在判答案，是在對暗號。 - 資料集沒有對沖設計：正確答案全放同一側、正確答案全比較長，評估流程本身就在教評判作弊。 - 上來就燒真模型：流程還沒跑通就接付費 API，bug 全按真金白銀計費，錯一次、付一次。 - 金鑰直接寫進專案：一個評判專案要同時放三家廠商的金鑰，沒寫 `.gitignore`，洩漏一次的善後成本遠高於五秒鐘的設定。 - 成本模型抄廠商廣告價：Gemini 4 Argon 的介紹價只到 2026 年 11 月 30 日，12 月 1 日起輸入與輸出價格翻倍（原文列為每百萬輸入 2 美元變 4 美元、輸出 10 美元變 20 美元），拿介紹價做明年預算，12 月一定超支。 ### 第二節：替代方案與理由 - 替代一：先離線跑模擬評判。理由：原文前 12 步完全離線，偏見可調，流程跑通、數學鎖死之後，第 13 步才換真模型，bug 不用按 token 付費。 - 替代二：每對答案判兩次，正序一次、倒序一次。理由：位置偏見只有在調換位置後才會現形，判一次永遠看不出來。 - 替代三：用 kappa，不只用準確率。理由：kappa 扣掉了瞎猜也能對的部分，永遠選 A 的評判在對沖資料集上 kappa 接近零，無所遁形。 - 替代四：評判提示詞寫成合約。理由：原文的提示詞只做五件事——只判事實與任務完成度、明言長度禮貌排版不加分、先給一句理由再給勝者、只回 JSON、絕不提黃金標籤與模型名；合約越死，風格偏見越沒地方鑽。 - 替代五：結果加快取、用雜湊當鍵。理由：原文把每次成功判決存進 `.cache/verdicts.jsonl`，鍵是評判名、模型 ID、提示詞版本、問題與兩個答案的雜湊；重跑評估時，判過的組合不用再花錢，改報告邏輯可以反覆迭代。 ### 第三節：目標形態 目標形態是一個「先校準、後信任」的評估實驗室：資料夾分工清楚（資料、程式、測試、結果），資料集是 100 到 200 對來自真實流量的答案、由領域專家標好黃金標籤，評判提示詞是寫死的合約，每對答案正序倒序各判一次，輸出是 kappa、位置偏見、冗長偏見、翻轉率四個數字，最後是一道可以放進 CI 的通過／不通過門檻。成本上，原文的規劃假設是 200 對答案、正反各判一次共 400 次呼叫，每次約 600 個輸入 token、80 個輸出 token；按這個假設，Haiku 5.5 與 GPT-6 Luna 一檔約 0.04 美元，GPT-6.1 Sol 與介紹價的 Argon 約 0.80 美元，GPT-6 Astra 約 4.00 美元——重點不是這幾個零錢數字，而是證明「在這個量級，成本永遠不該成為跳過偏見測試的理由」。 ### 第四節：遷移步驟 1. 建骨架：`mkdir -p judge-lab/{data,judgelab,tests,results}`，建虛擬環境，Python 至少 3.10 版（原文實測 3.12 版），因為程式碼用了 `X | Y` 這種型別提示寫法；先寫 `.gitignore`，把 `.env`、`.cache/`、`.venv/`、`results/` 排除在外。 2. 裝三個套件：openai（Python SDK，一個客戶端類別可對接任何 OpenAI 相容端點）、python-dotenv（從本機 .env 讀金鑰與模型 ID）、pytest（鎖死 kappa 數學的單元測試）；再寫 pytest.ini，定好 `pythonpath = .` 與 `testpaths = tests`，否則 pytest 會在收集階段就因 import 失敗而死掉。 3. 寫環境變數範本：每家廠商一個區塊，模型 ID 從廠商模型清單複製原文，不要寫死、不要猜；用不到的廠商留空，因為程式只讀命令列傳入的那一家；端點也要去廠商文件再確認一次，端點是整套東西裡最容易變的部分。 4. 建黃金資料集：每筆五個欄位——id、question、answer_a、answer_b、gold（A 或 B）；真實專案從生產流量取 100 到 200 對、請一位領域專家標註；二元標籤是為了 kappa 簡單，有平手需求以後再升級。 5. 先跑示範資料集：用原文的生成器跑出 96 對、種子 7 的對沖資料集，正確答案一半放 A、一半放 B，正確與錯誤答案輪流被填充廢話墊長；先確認永遠選 A 的評判只能拿 50% 準確率、kappa 接近零，評估流程本身先通過作弊測試。 6. 寫評判提示詞：系統提示詞只判事實正確性與任務完成度，明言不獎勵長度、禮貌、排版，先給一句理由再給勝者，只回 JSON，不提黃金標籤、模型名與分數；使用者提示詞只放問題與兩個答案。 7. 寫評判客戶端：溫度設 0、輸出上限 200 個 token、用正則表達式解析勝者、失敗重試最多 4 次、退避間隔 1 秒、2 秒、4 秒；每次成功判決寫進 `.cache/verdicts.jsonl`，鍵用評判名、模型 ID、提示詞版本、問題與兩個答案的雜湊；提示詞版本取系統提示詞加使用者提示詞雜湊的前 12 碼，提示詞一改，快取自動失效。 8. 算五個指標：準確率、kappa、位置偏見、冗長偏見、翻轉率（門檻自定）；先用模擬評判調偏見，看數字是否跟著偏見設定走，數字不會動，說明流程本身有 bug。 9. 訂門檻、進 CI：把四到五個指標寫成通過／不通過的門檻，門檻不過，評估就不算過；門檻數字要按你的任務定，原文不替你定通用門檻，抄別人的門檻等於抄別人的容忍度。 10. 第 13 步才換真模型：流程跑通後，從 `.env` 讀模型 ID 與端點，接一家真評判跑同一批資料，對照模擬結果；成本先按 400 次呼叫的規劃假設估算，Argon 的介紹價只算到 2026 年 11 月 30 日，12 月 1 日起按翻倍價重算。 ### 第五節：團隊共建分工 - 一個人先建實驗室骨架：負責資料夾、虛擬環境、套件、pytest 設定與 `.gitignore`，骨架跑通才談評判。 - 第二個人專管黃金標籤：負責從生產流量取樣、請領域專家標註、處理專家意見不一致的情況；專家先算人與人之間的 kappa，人的天花板先定下來。 - 第三個人專管評判提示詞與快取：負責提示詞版本、JSON 格式、重試與快取鍵，提示詞一改，版本與快取同步失效，不能讓舊判決混進新報告。 - 團隊共用一條鐵律：評估報告裡的每一個數字，都要能追溯到資料集版本、提示詞版本與模型 ID；追溯不到的數字，不許出現在決策會議上。 - 驗收一人說了算：門檻由任務負責人定，評判自己不許給自己定門檻；門檻不過，模型再便宜、再快，都不許上線當評判。 ### 第六節：官方工具包 - 語言與套件：Python 3.10 以上（實測 3.12）、openai、python-dotenv、pytest；只用長期穩定的呼叫（chat.completions.create、load_dotenv、pytest.approx），原文刻意不鎖死套件版本號。 - 資料格式：`data/pairs.jsonl`，每行一筆，欄位為 id、question、answer_a、answer_b、gold。 - 評判客戶端設定：溫度 0、輸出上限 200 個 token、正則解析、最多重試 4 次、退避 1 秒／2 秒／4 秒、快取檔 `.cache/verdicts.jsonl`。 - 價格快照（原文 2026 年 10 月 25 日整理，皆為每百萬 token 價格，輸入／輸出）：Claude Haiku 5.5 為 0.10 美元／0.50 美元（100000 token 以內提示）；GPT-6 Luna 為 0.10 美元／0.50 美元；GPT-6.1 Sol 為 2 美元／10 美元；GPT-6 Astra 為 10 美元／50 美元；Gemini 4 Argon 介紹價為 2 美元／10 美元（至 2026 年 11 月 30 日，之後為 4 美元／20 美元，另原文稱其快取輸入折扣 95%）；Sonnet 5.5 與 Opus 5.5 的單價作者當日未能從主要來源確認，本文寫「未公布」，不編造。 - 價格核對點：價格、模型 ID、端點皆以各廠商當下官方頁面為準；原文的價格表是規劃假設（200 對答案、400 次呼叫、每次約 600 輸入 token、80 輸出 token），不是實測生產帳單。 ## 七、結尾收束 原則比架構重要。評估架構可以一路疊到三家廠商、幾千對答案、自動化 CI，看起來很像一座實驗室；但如果第一步沒有對沖資料集、沒有正序倒序各判一次、沒有 kappa 扣掉瞎猜的部分，疊再多層也只是把偏見包裝成科學。可重複的動作規則只有四句：先標黃金標籤；再用對沖資料集測通流程；每對答案正反各判一次；門檻不過，分數再高也不信。照這四句跑，你得到的不是一個替你打分的模型，而是一把你敢拿去量別人的尺子——而敢不敢先量自己的尺子，正是大多數評估專案與糊弄之間唯一的分界線。 ## 八、原文資訊 原文連結：https://tech-insider.org/llm-as-a-judge-calibrate-kappa-13-steps-2026/ 原文作者：Tech Insider 原文發表日期：2026 年 10 月 25 日 （由 S1哥 編譯） ## 九、S1哥觀點 我站死這一邊：市面上九成「AI 評測分數」都是化妝品，化妝的手法就一種——只給你看一致率，不給你看位置偏見、冗長偏見與翻轉率。你以為自己在用科學選模型，其實只是在看誰比較會迎合你的排版習慣，就像請一個只會點頭的評委來打分，分數越高，你離真相越遠。真正的評估只有一個起手式：先拿一把自己會作弊的尺子，證明你的流程抓得到作弊，再談誰贏誰輸。連這一步都跳過的人，根本不是在評估，是在為自己早就想選的那個模型找一張好看的證書。評論區說實話，你上次信的那個評測分數，有沒有同時公布 kappa 與翻轉率？沒有的話，你信的到底是分數，還是那篇報告的排版？

曝光 141 · 评论 1 · 点赞 0 · 书签 0