Brier score 怎麼算?(二元與多類別分開看)
公式依結果數不同:
- 二元(某事件發不發生):
(p − y)²,發生 y=1、沒發生 y=0,單場範圍 0 ~ 1。 - 多類別(如主/和/客三向):
Σ (pk − ok)²,對每個結果的機率與實際(該結果發生記 1、否則 0)算差平方後相加,單場範圍 0 ~ 2。
二元範例:你預測某隊贏的機率是 0.70,真的贏了(y=1),誤差 = (0.70 − 1)² = 0.09;若輸了(y=0),誤差 = (0.70 − 0)² = 0.49。把很多場平均起來就是整體 Brier score。Betlead 的賽事多為主/和/客三向,採多類別公式,所以基準用 0.667。
Brier score 的數值怎麼解讀?
| 情境 | Brier | 意義 |
|---|---|---|
| 二元・完美 | 0.00 | 每次都篤定且全對 |
| 二元・每場猜 50% | 0.25 | 二選一的均勻基準 |
| 三向・均勻亂猜 | 約 0.667 | 各給 1/3 的均勻基準 |
| 三向・完美 | 0.00 | 每次都篤定且全對 |
重點是跟「明確基準」比:低於均勻基準才代表相對均勻亂猜有價值。更嚴謹的做法是跟歷史基礎率或收盤市場比,或計算 Brier Skill Score = 1 − BS模型 ÷ BS基準。要注意,當主/和/客的基礎率不相等時,「低於 0.667」不一定等於有預測價值。
為什麼 Brier score 比命中率更完整?
因為命中率只看猜對沒猜對,忽略了信心程度。一個每次都說「55% 主勝」的系統,跟一個敢在強隊身上開「85% 主勝」的系統,命中率可能一樣,但後者的預測更尖銳。不過尖銳不等於更好:85% 的預測只有在對應事件約 85% 真的發生時才是較好的機率預測,否則只是更過度自信。Brier score 同時受「校準」(機率給得準不準)與「解析度」(敢不敢區分強弱)影響,因此比單看命中率完整;越低代表整體機率預測誤差越小。
Betlead 為什麼公開 Brier score?
因為它是檢驗市場共識勝率誤差的客觀指標。只曬命中率可以靠挑軟柿子好看,但在樣本範圍預先固定、完整納入(含未中)、口徑一致的前提下,Brier score 比命中率更完整。要注意它衡量的是整體誤差,若要主張「校準良好」,需另附reliability diagram、分箱實際率或校準分解。Betlead 在公開戰績頁列出 Brier score 與含未中的每一場;樣本累積初期數字波動大,請看長期趨勢。