DLCV 02・決策門檻改變錯誤的種類
進階DLCV 02・深度影像分類互動圖表
題目說明
移動固定分類分數的決策門檻。混淆矩陣隨之改變,操作點則沿著由同一組分數畫出的 ROC 與精確率–召回率曲線滑動。
試試看:找出沒有偽陽性的門檻,並看操作點落在 ROC 曲線的哪裡。漏掉了多少正例?接著提高偽陽性成本 c:曲線不會動,但平均錯誤成本最低的點會改變。
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
較低的門檻會讓更多樣本被判為正例。門檻 0.5 時點在 (FPR, TPR) = (0.4, 0.8);降到 0.3 時移到 (0.6, 1.0)。5 個正例中找到的數量從 4 個增加到 5 個,但偽陽性從 2 個增加為 3 個。在這條曲線上沒有任何門檻能往左上移動,只能沿著曲線滑動。
實驗 · DLCV 02・決策門檻改變錯誤的種類
- 精確率
- 0.66667
- 召回率
- 0.8
- ROC AUC(所有門檻)
- 0.84
- F1
- 0.72727
- 正確率
- 0.7
- 平均錯誤成本
- 0.3
真陽性(TP):4;偽陽性(FP):2;偽陰性(FN):1;真陰性(TN):3。降低門檻可能找回漏掉的正例,也可能增加偽陽性。精確率與召回率使用不同分母;單靠正確率無法表達不對稱的錯誤成本。
試試看:找出沒有偽陽性的門檻,並看操作點落在 ROC 曲線的哪裡。漏掉了多少正例?接著提高偽陽性成本 c:曲線不會動,但平均錯誤成本最低的點會改變。
十筆固定合成分數包含五個正例。分數 ≥ 門檻時預測類別 1;未進行模型訓練。曲線上每個頂點對應一個門檻(十個分數之一),頂點之間的連線只是輔助視線。ROC:橫軸為 FP/(FP+TN),縱軸為召回率 TP/(TP+FN);AUC 以梯形法計算面積。精確率–召回率:若未預測任何正例,精確率無定義,因此不畫點。平均錯誤成本 = (c×FP+FN)/10,偽陰性成本固定為 1。調整 c 改變評估成本,不會改變分數、決策或曲線。