完整搜尋頁面 →

DLCV 02・決策門檻改變錯誤的種類

進階DLCV 02・深度影像分類互動圖表

題目說明

移動固定分類分數的決策門檻。混淆矩陣隨之改變,操作點則沿著由同一組分數畫出的 ROC 與精確率–召回率曲線滑動。

試試看:找出沒有偽陽性的門檻,並看操作點落在 ROC 曲線的哪裡。漏掉了多少正例?接著提高偽陽性成本 c:曲線不會動,但平均錯誤成本最低的點會改變。

先預測

門檻目前是 0.5,你把它降到 0.3。操作點在 ROC 曲線上會往哪裡移動?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

較低的門檻會讓更多樣本被判為正例。門檻 0.5 時點在 (FPR, TPR) = (0.4, 0.8);降到 0.3 時移到 (0.6, 1.0)。5 個正例中找到的數量從 4 個增加到 5 個,但偽陽性從 2 個增加為 3 個。在這條曲線上沒有任何門檻能往左上移動,只能沿著曲線滑動。

實驗 · DLCV 02・決策門檻改變錯誤的種類

先預測

門檻目前是 0.5,你把它降到 0.3。操作點在 ROC 曲線上會往哪裡移動?

精確率
0.66667
召回率
0.8
ROC AUC(所有門檻)
0.84
F1
0.72727
正確率
0.7
平均錯誤成本
0.3

真陽性(TP):4;偽陽性(FP):2;偽陰性(FN):1;真陰性(TN):3。降低門檻可能找回漏掉的正例,也可能增加偽陽性。精確率與召回率使用不同分母;單靠正確率無法表達不對稱的錯誤成本。

試試看:找出沒有偽陽性的門檻,並看操作點落在 ROC 曲線的哪裡。漏掉了多少正例?接著提高偽陽性成本 c:曲線不會動,但平均錯誤成本最低的點會改變。

十筆固定合成分數包含五個正例。分數 ≥ 門檻時預測類別 1;未進行模型訓練。曲線上每個頂點對應一個門檻(十個分數之一),頂點之間的連線只是輔助視線。ROC:橫軸為 FP/(FP+TN),縱軸為召回率 TP/(TP+FN);AUC 以梯形法計算面積。精確率–召回率:若未預測任何正例,精確率無定義,因此不畫點。平均錯誤成本 = (c×FP+FN)/10,偽陰性成本固定為 1。調整 c 改變評估成本,不會改變分數、決策或曲線。

方法來源

在互動實驗頁開啟 →