完整搜尋頁面 →

PR 04・改變特徵的單位,鄰居會跟著改變嗎?

進階IP 13・影像圖樣分類影像實驗

題目說明

對真實的鳶尾花量測資料做留一法 k 近鄰分類,再改變其中一個特徵的單位:沒有任何一朵花移動,鄰居與準確率卻改變了。

試試看:從花萼寬度與花瓣寬度、5 個鄰居、花瓣寬度以公寸(×0.1)為單位開始。把單位依序改成公分(×1)與公釐(×10):準確率與最近鄰改變的數量如何變化?接著換成花瓣長度與花瓣寬度,影響一樣大嗎?最後與標準化的設定比較。

先預測

某一個特徵欄的每個數字都乘以 10,例如公寸改成公分、或公分改成公釐。花朵沒有移動,而且除以 10 就能還原。k 近鄰分類器會發生什麼事?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

把一欄乘以 10,只要再除以 10 就能還原,所以資料所含的資訊完全相同;而且兩欄同時乘以 10,任何答案都不會改變。但距離是把差的平方相加,數字較大的那一欄話語權變大,最近鄰因此改變。取 5 個鄰居時,花萼寬度搭配花瓣寬度:花瓣寬度用公寸,準確率是 0.860(150 朵中 129 朵);用公分是 0.953(143 朵):乘以 10 一次幫助很大。花萼長度搭配花萼寬度:用公分是 0.747(112 朵),把花萼寬度改用 0.1 公釐(相差 100 倍)則是 0.647(97 朵):傷害很大。往哪個方向走,取決於哪個特徵帶有資訊,而不是取決於單位。

實驗 · PR 04・改變特徵的單位,鄰居會跟著改變嗎?

先預測

某一個特徵欄的每個數字都乘以 10,例如公寸改成公分、或公分改成公釐。花朵沒有移動,而且除以 10 就能還原。k 近鄰分類器會發生什麼事?

正在載入影像…

鳶尾花的 k 近鄰決策圖(座標軸為原始公分;圈起來的是留一法分錯的花)
第二個特徵的單位改變時的留一法準確率(每一欄用的資料都相同)

試試看:從花萼寬度與花瓣寬度、5 個鄰居、花瓣寬度以公寸(×0.1)為單位開始。把單位依序改成公分(×1)與公釐(×10):準確率與最近鄰改變的數量如何變化?接著換成花瓣長度與花瓣寬度,影響一樣大嗎?最後與標準化的設定比較。

資料:scikit-learn 內建的 150 朵鳶尾花(三個品種,各 50 朵),每次取四項量測中的兩項,單位為公分。分類器是使用歐氏距離的標準 k 近鄰規則。只有第二個特徵會被縮放(第一個維持公分);「標準化」則把兩個特徵都除以各自的標準差。準確率採留一法:每朵花由其餘 149 朵分類,決策圖則使用全部 150 朵訓練。量測值四捨五入到 0.1 公分,所以許多距離會剛好相等,一朵花的第五與第六個鄰居常常一樣遠。平手以固定的方式處理:距離相同時依一個固定的隨機排名決定先後(資料檔依品種連續排列,若依位置排序會偏袒 setosa);類別得票相同時選擇「最近成員所屬」的那個類別。最後一項指標計算有多少答案取決於這類平手。scikit-learn 對距離相同的樣本有自己的排序方式:在測試檢查的 108 種設定(3 組特徵、6 種單位、6 個 k 值)中,凡是不取決於平手的答案,它與這裡完全一致,而兩者的留一法答對數最多相差 7 朵。縮放可以還原,所以不會增加任何資訊;準確率只是 150 朵花的單一樣本,不是一般性的結論。

方法與影像來源

在互動實驗頁開啟 →