PR 09・平均許多不穩定的樹,會比一棵樹更好嗎?
進階PR 09・集成、驗證與分群有效性影像實驗
題目說明
在 300 個帶雜訊的雙月形資料點上訓練真正的決策樹,用自助抽樣(bootstrap)做出許多棵讓它們投票,觀察測試誤差如何隨樹數下降,然後趨於平緩。
試試看:從 50 棵、完全長成的深度 14 開始,把 M 從 1 拉到 100:前十棵樹讓投票的錯誤率從 14.60% 降到 11.10%,之後幾乎不動(50 棵與 100 棵都是 10.25%)。把檢視切換成「單一成員」,拖動 M 看看單一自助樹有多凌亂,再切回投票。把深度降到 2:成員之間任兩棵只在 4.88% 的測試點上意見不同,投票(10.70%)並沒有比單棵樹(10.50%)好。最後試試深度 5:單棵樹就有 9.30%,50 棵袋裝樹是 10.15%,差距不到 1 個百分點,約等於 1000 個測試點的雜訊,所以袋裝法不能取代選一個合理的深度。為什麼一群相似的樹投票卻毫無進步?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
是的(以本實驗的種子而言):一棵完全長成的單棵樹在 1000 個測試點上錯 12.90%,而 50 棵袋裝樹的投票只錯 10.25%。每個成員單獨看都比那棵樹差(平均 14.73%),因為它只看到資料點的一份重抽樣;投票之所以贏,是因為各成員犯的錯並不相同:隨機取兩個成員,它們在 13.70% 的測試點上意見不同。但誤差不可能降到接近零。有 100 個測試點被 50 棵樹中的多數答錯,增加樹也無法修正它們:所有的樹都從同一批 300 個帶雜訊的點學習,共享同樣的偏差與許多相同的錯誤。這正是本章公式的極限:M 個兩兩相關係數為 ρ 的預測器,平均後的變異數是 σ²[ρ + (1 − ρ)/M],增加樹只會縮小第二項。從 50 棵增加到 100 棵毫無改變(兩次都是 10.25%),而且在這份帶雜訊的資料上,就連理論最佳的分類器也約有 8.5% 的錯誤。
實驗 · PR 09・平均許多不穩定的樹,會比一棵樹更好嗎?
正在載入影像…
試試看:從 50 棵、完全長成的深度 14 開始,把 M 從 1 拉到 100:前十棵樹讓投票的錯誤率從 14.60% 降到 11.10%,之後幾乎不動(50 棵與 100 棵都是 10.25%)。把檢視切換成「單一成員」,拖動 M 看看單一自助樹有多凌亂,再切回投票。把深度降到 2:成員之間任兩棵只在 4.88% 的測試點上意見不同,投票(10.70%)並沒有比單棵樹(10.50%)好。最後試試深度 5:單棵樹就有 9.30%,50 棵袋裝樹是 10.15%,差距不到 1 個百分點,約等於 1000 個測試點的雜訊,所以袋裝法不能取代選一個合理的深度。為什麼一群相似的樹投票卻毫無進步?
資料:scikit-learn make_moons 產生的雙月形資料,高斯雜訊 0.3,只產生一次並存在頁面中:300 個訓練點(每類 150 個,資料種子 2)與另外 1000 個測試點(種子 1002)。資料種子是 30 次隨機抽樣中,袋裝法的進步幅度最接近平均值的那一個,所以這是典型的情形,不是特別有利的情形。樹:使用吉尼不純度(Gini impurity)的 CART,沿座標軸切分,門檻取相鄰兩個值的中點;深度上限由滑桿決定(14 時這裡的每棵樹都會長到葉節點純淨為止)。袋裝法:第 b 個成員用來自同一條固定種子亂數序列(種子 20260618)、可重複抽取的 300 列訓練,所以移動 M 只是增加或減少樹,曲線不會改變。投票採簡單多數決;M 為偶數時剛好平手算半個錯誤。測試誤差用 1000 個保留的測試點計算;錯誤率約 10% 時,它的標準誤約為 1 個百分點,所以兩個不同設定之間比這更小的差距,單獨看證據很弱。不一致率:對 M 個成員的每一對,計算兩者在 1000 個測試點中預測不同類別的比例,再對所有成員對取平均(0 代表成員完全相同;越接近 0,成員越相像,這是它們犯的錯有多相關的一個代理指標)。分數相同的切分以固定規則決定(先特徵 1 再特徵 2,門檻由低到高),而 scikit-learn 以隨機順序拜訪特徵:測試中,沒有這種平手的樹與 DecisionTreeClassifier 的預測完全相同,100 棵樹的完整集成其投票錯誤率與用 scikit-learn 的樹組成的同一集成最多相差 0.7 個百分點。「理論最佳 8.5%」是理想分類器在 make_moons 所取樣的分布上的錯誤率,由兩個類別密度的數值積分求得;本實驗並不使用它。真正的袋裝法還能免費利用每棵樹沒抽到的點(out-of-bag)估計誤差;這裡改用獨立的測試集。
方法與影像來源
- L. Breiman, Bagging Predictors, Machine Learning, 24(2), 123-140, 1996 (bootstrap aggregating)
- L. Breiman, J. H. Friedman, R. A. Olshen and C. J. Stone, Classification and Regression Trees, Chapman and Hall/CRC (Wadsworth 1984), 2017 edition (CART, Gini impurity)
- F. Pedregosa et al., Scikit-learn: Machine Learning in Python, Journal of Machine Learning Research, 12, 2825-2830, 2011 (make_moons and the DecisionTreeClassifier used for the golden tests)
- scikit-learn documentation, sklearn.datasets.make_moons (the generated two-moons data, no download)