完整搜尋頁面 →

ML 02・小小的網路學得會彎曲的邊界嗎?

中階ML 02・類神經網路:從感知器到深度網路影像實驗

題目說明

在雙月形與雙圓環兩個資料集上,一步一步用梯度下降訓練一個有 2 個輸入、m 個 tanh 隱藏單元與 1 個 sigmoid 輸出的網路,觀察決策圖與訓練、測試損失。隱藏單元太少、學習率太小、學習率太大,各有各的失敗方式。

試試看:從預設值開始(m = 3、η = 1、1000 步),兩條彎曲的邊界都學會了。(1) 把步數滑桿從 0 往右拖:100 步時月牙形只答對 85.0%(幾乎是一條斜直線,損失停在 0.30 附近的平原),300 步時 94.5%,500 步時 98.0%。(2) 把 η 設為 0.3,再把 m 降成 2,然後 1:訓練 1000 步後,月牙形分別停在 86.0% 與 85.0%,圓環停在 77.5% 與 61.5%。(3) 回到 m = 3,試試 η = 0.03、0.1 與 0.3:1000 步時月牙形分別答對 84.5%、85.0% 與 94.5%。學習率小並不是錯,只是慢:離線跑 5000 步(超出本實驗 2000 步的上限),η = 0.1 在月牙形上可達 98.0%。(4) 試試 η = 3、10 與 30:損失在許多步上升,η 最大時訓練更是無法穩定下來。

先預測

把隱藏單元數設為 1,其他都不動。網路能把兩個月牙形分開嗎?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

不太能。只有一個隱藏單元時,網路先算出一個數字 tanh(w·x + b),輸出只是這個數字的遞增或遞減函數,所以不論訓練多久,決策邊界都是一條直線。檢查 200 個訓練點中所有通過兩點的直線,最好的直線也只能答對 175 個(87.5%),一個單元的網路不可能超過它。預設的三個隱藏單元把邊界彎起來:訓練點答對 97.5%,保留的測試點答對 95.5%。在圓環上,最好的直線 200 個點只能答對 133 個(66.5%)。

實驗 · ML 02・小小的網路學得會彎曲的邊界嗎?

先預測

把隱藏單元數設為 1,其他都不動。網路能把兩個月牙形分開嗎?

正在載入影像…

雙月形:所選步數的決策圖(藍圓=類別 0,橙三角=類別 1;實心=訓練點,空心=測試點;加圈=答錯;黑線=0.5 邊界)
雙月形:交叉熵損失隨步數的變化(實線=訓練,虛線=測試)
雙圓環:所選步數的決策圖(符號相同)
雙圓環:交叉熵損失隨步數的變化(實線=訓練,虛線=測試)

試試看:從預設值開始(m = 3、η = 1、1000 步),兩條彎曲的邊界都學會了。(1) 把步數滑桿從 0 往右拖:100 步時月牙形只答對 85.0%(幾乎是一條斜直線,損失停在 0.30 附近的平原),300 步時 94.5%,500 步時 98.0%。(2) 把 η 設為 0.3,再把 m 降成 2,然後 1:訓練 1000 步後,月牙形分別停在 86.0% 與 85.0%,圓環停在 77.5% 與 61.5%。(3) 回到 m = 3,試試 η = 0.03、0.1 與 0.3:1000 步時月牙形分別答對 84.5%、85.0% 與 94.5%。學習率小並不是錯,只是慢:離線跑 5000 步(超出本實驗 2000 步的上限),η = 0.1 在月牙形上可達 98.0%。(4) 試試 η = 3、10 與 30:損失在許多步上升,η 最大時訓練更是無法穩定下來。

資料:scikit-learn 的 make_moons(noise 0.2、random_state 0)與 make_circles(noise 0.1、factor 0.5、random_state 0),各 200 個訓練點,另有各 200 個保留的測試點(random_state 1),測試點從不用於訓練。網路與損失採用 ML 02 的記號:z₁ = W₁x + b₁、a₁ = tanh(z₁)、z₂ = W₂a₁ + b₂、p = σ(z₂),損失是訓練點上的二元交叉熵平均;梯度由反向傳播計算(已用有限差分及獨立的 NumPy 計算核對)。訓練是最單純的全批次梯度下降 θ ← θ − η∇L,η 固定,沒有動量、小批次或正則化。初始權重為 Xavier 常態分布(變異數 2 /(輸入數+輸出數))、偏差為 0,來自固定種子(5),所以拉動滑桿不會重新抽籤;第 j 個單元永遠拿到同樣的隨機數。換種子細節會變:種子 1 到 20(η = 1、2000 步)中,3 個隱藏單元在兩個資料集上的訓練準確率 20 次都達到 95% 以上,1 個單元從未達到,2 個單元在月牙形上 20 次中至多 1 次達到、在圓環上從未達到。一步是一次參數更新,第 0 步是尚未訓練的網路。損失忽上忽下時,迭代是混沌的,所以 η 很大時的曲線細節可能因瀏覽器而異,但故事不變。測試損失曲線每 4 步取樣一次。

方法與影像來源

在互動實驗頁開啟 →