完整搜尋頁面 →

DLCV 14・為什麼看不出來的改變就能翻轉預測?

進階DLCV 14・穩健性:分布偏移、對抗樣本與異常影像實驗

題目說明

在 64、256 或 1,024 個像素的雜訊條紋影像上訓練線性分類器,再把每個像素都改變相同的幾階:一次沿著損失梯度(FGSM),一次用隨機正負號。

試試看:預設設定(32 × 32 像素、ε = 8、FGSM)下,準確率由 99.3% 掉到 2.7%;同樣大小的隨機正負號則維持在 99.3%。logit 平均位移是 +5.8,而乾淨影像的邊際(margin)中位數是 3.5。接著把大小改成 16 × 16、再改成 8 × 8,ε 不變:FGSM 之後分別剩 76.3% 與 94.7%。再找出 FGSM 第一次讓準確率低於 50% 的 ε:32 × 32 是 ε = 5,16 × 16 是 ε = 11,8 × 8 到 ε = 16 都沒有(ε = 16 時仍有 70.7%)。不論大小,兩個類別相差的總量都一樣,那麼為什麼影像的像素越多,同樣的 ε 影響就越大?

先預測

32 × 32 測試影像的每個像素最多只改變 255 階中的 8 階,遠小於像素雜訊的 51 階。哪一種改變會讓訓練好的分類器準確率接近零:正負號沿著損失梯度(FGSM)、隨機正負號、兩者,還是兩者都不會?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

只有 FGSM:準確率 2.7%,隨機正負號則是 99.3%。logit 是 1,024 個像素的總和。如果 1,024 個 8 階的改變都取讓損失上升的正負號,logit 會移動 ε‖w‖₁ = 5.8,超過邊際(margin)中位數 3.5。隨機正負號讓一半像素往一邊、一半往另一邊而互相抵消:典型的位移只有約 ε‖w‖₂ = 0.2。每個像素的改變量一樣,差別在於 1,024 個小改變是否加在一起。

實驗 · DLCV 14・為什麼看不出來的改變就能翻轉預測?

先預測

32 × 32 測試影像的每個像素最多只改變 255 階中的 8 階,遠小於像素雜訊的 51 階。哪一種改變會讓訓練好的分類器準確率接近零:正負號沿著損失梯度(FGSM)、隨機正負號、兩者,還是兩者都不會?

正在載入影像…

左:乾淨的測試影像(雜訊條紋)。中:改變量,為了顯示而拉伸到整個灰階範圍(白 = +ε,黑 = −ε)。右:加上擾動後的影像。每張下方是它的 logit 與判定的類別。
300 張測試影像的準確率隨 ε 變化

試試看:預設設定(32 × 32 像素、ε = 8、FGSM)下,準確率由 99.3% 掉到 2.7%;同樣大小的隨機正負號則維持在 99.3%。logit 平均位移是 +5.8,而乾淨影像的邊際(margin)中位數是 3.5。接著把大小改成 16 × 16、再改成 8 × 8,ε 不變:FGSM 之後分別剩 76.3% 與 94.7%。再找出 FGSM 第一次讓準確率低於 50% 的 ε:32 × 32 是 ε = 5,16 × 16 是 ε = 11,8 × 8 到 ε = 16 都沒有(ε = 16 時仍有 70.7%)。不論大小,兩個類別相差的總量都一樣,那麼為什麼影像的像素越多,同樣的 ε 影響就越大?

刻意做得合成又小:沒有使用任何照片。每張影像是 0.5 加減一個斜向的餘弦條紋圖樣(橫向兩個週期、縱向一個週期),再加上標準差 0.2(255 階中的 51 階)的高斯雜訊,並截在 [0, 1] 之內;A 類的條紋是一種相位,B 類是相反的相位。d 個像素時,每個像素的條紋振幅是 3 × 0.2 / √d,所以不論大小,兩個類別相差的總量都一樣(不考慮截斷時,最佳分類器在每種大小下的準確率相同);改變的只有承載證據的像素數量。分類器是每個像素一個權重的邏輯迴歸,在你的瀏覽器裡以 50 步全批次梯度下降(步長 8、權重衰減 0.001)用 300 張影像訓練,並在另外 300 張影像上測試(種子 11 與 12)。它的 logit 是 z = w·(x − 0.5) + b,所以交叉熵損失對像素的梯度是 (p − y)·w,而 FGSM,x′ = clip(x + ε·sign(∇ₓL), 0, 1),把每個像素都朝錯誤的類別推 ε。不截斷時,logit 恰好移動 ε‖w‖₁;隨機正負號則只移動約 ε‖w‖₂,且平均會互相抵消。這裡 64、256 與 1,024 個像素的 ‖w‖₂ 分別是 7.5、7.5 與 6.9,‖w‖₁ 則是 54.4、102.8 與 186.2。ε 以 8 位元亮度的階數計算(1 階 = 1/255)。這是一個線性的玩具,用來單獨呈現 Goodfellow 等人的論點;它不是章節中的手寫數字實驗,深度網路也不是線性的,而且這裡只呈現一次資料與訓練的結果,所以請看趨勢,不要看確切的百分比。

方法與影像來源

在互動實驗頁開啟 →