完整搜尋頁面 →

觀察 · 預測 · 驗證

互動實驗

從正在閱讀的章節出發,選一個關鍵問題,先預測再驗證。每章連到最相關的實驗,適合閱讀或實作練習的章節也會說明原因。

73 個實驗97 章學習指引8 條路線在瀏覽器中運算
逐章選擇實驗 97

每章列出建議起點;同一實驗可支援不同章節的共同概念。

基礎
  1. 從這裡開始・學習路徑與推薦教科書

    本章重點是閱讀路線與環境設定。請選擇路線並執行第一個範例;獨立的數值實驗無法檢驗這項學習目標。

  2. 影像就是陣列

    對一張真實照片的每個像素加上同一個數,並比較 8 位元回繞、飽和運算與浮點運算。

影像處理
  1. IP 01・緒論

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  2. IP 02・數位影像基礎

    對真實照片與合成的波帶片,只保留每隔 s 個像素與較少的灰階,觀察不先濾波時出現的假圖樣(混疊)。

  3. IP 03・強度轉換與空間濾波

    改變核權重,預測平坦區域與邊緣的回應。

  4. IP 04・頻域濾波

    在頻率域濾波一張真實照片,並在相同截止頻率下比較理想、Butterworth 與高斯低通濾波器。

  5. IP 05・影像復原與重建

    用高斯 PSF 模糊一張真實照片,加入少量雜訊,再於頻域除以模糊的轉移函數。觀察單純的逆濾波如何失敗,並找出能救回影像的 Wiener 常數 K。

  6. IP 06・色彩影像處理

    把一張真實彩色照片乘上增益,比較處理溢位通道的三種方式:各通道分別裁切、整個像素一起縮放,或做色調映射。

  7. IP 07・小波與其他影像轉換

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  8. IP 08・影像壓縮與浮水印

    用 8 × 8 區塊 DCT 或 Haar 小波轉換一張真實照片,把每個係數捨入到較粗的步長,觀察遺失的資訊出現在哪裡。

  9. IP 09・形態學影像處理

    清理一張經過門檻處理、帶有孤立點、刮痕與孔洞的硬幣照片。改變運算、結構元素的形狀與大小,觀察各種選擇會移除、填補或保留什麼。

  10. IP 10・影像分割(一):邊緣偵測、閾值化與區域偵測

    讓頁面一側變暗,觀察 Otsu 的單一門檻如何丟失文字,而隨局部光線調整的門檻仍能保留文字。

  11. IP 11・影像分割(二):主動輪廓——蛇模型與水平集

    在硬幣的照片上執行真正的蛇模型(IP 11 的 Kass–Witkin–Terzopoulos 輪廓):在一枚硬幣外畫一個起始圓,看看圓最遠可以離硬幣邊緣多遠,蛇模型才不會停在錯的地方。

  12. IP 12・特徵擷取

    在真實照片上移動一個小視窗,觀察視窗內的梯度向量、結構張量橢圓與 Harris 響應,如何判定該處是平坦、邊緣還是角點。

  13. IP 13・影像圖樣分類

    對真實的鳶尾花量測資料做留一法 k 近鄰分類,再改變其中一個特徵的單位:沒有任何一朵花移動,鄰居與準確率卻改變了。

自然語言處理
  1. NLP 01・自然語言處理導論

    用可編輯的小型語料建立 n-gram 分布,觀察次數、句子邊界與平滑化。

  2. NLP 02・語言學基礎

    改變小型閱讀關係,精確判斷兩種量詞順序的真值。

  3. NLP 03・自然語言處理的類神經網路

    在 XOR 四個角點上,比較固定雙單元網路使用與不使用非線性激活的差異。

  4. NLP 04・詞彙語意與詞嵌入

    把三個詞的句子補上零向量,比較正確的遮罩平均,與把填補算進分母的平均。

  5. NLP 05・用於語言的循環神經網路

    在序列加入干擾值,比較固定遞迴衰減與依輸入決定的寫入行為。

  6. NLP 06・以 RNN 做序列標註(詞性標註、資訊擷取)

    結合發射分數、轉移分數與 BIO 片段限制,選出完整標籤路徑。

  7. NLP 07・注意力機制與 Transformer

    使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。

  8. NLP 08・以 Transformer 建構序列到序列模型(機器翻譯、聊天機器人)

    使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。

  9. NLP 09・以 Transformer 做語言模型(自然語言生成)

    追蹤固定 logits 經過溫度縮放、top-k 截斷、核心截斷與重新正規化的結果。

  10. NLP 10・預訓練模型:BERT

    改變右側語境線索,以因果遮罩隱藏它,再將不同輸出頭接到同一個小型語境向量。

  11. NLP 11・以 BERT 做分類(情感分析、自然語言推論)

    改變右側語境線索,以因果遮罩隱藏它,再將不同輸出頭接到同一個小型語境向量。

  12. NLP 12・句法與語意任務

    改變小型閱讀關係,精確判斷兩種量詞順序的真值。

圖形識別
  1. PR 01・模式、機率與貝氏決策

    改變類別出現機率與誤報成本,觀察決策邊界如何移動。

  2. PR 02・密度估計與貝氏學習

    調整頻寬,觀察個別核函數、估計密度與留一法預測。

  3. PR 03・迴歸與分類的線性模型

    以嶺迴歸擬合多項式基底,區分訓練誤差與原始函數的還原誤差。

  4. PR 04・近鄰、核與非線性分類器

    對真實的鳶尾花量測資料做留一法 k 近鄰分類,再改變其中一個特徵的單位:沒有任何一朵花移動,鄰居與準確率卻改變了。

  5. PR 05・特徵選擇、轉換與降維

    旋轉一維投影方向,比較重建誤差與類別分離程度。

  6. PR 06・模板比對與結構化辨識

    改變訊號的時間尺度,觀察動態時間校正的成本矩陣與最佳對齊路徑。

  7. PR 07・分群、混合模型與 EM

    逐步執行 Gaussian 混合模型的 EM,觀察責任值、概似值與對稱初始化的陷阱。

  8. PR 08・近似推論與貝氏模型複雜度

    移動並放寬雙峰目標的 Gaussian 近似,比較漏掉機率質量與填滿峰間谷地的懲罰。

  9. PR 09・集成、驗證與分群有效性

    在 300 個帶雜訊的雙月形資料點上訓練真正的決策樹,用自助抽樣(bootstrap)做出許多棵讓它們投票,觀察測試誤差如何隨樹數下降,然後趨於平緩。

  10. PR 10・辨識專題:拒絕、漂移與學習式特徵

    設定拒絕門檻並平移兩種類別分布,比較接受比例與選擇性錯誤率。

機器學習
  1. ML 01・機器學習入門

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  2. ML 01A・學習所需的線性代數

    移動兩個基底向量的像,看一張真實照片跟著改變。行列式是帶正負號的面積倍率,奇異值是沿兩個互相垂直方向的伸縮量,秩為 1 時整張影像被壓成一條線。

  3. ML 01B・機率與資訊理論

    改變真實機率與模型機率,計算模型錯誤帶來的額外編碼成本。

  4. ML 01C・數值計算與梯度檢查

    檢查 exp(x) 的導數,區分截斷誤差與浮點相減造成的消去誤差。

  5. ML 02・類神經網路:從感知器到深度網路

    在雙月形與雙圓環兩個資料集上,一步一步用梯度下降訓練一個有 2 個輸入、m 個 tanh 隱藏單元與 1 個 sigmoid 輸出的網路,觀察決策圖與訓練、測試損失。隱藏單元太少、學習率太小、學習率太大,各有各的失敗方式。

  6. ML 03・卷積、影像濾波與 CNN

    改變核權重,預測平坦區域與邊緣的回應。

  7. ML 04・循環與遞迴神經網路

    在序列加入干擾值,比較固定遞迴衰減與依輸入決定的寫入行為。

  8. ML 05・注意力與視覺 Transformer

    使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。

  9. ML 06・表示學習與自監督

    移動配對與未配對單位向量,觀察對比學習使用的正規化匹配損失。

  10. ML 06A・線性因子模型與自編碼器

    用 8 × 8 區塊 DCT 或 Haar 小波轉換一張真實照片,把每個係數捨入到較粗的步長,觀察遺失的資訊出現在哪裡。

  11. ML 07・生成模型:自編碼器、VAE、GAN 與正規化流

    移動並調整高斯後驗寬度,計算期望解碼損失與精確 KL 懲罰。

  12. ML 08・擴散模型與流匹配

    把太空人照片與固定雜訊混合,並排檢視雜訊、乾淨影像與速度三種目標,再讓網路帶一點誤差,看看哪一種轉換回乾淨影像的方式承受得住。

  13. ML 09・視覺自迴歸:像素、Tokens 與尺度

    在一階像素模型下枚舉十六種二元 2×2 影像,再改變生成順序。

  14. ML 10・基礎模型與視覺語言學習

    移動配對與未配對單位向量,觀察對比學習使用的正規化匹配損失。

  15. ML 11・評估、效率與部署

    對固定驗證 logits 套用正溫度,比較準確率、對數損失與機率平方誤差。

電腦視覺深度學習
  1. DLCV 01・深度學習的影像處理與電腦視覺

    選一組卷積層堆疊與真實照片上的一個位置:影像上會畫出某個輸出單元所依賴的輸入像素方框,並顯示其大小、跳距與占整張影像的比例。

  2. DLCV 01A・深度視覺模型的訓練實務

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  3. DLCV 01B・網路的積木與組合:分類與影像復原網路

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  4. DLCV 01C・模型壓縮與高效推論

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  5. DLCV 02・深度影像分類

    移動固定分類分數的決策門檻。混淆矩陣隨之改變,操作點則沿著由同一組分數畫出的 ROC 與精確率–召回率曲線滑動。

  6. DLCV 02A・臉部辨識與度量學習

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  7. DLCV 03・物件偵測:從 R-CNN 到 DETR

    重疊的偵測框何時會被當成同一個物件?觀察貪婪抑制如何作出決定。

  8. DLCV 03A・以 YOLOv4 讀懂單階段偵測

    重疊的偵測框何時會被當成同一個物件?觀察貪婪抑制如何作出決定。

  9. DLCV 03B・三維物件偵測:光達、相機與鳥瞰視角

    在鳥瞰視角中,把預測框從真實框轉開幾度,觀察精確的旋轉 IoU 下降,而中心距離維持為零。

  10. DLCV 04・影像分割:語意、實例與全景分割

    模擬一個以較粗的輸出步幅(stride)做預測的分割網路,比較像素準確率、平均 IoU 與最小類別的 IoU。

  11. DLCV 05・人體姿態與關鍵點估計

    對 500 個隨機的子像素關鍵點,以步幅 1、2、4 或 8 繪製高斯熱圖,比較三種讀回位置的方法:最亮的格子、四分之一格偏移與 Taylor 步驟。

  12. DLCV 06・影像中的文字:OCR 與文件理解

    在玩具辨識器的輸出中,改變兩個相同字母之間畫格的空白機率,觀察貪婪(最佳路徑)解碼與前綴束搜尋怎麼讀它。

  13. DLCV 07・物件追蹤:從單一物件到多物件

    用卡爾曼濾波器、成本矩陣與匈牙利演算法,在 30 幀合成影片中追蹤三個彩色方塊,觀察只用框重疊時兩個身分如何對調。

  14. DLCV 08・影片理解與動作辨識

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  15. DLCV 09・深度影像復原:低階視覺

    一個模糊的觀測同時符合兩種清晰的乾淨訊號。模糊的平均值期望平方誤差最低;清晰的猜測看起來較好,但通常離真相較遠。

  16. DLCV 09A・非盲影像超解析度

    一個模糊的觀測同時符合兩種清晰的乾淨訊號。模糊的平均值期望平方誤差最低;清晰的猜測看起來較好,但通常離真相較遠。

  17. DLCV 09A.1・盲與真實世界影像超解析度

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  18. DLCV 09A.2・單步擴散超解析度

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  19. DLCV 09A.3・影片超解析度:用時間找回細節

    對真實照片與合成的波帶片,只保留每隔 s 個像素與較少的灰階,觀察不先濾波時出現的假圖樣(混疊)。

  20. DLCV 09B・生成式影像復原:取樣出一個合理的答案

    一個模糊的觀測同時符合兩種清晰的乾淨訊號。模糊的平均值期望平方誤差最低;清晰的猜測看起來較好,但通常離真相較遠。

  21. DLCV 09C・低光影像增強

    模擬帶有光子雜訊與讀出雜訊的昏暗照片,比較增加光量、增加數位增益與使用去雜訊器的差別。

  22. DLCV 10・影像融合:互補來源與有用輸出

    同一個場景的兩張照片,各自在不同區域是清晰的。把它們取平均,或逐像素選取局部細節較多的那一張,並以全清晰的真實影像評分。

  23. DLCV 11・三維重建:從多視角幾何到 NeRF 與 Gaussian Splatting

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  24. DLCV 11A・深度估計與光流

    在已知視差的合成立體影像對上執行區塊匹配,看小視窗變得雜亂,而大視窗讓前景變胖。

  25. DLCV 12・影像生成:從 GAN 到文字生成影像系統

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  26. DLCV 12A・影片生成

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  27. DLCV 12B・單步生成

    本章的圖、程式與練習已經足以說明主要概念;另外加一個互動實驗不會增加理解。

  28. DLCV 13・世界模型:影片、潛在動態與規劃

    在相同行動下,比較單步預測、開迴路展開與定期更新觀測。

  29. DLCV 14・穩健性:分布偏移、對抗樣本與異常

    在 64、256 或 1,024 個像素的雜訊條紋影像上訓練線性分類器,再把每個像素都改變相同的幾階:一次沿著損失梯度(FGSM),一次用隨機正負號。

最佳化
  1. OPT 01・決策建模與凸集合

    在圓上放兩個可行點,沿著它們之間的線段移動,並比較圓盤與圓環。

  2. OPT 02・凸函數、組合規則與共軛

    在兩個輸入之間移動並計算 Jensen 差距,負值就是具體反例。

  3. OPT 03・線性、二次、錐與幾何規劃

    在非負限制下,比較逐座標截斷與耦合二次問題的精確解。

  4. OPT 04・對偶性、KKT 條件與證明憑證

    調整候選點與乘數。只有滿足可行性,小差距才有意義。

  5. OPT 05・近似、統計估計與實驗設計

    移動一筆觀測,比較平方、絕對值與 Huber 損失擬合常數的結果。

  6. OPT 06・梯度下降、牛頓步驟與數值可靠性

    觀察適用於圓形碗面的步長,為何可能在狹窄谷地發散。

  7. OPT 07・等式限制與內點法

    在兩變數線性規劃上提高障礙權重 t,觀察中心點、對偶界與差距 m/t。

  8. OPT 08・幾何應用、分裂法與現代方法

    比較軟閾值與一般縮小,並觀察不可微的目標函數。

資訊理論
  1. IT 01・熵、相對熵與互資訊

    區分來源的不確定性、實際傳遞的資訊與通道容量。

  2. IT 02・典型序列、AEP 與熵率

    比較典型集合的機率質量與它占所有二元區塊的比例。

  3. IT 03・無損編碼與通用壓縮

    建立二元前綴碼,比較平均碼長與來源熵。

  4. IT 04・通道容量與可靠通訊

    區分來源的不確定性、實際傳遞的資訊與通道容量。

  5. IT 05・微分熵與高斯通道

    在兩條平行高斯通道上比較平均分配與注水法。

  6. IT 06・率失真與有損表示

    觀察 Bernoulli 碼率失真曲線,以及在 Hamming 誤差下達到它的聯合分布。

  7. IT 07・統計證據、最大熵與成長

    在兩個精確二項分布上移動決策閾值,計算兩種錯誤機率。

  8. IT 08・網路、資訊不等式與學習

    計算各自獨立的兩個位元及其組合,對帶雜訊 XOR 標籤提供多少資訊。

顯示 73 個實驗

基礎

影像就是陣列・為什麼增亮反而讓亮的像素變暗?

對一張真實照片的每個像素加上同一個數,並比較 8 位元回繞、飽和運算與浮點運算。

開啟實驗收起實驗
先預測

對一張 8 位元照片的每個像素都加 60:哪些像素的值變化最大?

正在載入影像…

原始照片(8 位元)
你選的運算(見「顯示」)
正確結果:clip(像素 + 增加量, 0, 255)
輸出值對輸入值

試試看:把增加量設為 60,並把檢視切換到溢位,看紅色像素在哪裡。接著把運算切換為飽和:同一批像素會變成白色而不是黑色,與正確結果相比的 PSNR 也變成無限大。最後把增加量設為 −100 並使用回繞:哪些像素會翻轉?往哪個方向翻?

相機測試影像以 2 × 2 平均縮小為 256 × 256,因此各項比例與章節(以 512 × 512 原圖計算)略有不同。像素是真實的位元組:回繞在 Uint8Array 中進行,總和對 256 取餘數,與 NumPy 執行 gray + np.uint8(60) 時完全相同。飽和是把整數總和限制在 0..255(即 cv2.add 的行為);浮點是以浮點數相加,再裁切並四捨五入,在增加量為整數時得到相同的位元組。負的增加量相當於做減法。PSNR 是把結果與正確的裁切結果比較,峰值為 255。這裡的亮度是像素值的平均(0 到 255);它示範的是對儲存值的運算,不是物理曝光模型。

方法與影像來源

ML 01A・2 × 2 矩陣會對一張影像做什麼?

移動兩個基底向量的像,看一張真實照片跟著改變。行列式是帶正負號的面積倍率,奇異值是沿兩個互相垂直方向的伸縮量,秩為 1 時整張影像被壓成一條線。

開啟實驗收起實驗
先預測

矩陣 A = [[0, 1], [1, 0]] 把 e1 送到 (0, 1)、把 e2 送到 (1, 0):它把 x 與 y 對調。它對這張照片做了什麼?

正在載入影像…

原始照片,以及單位正方形、e1(紅)、e2(黃)與單位圓(虛線)
經過 A 之後的照片:單位正方形、Ae1(紅)、Ae2(黃)與橢圓。拖曳圓形尖端、點一下,或取得焦點後用 1、2 與方向鍵

試試看:預設是一個剪切:det A = 1,所以面積不變,但 σ1 = 1.62、σ2 = 0.62(κ = 2.62),單位圓變成橢圓。面積不變不代表形狀不變。接著選「伸縮」,把 k 從 1 經過 0 滑到 −1:k = 0 時影像塌縮成一條線(秩為 1,κ = ∞),k 為負時它以鏡像的樣子回來(det A < 0)。最後選「投影」,想一想影像中哪些點會落在同一點,以及有沒有任何矩陣能還原。

真實照片:skimage.data.camera,256 × 256(來源見下方)。座標原點是照片中心,64 個像素為一個單位,所以照片在 x、y 方向都涵蓋 −2 到 2,y 軸向上,與數學圖形相同。右圖用反向對應產生:每個輸出像素先找出自己來自哪裡(把 A 的反矩陣作用在它的位置上),再以雙線性內插讀值;被壓縮的區域會平均多個取樣點以避免鋸齒;棋盤格表示影像到不了的地方。秩為 1 的矩陣沒有反矩陣,所以畫成一條線,線上每一點的值是照片中所有塌縮到該點的點的平均。青色虛線是單位圓的像,一個橢圓,它的半軸(青色實線)長度是 σ1 與 σ2;當 σ1 = σ2 時不畫半軸。控制項:令 u = (cos θ, sin θ),剪切是 I + k·u·vT(v 是 u 轉 90°),伸縮是 I + (k − 1)·u·uT(k = 1 為單位矩陣),旋轉是旋轉 θ 再乘以 k,鏡射是對沿 u 方向那條線的鏡射再乘以 k,投影是 k·u·uT。因為它們沿著方向 θ 作用,兩個滑桿會讓 a、b、c、d 四個元素都改變。「自己拖」沒有任何限制:拖曳右圖的紅色與黃色尖端,或直接點一下,或讓圖取得焦點後按 1 或 2 選箭頭、再用方向鍵移動(按住 Shift 步伐較大)。元素介於 −1.95 與 1.95、間隔 0.01 的任何矩陣都能到達;此模式下滑桿停用。奇異值使用 2 × 2 的封閉公式(Blinn),並與 numpy.linalg.svd 比對;當 σ2 小於 σ1 的十億分之一時視為奇異矩陣。數字四捨五入到小數點後兩位。

方法與影像來源

影像處理

IP 02・減少像素與減少灰階,各會失去什麼?

對真實照片與合成的波帶片,只保留每隔 s 個像素與較少的灰階,觀察不先濾波時出現的假圖樣(混疊)。

開啟實驗收起實驗
先預測

你在水平與垂直方向每隔 4 個像素保留一個。取樣前先模糊,會有幫助還是有害?

正在載入影像…

照片:原始
照片:保留的取樣點,放大後
波帶片(合成):原始
波帶片:保留的取樣點,放大後

試試看:把取樣間距設為 1、位元數設為 3(8 個灰階):照片會出現色帶,但它的 PSNR 仍高於間距 4、8 位元的結果,甚至高於間距 2。PSNR 對哪一種損失的懲罰比較重?接著把位元數調回 8,比較波帶片在間距 2、4、8 時的結果:假圓環從哪裡開始?這個半徑如何隨間距縮小?最後打開高斯前置濾波。

照片:相機測試影像,256 × 256。波帶片:合成影像,256 × 256,I(r) = 0.5 + 0.5 cos(k r²),r 為到中心的距離,k = π / (2 r_max),因此它的局部頻率線性上升,在角落達到每像素 0.5 週期。取樣保留每個間距 × 間距區塊的 (0, 0) 像素(a[::s, ::s]);灰階依章節的規則,四捨五入到 2^bits 個區間之一的中心;結果以像素複製(最近鄰)放大,讓單一取樣點仍然清楚可見。可選的前置濾波是取樣前套用 σ = 間距 / 2 的高斯濾波器。PSNR 是把放大後的結果與原始 8 位元影像(峰值 255)比較。假圖樣對比是半徑超過 π / (2 · 間距 · k) 處、保留下來的波帶片取樣點的標準差,這個範圍內真實圖樣比粗網格能表示的更細;忠實的結果在那裡應為均勻灰色,所以數值大代表出現假圓環。PSNR 分不出假圖樣與誠實的模糊,所以兩個數字都會顯示。

方法與影像來源

IP 04・最銳利的低通濾波器能得到最好的影像嗎?

在頻率域濾波一張真實照片,並在相同截止頻率下比較理想、Butterworth 與高斯低通濾波器。

開啟實驗收起實驗
先預測

在相同的截止頻率下,三種濾波器中哪一種會讓最多像素超出原影像的亮度範圍(振鈴)?

正在載入影像…

原始裁切影像
濾波器保留的頻譜(對數尺度)
濾波後影像
超出原影像範圍的像素:較亮(紅)、較暗(藍)
穿過強邊緣的一列像素

試試看:選擇理想濾波器、截止頻率 12,觀察邊緣周圍的紅色與藍色像素。再切換成相同截止頻率的高斯濾波器。哪一種會產生振鈴?哪一種的 PSNR 較高?

使用相機測試影像中真實的 128 × 128 裁切區域。轉移函數乘在其二維 FFT 上(未補零,因此影像視為週期性),並在計算振鈴像素前不對反變換結果做截斷。截止頻率 D0 的單位是每張影像的週期數;高斯 H = exp(−D²/2D0²);Butterworth H = 1/(1 + (D/D0)^2n)。過衝是指超出原影像灰階範圍 0.02 以上的像素。PSNR 是將濾波後影像截斷到 [0, 1] 後與原影像比較。

方法與影像來源

IP 05・為什麼還原模糊會放大雜訊?

用高斯 PSF 模糊一張真實照片,加入少量雜訊,再於頻域除以模糊的轉移函數。觀察單純的逆濾波如何失敗,並找出能救回影像的 Wiener 常數 K。

開啟實驗收起實驗
先預測

相機影像被模糊(σ = 2),再加上幾乎看不見的雜訊(0.005,約 255 階中的 1 階)。單純逆濾波(K = 0)把每個頻率都除以模糊的轉移函數。結果會是什麼樣子?

正在載入影像…

原始影像(已知)
模糊並加上雜訊
以 H*/(|H|² + K) 還原
還原影像的 PSNR 對 K 的曲線(相同的模糊與雜訊)

試試看:保持雜訊 0.005,把 log10 K 從 −7 一小步一小步提高。還原後的 PSNR 會上升、到達高峰、再下降:高峰在哪裡?高峰兩側的影像各是什麼樣子?接著把雜訊設為 0:K = 0 還是災難嗎?最後把雜訊提高到 0.02,看最佳的 K 往哪裡移動。

使用真實的 256 × 256 相機影像。退化過程依章節的模型,在頻域寫成 G = H·F + N。H 是標準差為 σ 像素的高斯 PSF 的轉移函數,H = exp(−2π²σ²(u² + v²)),其中 u、v 的單位是每像素週期數;模糊採週期性(循環)模型,與章節程式碼相同,因此濾波器與模糊完全吻合,也不做補零。N 是固定種子的白色高斯雜訊場,乘上雜訊強度(標準差,以 0 到 1 的範圍為單位,所以 0.005 約為 255 階中的 1.3 階),直接加在模糊影像上,不量化成 8 位元。還原使用章節中的常數 K Wiener 濾波器,F̂ = H*/(|H|² + K) · G。這裡的 K 是由你自己調整的常數,並不是雜訊對訊號功率比的估計值。K = 0 就是單純的逆濾波 1/H,其中 |H| 小於 10^−6 的頻率直接設為 0(與章節程式碼相同的慣例),所以它的最大增益停在約一百萬,σ 較大時即使沒有雜訊也無法完美還原。PSNR 是把各影像截斷到 0 到 1 之後與原影像比較。增益是 |H|/(|H|² + K) 在所有頻率上的最大值;K 大於 0 時,它不會超過 1/(2√K)。

方法與影像來源

IP 06・為什麼增亮會讓紅色與橙色變黃、再變白?

把一張真實彩色照片乘上增益,比較處理溢位通道的三種方式:各通道分別裁切、整個像素一起縮放,或做色調映射。

開啟實驗收起實驗
先預測

把一個橙色像素(R = 200、G = 100、B = 40)乘以 2,並各通道分別裁切:它的色相會怎麼變?

正在載入影像…

原始照片
結果,或色相圖(紅:色相移動,藍:失去顏色,灰:未改變)
溢位且有顏色的像素,處理前後的色相分布(每格 10°)

試試看:把增益設為 2、使用各通道分別裁切,並看色相圖:木桌與咖啡呈紅色(色相移動),明亮的杯壁呈藍色(失去顏色)。把增益提高到 4:為什麼色相直方圖中橘色的長條會堆在 60°(黃色)那一格,其他像素又去了哪裡?再切換成整體縮放:什麼沒有改變?畫面反而失去了什麼?

照片:咖啡測試影像,縮小為 256 × 171(CC0,Rachel Michetti)。增益直接乘在儲存的 8 位元 sRGB 值上,就像「影像就是陣列」章節中的 np.clip(g * x, 0, 1);真正的曝光變化是作用在線性光上,數字會不同,但道理一樣。溢位是指增益後有某個通道超過 255。裁切:每個通道在 255 處截斷。縮放:溢位的像素整個除以它最大的通道,因此通道比例(也就是色相)得以保留,但它最大的通道一定會落在 255。色調映射:對增益後像素的亮度 L 套用類似 Reinhard 的運算子 L(1 + L/g²)/(1 + L)(白點為增益 g),以同一個係數乘在 R、G、B 上,之後再裁切仍高於 255 的通道。色相是 HSV 色相角(紅 0°、綠 120°、藍 240°),與章節的 HSI 色相接近但不完全相同。HSV 飽和度或明度低於 0.1 的像素沒有可用的色相,不列入色相統計;原本有顏色、最後飽和度低於 0.1 的像素,算作失去顏色。飽和度是 HSV 飽和度,對溢位且有顏色的像素取平均。

方法與影像來源

IP 08・可以丟掉多少係數?

用 8 × 8 區塊 DCT 或 Haar 小波轉換一張真實照片,把每個係數捨入到較粗的步長,觀察遺失的資訊出現在哪裡。

開啟實驗收起實驗
先預測

維持預設設定,大多數係數都被捨入為零。重建誤差在畫面的哪些地方最大?

正在載入影像…

原始影像(黃框 = 放大處)
由量化後係數重建的影像
留下的係數(對數尺度,零為黑色)。DCT:每個區塊一個 8 × 8 方格,區塊平均值在左上;Haar:最粗的平均值在左上,越細的細節越往外
誤差:重建 − 原始,× 10,灰色 = 0
放大(32 × 32 像素的 6 倍):原始
放大:重建(DCT:尺標標示 8 像素的區塊)

試試看:把 DCT 的步長設為 0.6,看放大框裡的天空。接著在相同步長下切換成 Haar:階梯狀方塊消失了嗎?在 PSNR 差不多時,哪一種轉換保留的非零係數較少?最後把放大框移到草地:還剩下多少紋理?

使用 camera 測試影像的真實 256 × 256 版本(skimage.data.camera 以 2 × 2 平均縮小),灰階值在 [0, 1]。兩種轉換都是正交的:8 × 8 區塊 DCT(每個區塊各自編碼)與 5 層二維 Haar 小波轉換。量化器是均勻的:每個係數 c 變成 round(c / 步長) × 步長,所有係數(包含區塊平均值)使用相同步長,因此只有 |c| 至少為步長的一半時係數才會留下。這比 IP 08 中 JPEG 隨頻率變化的量化表更簡單,所以畫面呈現的是轉換與捨入本身造成的效果。「非零」是計算留下的係數。這不是位元率:此處沒有實作熵編碼,真正的成本還取決於哪些係數留下以及如何編碼。PSNR 的峰值為 1,並使用截斷前的解碼輸出。因為兩種轉換都是正交的,像素的平方誤差等於係數的平方誤差:量化器移除的部分正是誤差,而解碼器無法把它找回來,因為許多不同的影像會得到相同的量化係數。瓶頸自編碼器(ML 06A)以同樣的方式遺失細節,差別只在它的基底是從資料學得,而不是固定的。誤差影像顯示(重建 − 原始)× 10,以中間灰色為零。「最平滑」與「最繁雜」兩半是指原始影像 Sobel 梯度較小與較大的像素。Haar 是最簡單的小波,由分段常數組成,所以它也會產生方塊,只是大小不一;較平滑的小波(例如 IP 08 小波比較中所用的)則是變模糊。

方法與影像來源

IP 09・結構元素會留下哪些形狀?

清理一張經過門檻處理、帶有孤立點、刮痕與孔洞的硬幣照片。改變運算、結構元素的形狀與大小,觀察各種選擇會移除、填補或保留什麼。

開啟實驗收起實驗
先預測

用半徑 4 的圓盤對遮罩做開運算。每個孤立點與刮痕都比圓盤細(寬度最多 7 像素),每枚硬幣則寬得多。會發生什麼事?

正在載入影像…

輸入遮罩:帶有孤立點、刮痕與孔洞的硬幣
輸出(黑色保留、紅色被移除、藍色為新增)
結構元素(每個方格是一個像素;橘色點是原點)

試試看:在開運算、圓盤大小 4 時,所有雜物都消失了。現在把元素換成大小 4 的水平線:哪些部分會留下來?為什麼?接著用開運算逐步加大圓盤,直到有一枚硬幣消失。最後換成閉運算:它能修好哪些開運算修不好的缺陷?

照片是 skimage 的 coins 影像(303 × 384)。乾淨遮罩的做法是先平滑(高斯,σ = 2),再減去寬的高斯背景(σ = 50),使明亮的角落不被算進去,最後用 Otsu 方法取門檻;結果恰好是 24 枚實心硬幣。接著以固定種子加入雜物,使答案已知:40 個孤立點(半徑 0 到 3 像素的小塊)、10 條細刮痕(5 條水平、5 條垂直)以及 18 個位於硬幣內、半徑 1 到 3 像素的圓形孔洞(scripts/figures/playground_restore_assets.py)。符號依照章節:A 是前景,B 是結構元素,開運算 = 先侵蝕再膨脹,閉運算 = 先膨脹再侵蝕,梯度 = 膨脹減侵蝕。大小 r 的意思是:圓盤為半徑 r(所有滿足 dx² + dy² ≤ r² 的位移)、方形為 (2r + 1) × (2r + 1) 像素、線段為 2r + 1 像素。影像之外的像素視為背景。連通元件採 8 連通;孔洞是沒有碰到邊界的背景區域;雜物指小於 200 像素的連通塊(最小的硬幣超過一千像素)。輸出圖中,黑色是仍為前景的像素,紅色是原本為前景而消失的像素,藍色是新增的像素。

方法與影像來源

IP 10・單一全域門檻在哪裡失效?

讓頁面一側變暗,觀察 Otsu 的單一門檻如何丟失文字,而隨局部光線調整的門檻仍能保留文字。

開啟實驗收起實驗
先預測

左側的燈光比右側強很多(漸變 0.5)。單一全域門檻還能在整頁上分開墨跡與紙張嗎?

正在載入影像…

光線不均的頁面
真實文字遮罩(完全已知)
單一全域 Otsu 門檻
局部門檻
受光頁面的直方圖與 Otsu 門檻

試試看:先把光線漸變設為 0,再慢慢提高。漸變到多少時,全域遮罩開始在較暗的一側丟失文字?接著把局部視窗縮小到 11:為什麼局部遮罩變差了?

頁面是合成的(scripts/figures/playground_images.py),因此真實的文字遮罩完全已知,IoU 是真正的分數而不是代理指標。光線將頁面乘以 1 − 漸變 · x/(w − 1)。全域:以 256 格直方圖計算的 Otsu 門檻。局部:像素若比其視窗高斯加權平均的 (1 − c) 倍更暗就判為墨跡(σ = (視窗 − 1)/6)。IoU 是墨跡遮罩與真實遮罩的交集除以聯集。

方法與影像來源

IP 11・蛇模型會找到邊緣,還是卡住?

在硬幣的照片上執行真正的蛇模型(IP 11 的 Kass–Witkin–Terzopoulos 輪廓):在一枚硬幣外畫一個起始圓,看看圓最遠可以離硬幣邊緣多遠,蛇模型才不會停在錯的地方。

開啟實驗收起實驗
先預測

起始圓的半徑是 40 像素;硬幣的半徑約為 23。使用預設設定時,蛇模型還找得到硬幣嗎?

正在載入影像…

硬幣影像,含起始圓(白色虛線)、第 10、30、100、300 次迭代的快照(橘色)、最終的蛇(黃色)與真實硬幣邊界(青色虛線)。按一下或拖曳可設定起始半徑
邊緣圖 e = |∇(G_σ ∗ 影像)|(深藍:強邊緣),含起始圓(虛線)與最終的蛇(橘色)
蛇模型能量對迭代次數
到真實硬幣邊界的平均距離對迭代次數

試試看:預設的圓半徑為 40,而硬幣約為 23:蛇模型最後離硬幣邊界 17.7 像素,被旁邊的硬幣攔住。(1) 把起始半徑降到 28:它找到了邊緣(0.5 像素)。(2) 回到半徑 40,把平滑度提高到 1.0:這次它也找到了硬幣(0.4 像素)。為什麼較硬、收縮較強的蛇可以從更遠的地方抵達硬幣?(3) 保持平滑度 2.0,從硬幣內部、半徑 12 起始:蛇縮成一小圈(17.4 像素)。(4) 平滑度 0.05 時,半徑 12 的起點在 σ = 3 能到達邊緣(1.1 像素),在 σ = 2 卻停在裡面(10.2 像素)。模糊濾掉了什麼?

真實影像:skimage.data.coins 的 144 × 144 裁切,以一枚硬幣為中心,並露出周圍八枚硬幣的一部分(來源見下方)。蛇模型依照 IP 11 與其圖形程式碼:100 個點的封閉輪廓,半隱式步驟 x(t) = (A + γI)⁻¹(γ x(t−1) + f),其中 A 由 [β, −α−4β, 2α+6β, −α−4β, β] 建構,γ = 1,α = β = 平滑度滑桿,外力 f = κ∇e,κ = 4;邊緣圖 e = |∇(G_σ ∗ 影像)| 縮放到最大值為 1,並以雙線性內插取樣。沒有重新取樣、沒有氣球力、也沒有步長上限;點會停留在影像內。當一步之內沒有任何點移動超過 0.05 像素就停止,或在 1500 次迭代後停止。這不是 scikit-image 的 active_contour:該函式建立相同的矩陣 A,但對你傳入的影像取 Sobel 梯度,以樣條函數表示外力,並把每一步限制在一個像素以內。真實邊界是以最小平方法擬合硬幣 Otsu 遮罩(已填補孔洞)邊界像素得到的圓;硬幣並非完美的圓,所以停在邊緣上的蛇仍與它相差約半個像素。距離是 100 個點「到圓心的距離 − 圓半徑」的絕對值平均;「找到」指不超過 2 像素。能量為 E = ½ Σ(α|v(i+1) − v(i)|² + β|v(i+1) − 2v(i) + v(i−1)|²) − κ Σ e(v(i)),單位任意;橘色虛線是擬合出的圓本身的 E。在影像上按一下或拖曳,會設定起始半徑,使圓通過指標位置;圓始終以硬幣為中心。點擊位置會四捨五入到整數像素。

方法與影像來源

IP 12・探測像素:平坦、邊緣還是角點?

在真實照片上移動一個小視窗,觀察視窗內的梯度向量、結構張量橢圓與 Harris 響應,如何判定該處是平坦、邊緣還是角點。

開啟實驗收起實驗
先預測

照片上標了三個位置:A、B、C。哪一個是角點,也就是把視窗往任何方向移動都會改變所見內容的位置?

正在載入影像…

照片、探測視窗(黃框)與標記 A、B、C。按一下或拖曳可移動探測點
放大後的視窗,每個像素上有一支梯度箭頭(橙色)
整張影像的 Harris 響應 R(紅:角點,藍:邊緣,白:平坦)
視窗中每個像素一個點:它的梯度 (Ix, Iy)。橙色橢圓就是結構張量
這個視窗的兩個特徵值(圓點)與影像所有視窗(灰色)的比較

試試看:用滑桿把探測點放到三個標記處(A:x 200, y 20;B:x 80, y 52;C:x 30, y 80),比較梯度點的樣子:擠在原點的小團、朝兩個方向散開的雲、細長的一條線。接著試試左側腳架腳(x 122, y 232)與右側腳(x 183, y 220):直線的方向會轉動,但兩處的 λ2/λ1 都低於 0.0025,因為兩者都是邊緣。最後把視窗從 9 增加到 25 像素:被判為角點的影像面積比例從 1.4% 增加到 8.9%。為什麼較大的視窗會找到較多角點?

真實照片:skimage.data.camera,縮為 256 × 256(來源見下方)。梯度是 σ = 1 像素的高斯導數,與 IP 12 的程式碼相同。視窗是 W × W 像素,以 σ = W/6 的高斯加權,所以 W = 9 對應章節中的積分尺度 σ = 1.5(章節程式碼把高斯截在 4σ,而不是視窗邊緣)。M 是梯度向量外積的加權和,R = det M − 0.05 · tr(M)²。梯度單位是每像素灰階值(0 到 255),特徵值單位是其平方。平坦、邊緣、角點的標籤使用本實驗自訂的門檻,並非 Harris 與 Stephens 原文的一部分:特徵值若不小於該視窗大小下影像中最大 λ1 的 5%,就視為「大」。真正的 Harris 偵測器則是取 R 超過門檻的局部最大值。熱圖顯示 R 除以影像中的最大值後再開平方:紅色為正、藍色為負、白色接近零。

方法與影像來源

編輯濾波核

修改 3 × 3 權重,觀察平滑、銳化與邊緣回應。

開啟實驗收起實驗
卷積核實驗室修改任一格或選擇預設,輸出會即時更新。
輸入 I
輸出 G = K ⋆ I

試試看:先選恆等核,再讓所有權重加總為零。平坦區域的回應會如何改變?

此處以未翻轉的核計算互相關,邊界複製最近像素;零和核的帶正負回應以中灰色為零點顯示,超出顯示範圍的值會截斷。

IP 03・強度轉換與空間濾波 →ML 03・卷積、影像濾波與 CNN →

方法來源:Torralba、Isola 與 Freeman,Foundations of Computer Vision,MIT Press,2024

自然語言處理

數一數下一個詞

用可編輯的小型語料建立 n-gram 分布,觀察次數、句子邊界與平滑化。

開啟實驗收起實驗
上下文次數
3
詞彙表大小
8
機率總和(全部詞元)
1

上下文: robots. P(w | h) = (count(h,w) + α) / (count(h) + α|V|)。

試試看:輸入未見過的上下文,把 α 設為零。估計為何沒有定義?提高 α,觀察機率如何分配。

每個非空白行是一個句子。詞元轉為小寫並以空白切分,標點保留在原詞元中;最多使用前 8,000 個字元。詞彙表只由語料建立,再加入 [EOS] 與 [UNK]。[BOS] 用於補齊句首,不是預測目標。查詢最後 n − 1 個詞元構成上下文,空查詢表示句首。這是計數示範,不是中文斷詞器。

方法來源

逐步合併字元,建立子詞

在小型加權詞彙表上訓練 BPE,再將學得的合併順序套用到新字詞。

開啟實驗收起實驗
學得合併
4
訓練子詞總數(加權)
31
輸入子詞數
5

合併次數只由固定訓練詞彙計算。編碼依序套用已學得的規則,不會用你的輸入重新訓練。

試試看:比較 lower、slowest 與 glow。哪些子詞能用於未見字詞?哪些合併只是壓縮訓練詞彙?

這是字元層級 BPE,使用詞尾符號 ▁,同分時依字典順序決定。不使用位元組切詞器或預訓練詞彙表。新字元保留為單獨子詞,輸入中的空格也視為字元。

方法來源

「每個人都讀了一本書」是同一本嗎?

改變小型閱讀關係,精確判斷兩種量詞順序的真值。

開啟實驗收起實驗
每個人:至少一本
真
某一本:所有人
假

∀ 人 ∃ 書允許每個人讀不同的書;∃ 書 ∀ 人要求有一本共同讀過的書。改變量詞順序會改變命題。

試試看:讓「每個人都讀過某本書」成立,但「有一本書每個人都讀過」不成立。反過來可能嗎?

這是有限情境中的真值條件模型,不會自動解讀歧義句。所有人讀過同一本書時,兩種解讀都成立。

方法來源

填補會改變平均池化後的句子表示嗎?

把三個詞的句子補上零向量,比較正確的遮罩平均,與把填補算進分母的平均。

開啟實驗收起實驗
先預測

選擇「填補計入分母」並加入 9 個零向量填補。和正確的遮罩平均相比,池化後的 h 會變成

池化 h
0.233
遮罩平均 h(參考)
0.7
P(類別 1)
0.763
參考 P(類別 1)
0.971
實際/計入長度
3 / 9

正確遮罩下,零向量填補不應改變平均值。把填補算進分母,會讓 h 縮小為 3 除以計入的長度,並把 P(類別 1) 拉向 0.5,儘管句子沒有改變。未加權平均也不看詞序;只有位置加權的診斷設定能分辨兩個句子。

試試看:保持「填補計入分母」的錯誤設定,把填補數從 0 拖到 9:每一步先預測 h 與 P(類別 1),並解釋句子明明沒變,分類器為何趨近 0.5。接著切換為遮罩平均,確認填補不再有影響。最後在反轉句子上試位置權重:只有這個模式下,詞序才會改變答案。

固定純量嵌入:dogs=1、chase=0.4、cats=0.7;分類器 p=σ(5h)。遮罩平均除以 3 個真實詞元,所以零向量填補不會加進任何東西;錯誤版本則除以 3 + 填補數。參考長條永遠是同一個句子的遮罩平均。一般平均依構造就不看詞序,交換句子不會有任何變化;位置權重 1、2、3 只用來診斷,不是訓練過的句法模型。

方法來源

局部標籤選擇與完整序列

結合發射分數、轉移分數與 BIO 片段限制,選出完整標籤路徑。

開啟實驗收起實驗
最佳總分
7.3
局部路徑總分
6.7
局部路徑合法?
是

反白格子最大化整條路徑的總分,而不是各詞獨立的分數。啟用限制時,I 只能接在 B 或 I 後面。

試試看:提高 York 的 I 分數。即使局部最佳標籤不變,轉移偏好能否改變最佳路徑?

O=外部、B=起始、I=內部,只使用一種實體類型。這些合成分數不是機率。此處精確枚舉 81 條路徑;長序列可用動態規劃更有效率地找到相同最大值。

方法來源

溫度、top-k 與 top-p 如何改變分布

追蹤固定 logits 經過溫度縮放、top-k 截斷、核心截斷與重新正規化的結果。

開啟實驗收起實驗
先預測

把溫度固定為 1,從 1.0 慢慢降低 top-p。輸出熵會怎麼變?

保留候選數
3
熵(位元)
1.201
機率總和
1

溫度縮放 logits 的相對差距。截斷將排除候選的機率設為零,再正規化保留候選;它無法增加模型掌握的訊息。

試試看:固定溫度並降低 top-p。為何滑桿連續移動,輸出熵卻可能突然改變?

五個合成候選詞的 logits 為 [3,2,1,0,−1]。先套用 top-k,再對重新正規化的分布套用 top-p。不訓練模型,也不從熵推論文字品質。

方法來源

為何這份文件排在第一?

在完整可見的本地語料上,觀察 BM25 詞頻飽和與文件長度正規化。

開啟實驗收起實驗
最高分文件
D2
最高分
1.86
命中文件
4

IDF 提高少數文件中才出現的詞之權重。k₁ 控制重複命中的飽和程度;b 控制相對於此語料平均長度的懲罰。

試試看:先搜尋 red,再搜尋 robots objects。改變長度正規化與飽和程度,根據文件中的詞解釋排名交換。

六份合成文件,採小寫英文字詞切分、不重複查詢詞與正值平滑 IDF。詞彙相關分數不代表文件足以回答問題。

方法來源

遮罩預測器能看見哪些位置?

改變右側語境線索,以因果遮罩隱藏它,再將不同輸出頭接到同一個小型語境向量。

開啟實驗收起實驗
使用語境位置數
3
第一個輸出機率
0.931
輸出機率總和
1

目標內容始終不可見。雙向目標可利用右側語境,因果次詞預測則不行。輸出頭將表徵映射為任務所需標籤。

試試看:在兩種遮罩下分別改變右側線索。哪一種情況的遮罩位置預測必須保持相同?為什麼?

此處以手工設定的均勻語境編碼器與兩個線性輸出頭,示範 BERT 類型的可見範圍及任務介面。這些不是 BERT 嵌入或預訓練預測。序列輸出頭讀取玩具池化語境,不是真正的 [CLS] 表徵。

方法來源

圖形識別

PR 04・改變特徵的單位,鄰居會跟著改變嗎?

對真實的鳶尾花量測資料做留一法 k 近鄰分類,再改變其中一個特徵的單位:沒有任何一朵花移動,鄰居與準確率卻改變了。

開啟實驗收起實驗
先預測

某一個特徵欄的每個數字都乘以 10,例如公寸改成公分、或公分改成公釐。花朵沒有移動,而且除以 10 就能還原。k 近鄰分類器會發生什麼事?

正在載入影像…

鳶尾花的 k 近鄰決策圖(座標軸為原始公分;圈起來的是留一法分錯的花)
第二個特徵的單位改變時的留一法準確率(每一欄用的資料都相同)

試試看:從花萼寬度與花瓣寬度、5 個鄰居、花瓣寬度以公寸(×0.1)為單位開始。把單位依序改成公分(×1)與公釐(×10):準確率與最近鄰改變的數量如何變化?接著換成花瓣長度與花瓣寬度,影響一樣大嗎?最後與標準化的設定比較。

資料:scikit-learn 內建的 150 朵鳶尾花(三個品種,各 50 朵),每次取四項量測中的兩項,單位為公分。分類器是使用歐氏距離的標準 k 近鄰規則。只有第二個特徵會被縮放(第一個維持公分);「標準化」則把兩個特徵都除以各自的標準差。準確率採留一法:每朵花由其餘 149 朵分類,決策圖則使用全部 150 朵訓練。量測值四捨五入到 0.1 公分,所以許多距離會剛好相等,一朵花的第五與第六個鄰居常常一樣遠。平手以固定的方式處理:距離相同時依一個固定的隨機排名決定先後(資料檔依品種連續排列,若依位置排序會偏袒 setosa);類別得票相同時選擇「最近成員所屬」的那個類別。最後一項指標計算有多少答案取決於這類平手。scikit-learn 對距離相同的樣本有自己的排序方式:在測試檢查的 108 種設定(3 組特徵、6 種單位、6 個 k 值)中,凡是不取決於平手的答案,它與這裡完全一致,而兩者的留一法答對數最多相差 7 朵。縮放可以還原,所以不會增加任何資訊;準確率只是 150 朵花的單一樣本,不是一般性的結論。

方法與影像來源

分類器何時應該改變判斷?

改變類別出現機率與誤報成本,觀察決策邊界如何移動。

開啟實驗收起實驗
決策邊界 x
0
後驗機率 P(1|x)
0.731
選擇類別 1 所需的後驗機率門檻
0.5

在 x = 0.5 時,選擇類別 1。比較條件風險:選擇 0 的成本為 0.731,選擇 1 的成本為 0.269。邊界滿足 2x + log(先驗勝算) = log(偽陽性成本)。

試試看:固定觀測值。提高偽陽性成本,能否在後驗機率不變時改變決策?

合成母體:X|類別 0 ~ N(−1,1),X|類別 1 ~ N(1,1)。滑桿設定真實的類別先驗機率。偽陰性成本為 1,正確決策成本為 0。曲線是類別條件機率密度,不是後驗機率。

方法來源

PR 02・密度核函數應該多寬?

調整頻寬,觀察個別核函數、估計密度與留一法預測。

開啟實驗收起實驗
先預測

哪一個頻寬的留一法對數概似最好:h = 0.1、0.5 或 2?

留一法平均對數密度
-1.827
密度峰值
0.283

小頻寬保留局部隆起,大頻寬將它們合併。留一法避免每個觀測值用自己預測自己。

試試看:找出能提高留一法對數分數的頻寬。為什麼尖銳的密度曲線,在保留觀測點上的分數反而較低?

使用十個固定的合成觀測值;Gaussian 核函數的積分為一。分數是在排除每個點後,計算該點的平均對數密度,單位為 nat,不是分類準確率。圖中個別核函數已除以十。

方法來源

PR 03・模型複雜度與收縮

以嶺迴歸擬合多項式基底,區分訓練誤差與原始函數的還原誤差。

開啟實驗收起實驗
先預測

設 λ = 0,把次數從 5 提高到 6。訓練誤差下降(0.0285 到 0.0239)。與真實函數的誤差會怎麼變?

訓練均方誤差
0.0538
真實函數網格誤差
0.029
係數範數平方
5.403

改變 λ 會改變擬合係數,觀測值維持固定。大幅懲罰可抑制對雜訊的擬合,也可能壓低表示訊號所需的曲率。

試試看:使用七次多項式並增加正則化。最低訓練誤差,是否也對應最低的原始函數誤差?

藍線最小化殘差平方和加上 λ 乘以非截距係數的平方和。十二個合成點加入固定擾動。虛線為 sin(πx);只有在這個已知合成問題中,才能直接計算它的網格誤差。多項式特徵對係數仍是線性的。

方法來源

PR 05・最大變異量能保留類別嗎?

旋轉一維投影方向,比較重建誤差與類別分離程度。

開啟實驗收起實驗
保留變異量比例
0.662
平均重建距離平方
1.917
投影後的類別中心距離
1

在 0° 時,兩種類別投影到相同的六個位置。在 90° 時,類別內的水平變化消失,類別中心則保持分離。

試試看:找出重建誤差最低的投影,再找出能分開兩種類別的投影。為什麼它們不同?

置中的合成觀測值,在每個類別內有水平變化,類別差異則在垂直方向。主成分分析不使用標籤,只最大化保留的變異量。這裡的類別中心距離是描述量,不是完整的分類評估指標。

方法來源

PR 06・時間不同,如何比對形狀?

改變訊號的時間尺度,觀察動態時間校正的成本矩陣與最佳對齊路徑。

開啟實驗收起實驗
對齊後總成本
0.231
相同索引總成本
3.591
路徑格數
14

深色格代表較大的振幅差;灰色格被帶寬限制排除。路徑最小化允許區域內的累積成本。放寬帶寬不會提高最佳成本,卻可能允許不合理的重複對齊。

試試看:將帶寬設為零並增加時間扭曲,再放寬帶寬。成本降低時,對齊過程允許忽略了什麼差異?

兩個各含十二個取樣點的正弦訊號:a(t)=sin(2πt)、b(t)=sin(2πt^w)。局部成本為振幅差的平方。路徑從兩個起點走到兩個終點,只允許向前的對角、垂直與水平步伐。成本為總和,不以路徑長度正規化。

方法來源

PR 07・軟分配如何移動平均值?

逐步執行 Gaussian 混合模型的 EM,觀察責任值、概似值與對稱初始化的陷阱。

開啟實驗收起實驗
成分平均值
-1.857 / 1.537
對數概似值(nat)
-15.863
相對初始化的增加量
10.555

E 步驟重新計算軟分配;M 步驟計算責任值加權平均。初始平均值相同時,所有責任值都是 1/2,對稱狀態不會自行打破。

試試看:將初始間距設為零並增加迭代次數。為什麼兩個平均值保持相同?再以小間距重新開始。

受限制的兩成分混合模型:權重固定為 1/2,兩個標準差固定為選定的 σ。EM 只更新平均值。每個點依成分 1 的目前責任值著色;這是成分歸屬程度,不是監督式類別標籤。

方法來源

PR 08・你最小化的是哪個方向的 KL?

移動並放寬雙峰目標的 Gaussian 近似,比較漏掉機率質量與填滿峰間谷地的懲罰。

開啟實驗收起實驗
先預測

目標分布有兩個分開的峰,q 是單一高斯。只落在其中一個峰上的 q,哪一種散度比較小?

KL(p ‖ q)
8.777
KL(q ‖ p)
0.69

KL(p‖q) 依目標的機率質量加權差異;KL(q‖p) 依近似分布配置的質量加權差異。單一 Gaussian 可能涵蓋兩個峰,也可能集中在一個峰,取決於目標函數。

試試看:當兩個峰分開時,比較集中在單一峰的窄近似與涵蓋兩個峰的寬近似。哪個方向的 KL 偏好哪一種?

目標 p 為 N(−a,0.65²) 與 N(a,0.65²) 的等權混合,近似 q 為 N(μ,σ²)。兩者在 [−12,12] 上以 0.02 間距數值正規化;KL 為網格近似,單位是 nat。這是可調整的分布族,不是最佳化器。

方法來源

PR 09・平均許多不穩定的樹,會比一棵樹更好嗎?

在 300 個帶雜訊的雙月形資料點上訓練真正的決策樹,用自助抽樣(bootstrap)做出許多棵讓它們投票,觀察測試誤差如何隨樹數下降,然後趨於平緩。

開啟實驗收起實驗
先預測

在 300 個帶雜訊的月形點上訓練完全長成的樹(深度 14)。另外對同一批點做自助重抽樣,訓練 50 棵樹,讓它們對 1000 個全新的測試點投票。和一棵用全部 300 點訓練、完全長成的樹相比,投票的結果會……

正在載入影像…

所選檢視的決策圖與 300 個訓練點(圓形 = 類別 0,方形 = 類別 1;顏色越淡代表樹之間意見越分歧;空心點 = 該成員的自助樣本沒抽到的點)
從 1 到 100 的每個 M,袋裝投票在 1000 個保留測試點上的錯誤率;圓圈標示目前的 M

試試看:從 50 棵、完全長成的深度 14 開始,把 M 從 1 拉到 100:前十棵樹讓投票的錯誤率從 14.60% 降到 11.10%,之後幾乎不動(50 棵與 100 棵都是 10.25%)。把檢視切換成「單一成員」,拖動 M 看看單一自助樹有多凌亂,再切回投票。把深度降到 2:成員之間任兩棵只在 4.88% 的測試點上意見不同,投票(10.70%)並沒有比單棵樹(10.50%)好。最後試試深度 5:單棵樹就有 9.30%,50 棵袋裝樹是 10.15%,差距不到 1 個百分點,約等於 1000 個測試點的雜訊,所以袋裝法不能取代選一個合理的深度。為什麼一群相似的樹投票卻毫無進步?

資料:scikit-learn make_moons 產生的雙月形資料,高斯雜訊 0.3,只產生一次並存在頁面中:300 個訓練點(每類 150 個,資料種子 2)與另外 1000 個測試點(種子 1002)。資料種子是 30 次隨機抽樣中,袋裝法的進步幅度最接近平均值的那一個,所以這是典型的情形,不是特別有利的情形。樹:使用吉尼不純度(Gini impurity)的 CART,沿座標軸切分,門檻取相鄰兩個值的中點;深度上限由滑桿決定(14 時這裡的每棵樹都會長到葉節點純淨為止)。袋裝法:第 b 個成員用來自同一條固定種子亂數序列(種子 20260618)、可重複抽取的 300 列訓練,所以移動 M 只是增加或減少樹,曲線不會改變。投票採簡單多數決;M 為偶數時剛好平手算半個錯誤。測試誤差用 1000 個保留的測試點計算;錯誤率約 10% 時,它的標準誤約為 1 個百分點,所以兩個不同設定之間比這更小的差距,單獨看證據很弱。不一致率:對 M 個成員的每一對,計算兩者在 1000 個測試點中預測不同類別的比例,再對所有成員對取平均(0 代表成員完全相同;越接近 0,成員越相像,這是它們犯的錯有多相關的一個代理指標)。分數相同的切分以固定規則決定(先特徵 1 再特徵 2,門檻由低到高),而 scikit-learn 以隨機順序拜訪特徵:測試中,沒有這種平手的樹與 DecisionTreeClassifier 的預測完全相同,100 棵樹的完整集成其投票錯誤率與用 scikit-learn 的樹組成的同一集成最多相差 0.7 個百分點。「理論最佳 8.5%」是理想分類器在 make_moons 所取樣的分布上的錯誤率,由兩個類別密度的數值積分求得;本實驗並不使用它。真正的袋裝法還能免費利用每棵樹沒抽到的點(out-of-bag)估計誤差;這裡改用獨立的測試集。

方法與影像來源

PR 10・母體偏移後,信心還可靠嗎?

設定拒絕門檻並平移兩種類別分布,比較接受比例與選擇性錯誤率。

開啟實驗收起實驗
接受比例
0.666
接受預測中的錯誤率
0.068
部署母體最佳邊界
0

分類器的決策邊界仍在零,部署母體的最佳邊界卻隨 δ 移動。拒絕不確定的預測,並不能修復分布偏移後的信心。

試試看:固定拒絕門檻並平移母體。模型回報高信心時,接受的錯誤是否仍可能增加?

固定分類器使用訓練後驗機率 sigmoid(2x),對應等先驗的 N(−1,1) 與 N(1,1)。部署時將兩個平均值都平移 δ,分類器保持固定。接受比例與接受後錯誤率是合成部署母體上的數值積分,不是基準資料集的估計值。

方法來源

機器學習

兩個隱藏單元如何彎折決策區域

在 XOR 四個角點上,比較固定雙單元網路使用與不使用非線性激活的差異。

開啟實驗收起實驗
先預測

選擇線性激活時,有沒有任何輸出偏差能讓四個 XOR 角點都分類正確?

正確角點
3 / 4
P(1 | 0,1)
0.881
P(1 | 1,1)
0.119

線性隱藏層會合併成單一仿射決策邊界。非線性單元組合出分段區域,能把 XOR 的兩個對角點分到同一類。

試試看:先用線性激活,試試各種偏差:四個角點能同時分類正確嗎?再切換為 ReLU,調整倍率與偏差。為何非線性會改變答案?

權重由手工設定而非訓練:h₁=a(g(x+y))、h₂=a(g(x+y−1))、p=σ(4(h₁−2h₂)/g−2+b)。顏色為 P(類別 1),圓圈標示已知角點標籤。

方法來源

對齊、困難負例與特徵坍縮

移動配對與未配對單位向量,觀察對比學習使用的正規化匹配損失。

開啟實驗收起實驗
正例機率
0.896
匹配損失(nat)
0.109
正例餘弦值
0.94

損失 = −log(exp(sim⁺/τ) / Σ exp(sim/τ))。溫度會強化原本相似度最高的候選。坍縮的單位向量產生相等機率與 log(4) 損失。

試試看:讓負例比正例更靠近錨點。降低溫度會幫助正確配對嗎?接著讓所有向量坍縮。

一個錨點、一個正例與三個負例;直接控制向量,不進行訓練。相同匹配幾何可解釋影像與文字檢索,但這些不是 CLIP 特徵或語意預測。

方法來源

選擇性狀態更新:記住重要輸入

在序列加入干擾值,比較固定遞迴衰減與依輸入決定的寫入行為。

開啟實驗收起實驗
先預測

策略為「略過已標記干擾」,並把寫入位置(1 與 9)的保留係數 a 設為 1。最後一個位置之後,狀態是多少?

狀態 h₁ → h₈(第二次寫入前)
0.75 → 0.75
最終狀態
-0.563
∂h₁₂ / ∂h₁
0.25
狀態絕對值最大值
0.75
可寫入位置數
2

固定衰減在每一步都取捨持續記憶與干擾。選擇機制能跨越無關輸入保留狀態,但必須正確辨認重要性;此處事先標記省略了這項學習問題。保留係數為 1 時完美保留,卻什麼也寫不進去。

試試看:比較兩種策略:選擇性更新下,位置 1 寫入的狀態能撐過干擾;每一步使用相同更新則會被干擾覆寫。接著提高干擾振幅,看哪些狀態會改變。最後把保留係數設為一:永不改變的狀態會完美保留舊值,所以也無法寫入任何新資訊。為什麼這不算記憶?

純量遞迴 hₜ=aₜhₜ₋₁+(1−aₜ)xₜ,h₀=0。保留係數 aₜ=1 表示保留舊狀態,aₜ=0 表示以輸入取代。重要位置 1 與 9 由事先標記提供;選擇性策略在其他位置的 aₜ 皆為 1。若在重要位置把保留係數設為 1,狀態會停在起始值 0:完美保留,卻沒有寫入任何東西。此處示範閘控與 Mamba 輸入選擇性的動機,不是 Mamba、LSTM 或 GRU 的實作。

方法來源

注意力:哪些詞元可見?

使用相同的查詢、鍵與值,比較雙向注意力與因果注意力。

開啟實驗收起實驗
可見詞元數
3
權重總和
1
注意力輸出
[0.7517, 0.7517]

分數欄包含溫度縮放。被遮蔽位置的分數為 −∞,權重恰為零。改變遮罩後,剩餘鍵的機率會重新正規化。

試試看:在因果模式選擇第一個查詢:它對自己的權重必須為 1。切換至雙向模式,再降低溫度。

Q、K、V 皆為固定、人工設定的二維向量,並非學得的語言表徵。分數為 Q · K / (√2 τ);τ 是額外的溫度控制,τ = 1 時為一般縮放方式。因果注意力在 softmax 前遮蔽查詢之後的位置,輸出為 V 的加權和。這些權重用來展示資訊如何聚合,無法解釋語言意義。

方法來源

預測相同,機率品質卻不同

對固定驗證 logits 套用正溫度,比較準確率、對數損失與機率平方誤差。

開啟實驗收起實驗
先預測

把溫度 T 從 1 提高到 4。分類器的準確率會改變嗎?

準確率
75%
平均對數損失(nat)
0.498
Brier 分數
0.177

正溫度保留 logits 排序與二元決策。它能調整過度自信或信心不足,卻無法修正分類器判錯的樣本。

試試看:找出對數損失低於 T=1 的溫度。為何信心改變時,準確率保持不變?

八筆合成驗證觀察,不是基準測試。二元機率使用 σ(logit/T),決策閾值固定為 0.5。在此挑選 T 是示範驗證集調整,不代表未見測試集上的表現。

方法來源

為何有限差分步長越小反而越差?

檢查 exp(x) 的導數,區分截斷誤差與浮點相減造成的消去誤差。

開啟實驗收起實驗
解析導數
2.71828183
數值導數
2.71828183
相對誤差
2.155e-11

h 太大會產生近似誤差;h 太小則會相減兩個極接近的浮點值,流失有效位數。中央差分消去領先的截斷項,但仍受捨入誤差影響。

試試看:將 h 從 10⁻¹ 掃描至 10⁻¹⁶。找出前向差分與中央差分的有效區間,而非直接選最小步長。

使用 JavaScript binary64 運算;此處「解析值」是以相同精度計算的解析導數 exp(x)。測得零誤差只代表捨入後相同,不是實數運算完全精確的證明。

方法來源

ML 02・小小的網路學得會彎曲的邊界嗎?

在雙月形與雙圓環兩個資料集上,一步一步用梯度下降訓練一個有 2 個輸入、m 個 tanh 隱藏單元與 1 個 sigmoid 輸出的網路,觀察決策圖與訓練、測試損失。隱藏單元太少、學習率太小、學習率太大,各有各的失敗方式。

開啟實驗收起實驗
先預測

把隱藏單元數設為 1,其他都不動。網路能把兩個月牙形分開嗎?

正在載入影像…

雙月形:所選步數的決策圖(藍圓=類別 0,橙三角=類別 1;實心=訓練點,空心=測試點;加圈=答錯;黑線=0.5 邊界)
雙月形:交叉熵損失隨步數的變化(實線=訓練,虛線=測試)
雙圓環:所選步數的決策圖(符號相同)
雙圓環:交叉熵損失隨步數的變化(實線=訓練,虛線=測試)

試試看:從預設值開始(m = 3、η = 1、1000 步),兩條彎曲的邊界都學會了。(1) 把步數滑桿從 0 往右拖:100 步時月牙形只答對 85.0%(幾乎是一條斜直線,損失停在 0.30 附近的平原),300 步時 94.5%,500 步時 98.0%。(2) 把 η 設為 0.3,再把 m 降成 2,然後 1:訓練 1000 步後,月牙形分別停在 86.0% 與 85.0%,圓環停在 77.5% 與 61.5%。(3) 回到 m = 3,試試 η = 0.03、0.1 與 0.3:1000 步時月牙形分別答對 84.5%、85.0% 與 94.5%。學習率小並不是錯,只是慢:離線跑 5000 步(超出本實驗 2000 步的上限),η = 0.1 在月牙形上可達 98.0%。(4) 試試 η = 3、10 與 30:損失在許多步上升,η 最大時訓練更是無法穩定下來。

資料:scikit-learn 的 make_moons(noise 0.2、random_state 0)與 make_circles(noise 0.1、factor 0.5、random_state 0),各 200 個訓練點,另有各 200 個保留的測試點(random_state 1),測試點從不用於訓練。網路與損失採用 ML 02 的記號:z₁ = W₁x + b₁、a₁ = tanh(z₁)、z₂ = W₂a₁ + b₂、p = σ(z₂),損失是訓練點上的二元交叉熵平均;梯度由反向傳播計算(已用有限差分及獨立的 NumPy 計算核對)。訓練是最單純的全批次梯度下降 θ ← θ − η∇L,η 固定,沒有動量、小批次或正則化。初始權重為 Xavier 常態分布(變異數 2 /(輸入數+輸出數))、偏差為 0,來自固定種子(5),所以拉動滑桿不會重新抽籤;第 j 個單元永遠拿到同樣的隨機數。換種子細節會變:種子 1 到 20(η = 1、2000 步)中,3 個隱藏單元在兩個資料集上的訓練準確率 20 次都達到 95% 以上,1 個單元從未達到,2 個單元在月牙形上 20 次中至多 1 次達到、在圓環上從未達到。一步是一次參數更新,第 0 步是尚未訓練的網路。損失忽上忽下時,迭代是混沌的,所以 η 很大時的曲線細節可能因瀏覽器而異,但故事不變。測試損失曲線每 4 步取樣一次。

方法與影像來源

VAE 如何取捨重建與先驗一致性

移動並調整高斯後驗寬度,計算期望解碼損失與精確 KL 懲罰。

開啟實驗收起實驗
期望解碼負對數概似
0.806
KL(q || 先驗)(nat)
0.638
負對數概似 + β KL
1.444

重建偏好接近 x=1 的潛在值與較窄後驗。KL 同時懲罰平均偏離零及變異數偏離一。只符合先驗不保證有用的重建。

試試看:將 q(z|x) 設為先驗。為何 KL 為零,但 x=1 的重建仍差?縮小 σ 能否改善一項卻使另一項惡化?

單一觀察 x=1、q=N(μ,σ²)、先驗=N(0,1),固定解碼器 p(x|z)=N(z,0.5²)。期望負對數概似以解析式計算,不抽樣也不訓練網路。β=1 時是此模型的負證據下界;其他 β 是加權目標。

方法來源

拉伸空間會改變密度:Jacobian 的作用

將高斯分布通過可逆非線性映射,利用導數保持機率質量。

開啟實驗收起實驗
零點導數
2
零點輸出密度
0.199
數值面積(基底 ±4σ)
0.99988

pₓ(f(z)) = p_z(z) / |f′(z)|。局部拉伸將相同機率分散到更大的輸出空間;省略 Jacobian 會改變總機率質量。

試試看:增加零附近的非線性拉伸。為何零仍映射到零,該處輸出密度卻下降?

一維正規化流 x=az+b tanh(z),其中 a>0、b≥0。導數始終為正,因此映射可逆。曲線由精確變數變換公式計算,不擬合模型。

方法來源

正確速度場仍需要數值求解器

讓粒子通過已知速度場,比較相同步數下的積分誤差。

開啟實驗收起實驗
平均終點誤差
0.189926
每粒子速度場評估次數
4
x₀=0 的精確終點
1.532

步數與函數評估次數是不同成本。減少積分誤差無法修正錯誤的學得速度場;此處已知精確速度場,因此速度場誤差為零。

試試看:將變化率設為零:為何一步 Euler 就精確?再使用非零變化率,比較步數與實際速度場評估次數。

已知速度場 v(x,t)=λx+1,從 t=0 積分到 1。此處隔離流匹配取樣中的求解器誤差,不訓練速度網路,也不衡量生成品質。虛線使用解析解。

方法來源

ML 08・網路預測雜訊、影像或速度時,看到的是什麼?

把太空人照片與固定雜訊混合,並排檢視雜訊、乾淨影像與速度三種目標,再讓網路帶一點誤差,看看哪一種轉換回乾淨影像的方式承受得住。

開啟實驗收起實驗
先預測

x_t 幾乎只剩雜訊(−20 dB)。不論預測哪一種目標,網路都犯同樣的小誤差 0.05。把每個預測轉換回乾淨影像 x̂₀ 之後,哪一種對誤差最敏感?

正在載入影像…

x_t,網路的輸入:它唯一看得到的畫面
ε,被加入的雜訊
x₀,乾淨影像
v = √ᾱ·ε − √(1−ᾱ)·x₀,速度
由網路對所選目標的不完美輸出還原出的 x̂₀
誤差 x̂₀ − x₀(增益 ×3,中灰 = 0)

試試看:從 −20 dB、雜訊輸出誤差 0.05 開始。把訊號強度往上拉到 0 dB:三種還原方式在哪裡一樣好?再拉到 +20 dB:現在哪一種目標對誤差最敏感?為什麼答案反過來了?

影像:太空人照片(256 × 256、RGB),像素值如章節所述對應到 [-1, 1]。混合式為 x_t = √ᾱ x₀ + √(1−ᾱ) ε,其中 ε 是固定種子的標準常態雜訊,v = √ᾱ ε − √(1−ᾱ) x₀ 是 ML 08 章節的速度(擴散的速度,不是流匹配的傳輸速度)。滑桿設定的是 x_t 的訊雜比 ᾱ/(1−ᾱ)(單位 dB)。網路並未訓練:它的輸出是精確目標加上固定種子的誤差,且不論預測哪一種目標,都使用相同大小的誤差(以 [-1, 1] 像素尺度為單位)。真實的網路對每種目標的誤差並不相同,所以這個實驗隔離的是轉換本身,而不是學習。x̂₀ 會像影像解碼器一樣裁切到 [-1, 1],PSNR 是把 x₀ 與 x̂₀ 都對應到 [0, 1](峰值 1)後相對於 x₀ 計算。所有面板使用同一個灰階對應(灰階 = 0.5 + u/2.5)。

方法與影像來源

把微型影像分解為條件預測

在一階像素模型下枚舉十六種二元 2×2 影像,再改變生成順序。

開啟實驗收起實驗
影像機率
0.064
每像素位元
0.991
全影像機率總和
1

聯合機率是各個正規化條件因子的乘積。十六種影像機率總和為一。高複製機率模型偏好較少轉換的序列,但不同順序對應的空間圖樣不一定相同。

試試看:在偏好複製的設定下比較橫條紋與棋盤格。把逐列順序換成逐行順序:哪些模型假設改變了?

第一個像素的機率為 1/2;後續像素以機率 c 複製前一像素。鏈式法則精確成立,但此模型刻意只保留前一像素。這裡的順序依賴來自受限的條件模型。

方法來源

電腦視覺深度學習

DLCV 01・一個輸出單元能看到多少影像?

選一組卷積層堆疊與真實照片上的一個位置:影像上會畫出某個輸出單元所依賴的輸入像素方框,並顯示其大小、跳距與占整張影像的比例。

開啟實驗收起實驗
先預測

三層 3×3 卷積讓每個輸出單元的感受野為 7 × 7 像素。哪一種單一改動能讓它增加最多?

正在載入影像…

照片與一個輸出單元的感受野(黃色方框)。按一下或拖曳可移動單元
這個單元能看到的全部內容(放大)
逐層畫出的堆疊:r 是該層之後的感受野,j 是跳距;長條是精確追蹤的結果

試試看:選擇「六層 3×3,每隔一層步幅 2」並點擊影像:這個單元看到 29 × 29 像素,占影像的 1.3%,相鄰單元相距 8 像素。接著選「四層 3×3,膨脹率 1、2、4、8」:感受野差不多,是 31 × 31 像素(1.5%),但跳距維持 1,所以每個像素仍有自己的輸出單元。最後點擊左上角:為什麼那裡被涵蓋的比例比照片中央小?

真實照片:skimage.data.camera,256 × 256(來源見下方)。每一層是方形卷積,卷積核 k、步幅 s、膨脹率 d,兩側各以零填補 (k_eff − 1)/2,其中有效卷積核 k_eff = (k − 1)·d + 1。大小與跳距由遞迴 r ← r + (k_eff − 1)·j、j ← j·s 得出(輸入處 r = j = 1),影像上的方框則由一個輸出單元的索引區間逐層往回追蹤得到:這裡每一種堆疊兩種算法都一致,另以 SciPy 獨立計算哪些輸入像素會影響一個單元,也得到相同的方框。單元會對齊到輸出網格上最近的位置,網格間距就是跳距。方框超出影像的部分是零填補,被涵蓋的比例只計算影像內的部分。這是理論感受野:可能改變該單元的像素集合。實際影響並不均勻,而是集中在方框中央,所以有效感受野比較小;這裡沒有計算有效感受野,也沒有訓練任何權重。

方法與影像來源

DLCV 02・決策門檻改變錯誤的種類

移動固定分類分數的決策門檻。混淆矩陣隨之改變,操作點則沿著由同一組分數畫出的 ROC 與精確率–召回率曲線滑動。

開啟實驗收起實驗
先預測

門檻目前是 0.5,你把它降到 0.3。操作點在 ROC 曲線上會往哪裡移動?

精確率
0.66667
召回率
0.8
ROC AUC(所有門檻)
0.84
F1
0.72727
正確率
0.7
平均錯誤成本
0.3

真陽性(TP):4;偽陽性(FP):2;偽陰性(FN):1;真陰性(TN):3。降低門檻可能找回漏掉的正例,也可能增加偽陽性。精確率與召回率使用不同分母;單靠正確率無法表達不對稱的錯誤成本。

試試看:找出沒有偽陽性的門檻,並看操作點落在 ROC 曲線的哪裡。漏掉了多少正例?接著提高偽陽性成本 c:曲線不會動,但平均錯誤成本最低的點會改變。

十筆固定合成分數包含五個正例。分數 ≥ 門檻時預測類別 1;未進行模型訓練。曲線上每個頂點對應一個門檻(十個分數之一),頂點之間的連線只是輔助視線。ROC:橫軸為 FP/(FP+TN),縱軸為召回率 TP/(TP+FN);AUC 以梯形法計算面積。精確率–召回率:若未預測任何正例,精確率無定義,因此不畫點。平均錯誤成本 = (c×FP+FN)/10,偽陰性成本固定為 1。調整 c 改變評估成本,不會改變分數、決策或曲線。

方法來源

邊界框、重疊與抑制

重疊的偵測框何時會被當成同一個物件?觀察貪婪抑制如何作出決定。

開啟實驗收起實驗
先預測

預設位置下,A 框(分數 0.92)與 B 框(分數 0.84)的 IoU 約為 0.55,IoU 門檻是 0.5。三個框會保留幾個?

IoU(A, B)
0.551
IoU(B, C)
0
保留框數
2

IoU = 交集面積 / 聯集面積。已遭抑制的框不會再抑制其他框;比較對象僅限先前保留的框。 A: 保留 · B: 抑制 · C: 保留.

試試看:將 B 移到 A 上,再提高 IoU 門檻。找出同時保留兩框的設定。這項規則能分辨重複偵測與兩個相鄰物件嗎?

三個同類別的框具有固定分數。先保留分數 ≥ 分數門檻的框,再依分數由高到低處理;若與已保留框的交集聯集比(IoU)嚴格大於 IoU 門檻,就抑制該框。分數是示範輸入,不代表模型準確率。

方法來源

DLCV 03B・小小的偏航角誤差無傷大雅嗎?

在鳥瞰視角中,把預測框從真實框轉開幾度,觀察精確的旋轉 IoU 下降,而中心距離維持為零。

開啟實驗收起實驗
先預測

偵測器預測了一個巴士大小(12 × 2.5 公尺)的框,中心與尺寸都完全正確,但朝向偏了 10°。它與真實框的鳥瞰視角 IoU 是多少?

正在載入影像…

鳥瞰視角:真實框、預測框與它們的精確重疊
三種形狀在所選中心偏移下,旋轉 IoU 與偏航角誤差的關係

試試看:預設設定(巴士或卡車,12 × 2.5 公尺,偏航角誤差 10°,兩個中心完全重合)下,旋轉 IoU 只有 0.657,儘管中心距離是 0 公尺;不管偏航角的外接矩形則給出 0.539。把偏航角誤差降到 5°,IoU 仍然只有 0.808。換成汽車(4.5 × 1.8 公尺),同樣的 10° 損失較小,為 0.796;再換成行人(0.7 × 0.7 公尺):10° 時是 0.863,而且在任何偏航角誤差下都不會低於 0.707。表格的最後一列給出各形狀的 IoU 掉到 0.7 以下所需的偏航角誤差:巴士 8.5°,汽車 16.55°。以 0.7 為 IoU 門檻的配對規則,會讓哪一類物體因為朝向錯誤而受到最重的懲罰?而只看中心距離的規則,對這三類又怎麼說?

真實框是軸對齊、位於原點的矩形,長邊沿著 x 軸。預測框的尺寸完全正確,先繞自己的中心轉過偏航角誤差,再沿著真實框的長邊方向平移中心偏移量。尺寸僅為示意,採用章節圖 4 與圖 6 的數值(行人 0.7 × 0.7 公尺、汽車 4.5 × 1.8 公尺、巴士或卡車 12 × 2.5 公尺),並非任何資料集的量測值。旋轉 IoU 是精確的:重疊多邊形由 Sutherland–Hodgman 裁切法求出,面積用鞋帶公式,IoU = 重疊 /(真實框面積 + 預測框面積 − 重疊);程式碼是把章節的 Python 片段移植到 TypeScript,並與它對照測試。軸對齊 IoU 是取每個框最小的軸對齊外接矩形,再計算這兩個矩形的普通 IoU;它忽略真實形狀,所以在偏航角誤差小時比旋轉 IoU 低(轉過的框的外接矩形比框本身大),在誤差大時則比較高。中心距離是兩個中心在地面上的歐氏距離。IoU 看不出朝向轉了 180°,所以偏航角誤差限制在 0° 到 90°。這裡只比較鳥瞰視角(不含高度)。nuScenes 以地面上的二維中心距離把偵測框配對到物體,目的是讓偵測與物體大小和朝向脫鉤,朝向另以獨立的誤差項評分;KITTI 對汽車的門檻 0.7 是三維框的重疊。

方法與影像來源

DLCV 04・像素準確率高,就代表分割得好嗎?

模擬一個以較粗的輸出步幅(stride)做預測的分割網路,比較像素準確率、平均 IoU 與最小類別的 IoU。

開啟實驗收起實驗
先預測

一個網路在輸出步幅 8 下預測,因此一個分數格子涵蓋 8 × 8 個像素,而且格子的分數是最理想的(精確的類別比例)。細桿寬 3 像素,小方塊為 6 × 6。各項分數會是什麼樣子?

正在載入影像…

真實標籤(5 個類別)
模擬網路的預測
預測錯誤的像素(紅色)
像素準確率、mIoU 與各類別的 IoU

試試看:預設的輸出步幅為 8,預測約有 95% 的像素正確,但小方塊的 IoU 卻是 0。把步幅降到 4,再降到 2:細桿在哪個步幅才回來?為什麼它比小方塊需要更細的步幅?接著把步幅升到 32:五個類別中還有幾個的 IoU 不是 0?最後在步幅 8 把放大方式改成雙線性:哪些數字改變了,哪一個仍然是 0?

標籤圖是合成的(128 × 128,由程式畫出,沒有使用隨機數):約 85% 的像素是背景,另有一個圓盤、一個方塊、一根 3 像素寬的細桿與五個 6 × 6 的小方塊,各自是獨立的類別。網路是理想化的:在輸出步幅 s 下,每個 s × s 格子對各類別的分數,就是格內屬於該類別的像素比例,這已是步幅 s 的預測頭所能給出的最好結果。最近鄰放大時,比例最大的類別決定整個格子的標籤(平手時取編號最小的類別);雙線性放大則逐類別對比例做內插,再由最大的分數決定每個像素。它是章節玩具實驗在較小場景上的相同做法,因此數字屬於這個實驗本身,不是章節中的數字。各項分數依章節定義:像素準確率是預測正確的像素比例,類別的 IoU 是真陽性除以(真陽性 + 漏判 + 誤判),mIoU 是五個類別(含背景)IoU 的平均,由同一個混淆矩陣算出。

方法與影像來源

DLCV 05・熱圖的 argmax 就是關鍵點嗎?

對 500 個隨機的子像素關鍵點,以步幅 1、2、4 或 8 繪製高斯熱圖,比較三種讀回位置的方法:最亮的格子、四分之一格偏移與 Taylor 步驟。

開啟實驗收起實驗
先預測

網路對一個隨機子像素位置的關鍵點,在步幅 4(一格 = 4 個輸入像素)回傳幾乎完美的高斯熱圖。你把最亮格子的位置當作關鍵點。平均會差多遠?

正在載入影像…

一個關鍵點周圍的熱圖格子(數值 0 到 1):真實位置、解碼位置與最亮的格子
三種解碼方式在各步幅下,500 個關鍵點的平均誤差
所選解碼方式與步幅下,500 個誤差的直方圖

試試看:預設設定(步幅 4、單純 argmax)下,500 個關鍵點平均偏離 1.58 像素;平均誤差表顯示步幅每加倍,誤差也加倍:步幅 1、2、4、8 分別是 0.37、0.78、1.58 與 3.12 像素,接近步幅的 0.383 倍。把解碼改成四分之一偏移(約減半),再改成 Taylor 步驟:在步幅 8,它把 3.12 像素降到 0.41 像素。接著保持 Taylor 步驟,把 σ 從 2 格提高到 4 格:在步幅 8,它的誤差從 0.41 增加到 1.58 像素。較寬的峰應該比較容易讀,為什麼同樣的雜訊卻傷害更大?

一個模仿章節程式碼的玩具,使用自己的亂數(因此平均值與章節那次執行相差在小數第二位)。500 個關鍵點在 256 × 256 輸入的 [16, 240] × [16, 240] 像素內均勻抽樣。步幅 s 的熱圖是整數格 p 上的 exp(−‖p − x/s‖² / (2σ²)),以未四捨五入的精確位置為中心,再加上每格標準差 0.01 的高斯雜訊,下限為 10⁻⁶;與章節相同,格子的中心就是整數位置,所以最亮的格子 i 對應到 s · i。Argmax 解碼為 s · (最亮的格子)。四分之一偏移是在每個軸上,把最亮的格子朝較亮的鄰格移動 ¼ 格。Taylor 步驟是在最亮的格子上,對熱圖的對數做一次牛頓步,使用中央差分,且只有在 2 × 2 的 Hessian 為負定時才採用。誤差是與真實位置的歐氏距離(輸入像素)。這裡只產生真實格子周圍的 (2R + 1)² 個格子,R = ⌈2σ⌉ + 2;視窗之外高斯值低於 0.14(峰值至少 0.77,雜訊只有 0.01),所以其餘的熱圖不會改變答案。格線圖顯示固定的一個關鍵點 (102.6, 78.9),所有解碼器使用相同的雜訊。真實網路還有這個玩具省略的其他誤差;本實驗只隔離出格子本身造成的誤差。

方法與影像來源

DLCV 06・CTC 要怎麼寫出連續兩個相同的字母?

在玩具辨識器的輸出中,改變兩個相同字母之間畫格的空白機率,觀察貪婪(最佳路徑)解碼與前綴束搜尋怎麼讀它。

開啟實驗收起實驗
先預測

預設矩陣中,兩個 O 之間的兩個畫格各是空白 0.45、O 0.55,其餘畫格都很確定自己的字母。貪婪最佳路徑解碼會為 BOOK 寫出什麼?

正在載入影像…

玩具網路輸出:每個畫格一列、每個符號一欄(橘色長條:重複字母之間的畫格)
機率最高的五段文字,各自把所有對齊加總

試試看:預設設定(兩個 O 之間的兩個畫格,空白各 0.45、O 各 0.55,貪婪解碼)下,每個畫格取最大值得到路徑 B O O O O K,合併後是 BOK:少了一個 O。然而正確單字的總機率最大,是 0.410,BOK 則是 0.310,因為只要間隔的兩個畫格中任何一個有空白,這個對齊就讀成 BOOK。切換成前綴束搜尋(束寬 3):它寫出 BOOK。接著移動空白機率。0.50 時貪婪解碼也寫出 BOOK(平手時取空白)。束搜尋在 0.40 仍得到 BOOK,但 0.35 時寫出 BOK(0.377 對 BOOK 的 0.343)。0.05 時網路幾乎確定看到的是一個拉長的 O:兩種解碼器都寫出 BOK,損失 −ln p(BOOK) 是 2.819。最後選 SEE:貪婪解碼在 0.50 翻轉,束搜尋在 0.35 與 0.40 之間翻轉,和 BOOK 一樣。為什麼把所有對齊加起來,就能找回沒有任何單一畫格投票支持的連續字母?

手工做的玩具,不是訓練好的辨識器的輸出。單字的每個字母各有一個確定的畫格(字母 0.85、空白 0.15);兩個相同字母之間有兩個間隔畫格,網路在空白(機率 q,也就是滑桿)與字母(1 − q)之間猶豫。其餘的項都是 0,所以這個矩陣只問一個問題:是空白還是字母?BOOK 有 6 個畫格(B、O、兩個間隔畫格、O、K),SEE 有 5 個。合併映射先合併重複、再刪除空白,所以連續字母只有在兩個複本之間有空白時才寫得出來。貪婪解碼取每個畫格的最大值;平手時取空白,如同 NumPy 的 argmax 取第一個索引。右邊的長條用枚舉的方式把每段文字的所有對齊相加(BOOK 有 4⁶ = 4,096 種對齊,SEE 有 3⁵ = 243 種);正確單字的機率也用前向演算法計算,測試會把兩者互相比對。前綴束搜尋對每個前綴保留以空白結尾與以最後一個字母結尾的對齊機率,且每個畫格之後只留最好的 3 個前綴;剪枝可能丟掉一些對齊,所以它自己算出的機率可能略低於精確值(q = 0.35 時 BOK 是 0.366,精確值是 0.377)。同一份程式也重現了章節中五個畫格的「cat」範例(貪婪 ca,束寬 3 得 cat 0.344,精確值 0.363)。

方法與影像來源

DLCV 07・物體相遇時,身分為什麼會對調?

用卡爾曼濾波器、成本矩陣與匈牙利演算法,在 30 幀合成影片中追蹤三個彩色方塊,觀察只用框重疊時兩個身分如何對調。

開啟實驗收起實驗
先預測

兩個大小相同的人沿同一條線相向而行,站到同一個位置後折返。追蹤器用等速卡爾曼濾波器預測每個框。哪一種線索能防止兩條軌跡對調?

正在載入影像…

合成影格:真實框(白色虛線)、預測框(點線)與軌跡框(實線,附軌跡尾巴),依軌跡編號著色
所檢視影格的成本矩陣,框起來的是匈牙利指派
整段影片的身分帶(按一下可選擇影格)

試試看:預設設定(λ = 1,只看框重疊)下,橘色與藍色兩個走路的人在相遇後的第 15 幀對調了軌跡:發生 2 次身分切換,90 個物體幀中有 30 個帶著錯誤的編號。請以 0.05 為單位降低 λ:交換在 λ = 0.9 與 0.8 之間消失;λ = 0.5 時,各軌跡與自己物體的平均 IoU 由 0.582 升到 0.850。接著把抖動設為 0:只看重疊仍然會交換,可見原因是折返而不是雜訊。最後把抖動調到 5 像素:連 λ = 0.5 也會有 4 次身分切換。在第 13 幀,軌跡 #1 的顏色成本 1 − cos 對藍色的人是 0.47,對自己的橘色的人卻是 0.61。為什麼顏色這時變得不可靠?

合成影片,完全由程式畫出,沒有使用任何照片。場景:160 × 128 像素的畫面、30 幀、三個 30 × 40 像素的人形方塊(橘、藍、綠上衣,各配不同顏色的褲子),再加上標準差 0.03 的高斯像素雜訊。橘色與藍色的人沿同一條線以每幀 4 像素相向而行,在第 14 幀站在同一個 x 位置(藍色的人低 8 像素、畫在前面)後各自折返;綠色的人沿畫面下方行走。這裡選擇「相遇後折返」而不是「直接穿過」,因為以等速穿過時,單靠運動就能分辨,只有雜訊碰巧才會交換;折返之後,直線預測會指向錯的人(章節稱為「彈回」的情形)。追蹤方式與 DLCV 07 章節相同:在 [cx, cy, w, h, vx, vy] 上的卡爾曼濾波器(q = 1,r = 4)、成本 C = λ(1 − IoU) + (1 − λ)(1 − m·e)(e 是偵測框內像素的單位長度顏色直方圖,每個色彩通道 4 格;m 是以 α = 0.9 更新的軌跡記憶),再用匈牙利演算法求解。已簡化:每幀每個物體恰有一個偵測框(沒有漏偵測、誤偵測、門檻過濾、新增或刪除軌跡);偵測框以輪替的順序出現,只在評分時才帶有真實物體編號;抖動是一組固定的隨機數(種子 16)乘上滑桿的值,所以不會重新抽樣。指標:身分切換是指某物體配到的軌跡編號與前一幀不同(章節的定義),所以兩條軌跡對調算 2 次;平均 IoU 是每條軌跡的濾波後框,與該軌跡起點所對應物體的真實框之間的 IoU;MOTA = 1 − (FN + FP + IDSW) / GT,此處 FN = FP = 0、GT = 90 個物體幀,所以兩次切換只讓 MOTA 少 0.022,儘管錯誤的編號持續了 15 幀。一組抖動只是一段影片:換成其他 200 組抖動(σ = 2.5)時,只看重疊的有 164 組發生切換,λ = 0.5 有 12 組;σ = 5 時分別是 165 與 90 組。以 NumPy 與 SciPy 重新實作的版本重現了所有數字。

方法與影像來源

DLCV 04・清晰的猜測可能較不忠實

一個模糊的觀測同時符合兩種清晰的乾淨訊號。模糊的平均值期望平方誤差最低;清晰的猜測看起來較好,但通常離真相較遠。

開啟實驗收起實驗
先預測

把 P(A) 設為 0.9。清晰的 A 現在很可能是對的。模糊平均值的期望平方誤差還是比較低嗎?

重建期望均方誤差
0.5
條件平均最小均方誤差
0.25
清晰程度(相鄰取樣總變差)
3

平均互不相容的可能性可最小化期望平方誤差,卻可能移除所有合法乾淨結果都具有的結構。選定一種結果能恢復結構,也可能恢復錯誤的結構。

試試看:從清晰的 A(偏向程度 1)開始:它的風險比模糊平均值高。把偏向程度滑到 0,看風險降到最小。再把 A 的機率提高到 0.9:清晰的 A 追上來了嗎?它有可能勝過平均值嗎?

兩個固定的 8 取樣值模式 A = 00110011 與 B = 11001100,是唯二可能產生同一個模糊觀測的乾淨訊號。P(A|y) = p 由設定提供,並非學得。模糊平均值為 p·A + (1−p)·B。你的重建把平均值混合向 A:(1−m)·平均值 + m·A,所以 m = 1 恰好是 A(清晰的單一樣本),m = 0 則是平均值。風險 = 期望均方誤差,即 p·MSE(A, 輸出) + (1−p)·MSE(B, 輸出),對「哪個模式才是真相」取平均。清晰程度為總變差(相鄰取樣值差的絕對值總和),並非感知品質分數。

方法來源

DLCV 09C・增益無法創造缺少的光子

模擬帶有光子雜訊與讀出雜訊的昏暗照片,比較增加光量、增加數位增益與使用去雜訊器的差別。

開啟實驗收起實驗
先預測

在沒有任何像素被截斷的情況下,你把數位增益加倍。訊雜比會怎麼變?

正在載入影像…

場景(我們想要的)
增益後的感光元件輸出
增強器處理後

試試看:在 8 個光子、增益 12 時,畫面和場景一樣亮,卻有很多雜訊。把增益降到 1:畫面變暗,但訊雜比有變嗎?接著保持增益 12,把光子數提高到 100。這次改變了什麼?亮部又會發生什麼事?

相機測試影像,256 × 256。每個像素收集 Poisson(光子數 × 場景) 個電子,再加上高斯讀出雜訊(σ = 2 個電子),輸出為 clip(增益 × 電子數 / 100)。雜訊場固定不變,所以拉動滑桿不會重新抽樣。SNR 是截斷前的平均訊號除以雜訊標準差,單位為 dB。增強器是高斯模糊(σ = 1.5)與 3 × 3 中值濾波,用來代替學習式去雜訊器,但它們並不是。光子數很大時使用 Poisson 分布的常態近似。

方法與影像來源

DLCV 09C・3D 查找表要多大才夠?

把一個平滑的色彩增強烘焙進 M × M × M 的表中,分別以最近節點查表與三線性內插套用,並與精確轉換比較。

開啟實驗收起實驗
先預測

最近節點查表 M = 33 的項目數約為三線性 M = 9 的 49 倍(35,937 對 729 個節點)。在平滑漸層上,哪一個更接近精確轉換?

正在載入影像…

精確轉換(目標)
查找表,最近節點
查找表,三線性
所選查表方式的誤差圖(放大 8 倍,亮:錯誤)

試試看:預設(M = 9、平滑漸層)下,最近節點查表出現明顯的色帶,三線性的結果則看起來與精確結果一樣。把誤差圖切換成三線性:誤差最大的地方在哪裡?為什麼在那裡?接著把最近節點查表的 M 調到 33:色帶消失了嗎?最後把 M 設為 3,比較兩種內插。

真實的增強轉換寫在程式碼裡(src/lib/playground/labs/lut-trilinear.ts),是這個實驗自己的玩具範例:對每個通道 t,先做色調曲線 g = t^0.9,再套用 S 曲線 (1 − a) g + a (3g² − 2g³)(a = 0.5);接著把每個顏色到其亮度灰點(亮度 0.299 R + 0.587 G + 0.114 B)的距離乘上 1.15 的飽和度增益;然後做 8° 的色相轉動(RGB 立方體繞灰軸旋轉);最後裁切到 [0, 1]。查找表在 RGB 立方體上對 M × M × M 格點的每個節點存一個項目:節點 (i, j, k) 存放顏色 (i/(M−1), j/(M−1), k/(M−1)) 經精確轉換後的結果,因此共有 3M³ 個數字。最近節點查表回傳最接近節點所儲存的顏色。三線性內插則以偏移量的乘積為權重,混合顏色所在格子的 8 個角點,與章節相同。兩種結果與精確轉換在量測誤差之前,都先四捨五入成 8 位元階(0 到 255),誤差圖放大 8 倍。照片是縮小為 256 × 256 的 astronaut 測試影像;漸層是在實驗中計算出的四個角落顏色的平滑混合,沒有紋理可以遮住色帶。

方法與影像來源

DLCV 10・把兩張照片取平均,就算融合了嗎?

同一個場景的兩張照片,各自在不同區域是清晰的。把它們取平均,或逐像素選取局部細節較多的那一張,並以全清晰的真實影像評分。

開啟實驗收起實驗
先預測

照片 A 在圓盤內清晰,照片 B 在圓盤外清晰。在圓盤內,單純取平均 (A + B)/2 看起來如何?

正在載入影像…

照片 A(圓盤內清晰)
照片 B(圓盤外清晰)
平均 (A + B)/2
依局部細節融合
決策圖(白:取 A;紅線:真實邊界)
融合影像的誤差(放大 4 倍,亮:錯誤)

試試看:從預設值開始:平均後的影像處處模糊,而依清晰度選取的結果是清晰的。現在把視窗降到 0.5,觀察決策圖:為什麼它充滿雜點?這些雜點在哪裡傷害了影像?再把細節量測改成局部變異數、視窗維持 0.5(它對雜點的容忍度低得多),然後把視窗調大、並把決策圖平滑 2。平滑換來了什麼?視窗太大時,圓的邊緣又付出了什麼代價?

合成的多焦點影像對(scripts/figures/playground_image_fusion.py),做法與章節程式的相同,只是尺寸縮小一半:camera 測試影像(256 × 256)是全清晰的真實影像;照片 A 在圓盤內保留原圖、圓盤外做高斯模糊(σ = 2),照片 B 則相反,兩者各加上標準差 0.01 的高斯雜訊。由於模糊是我們自己做的,真實的決策圖(圓盤)完全已知,而真實的多焦點照片永遠無法提供這一點。平均是 (A + B)/2。選取規則在每個像素替兩張照片打分,分數是在標準差 σ 的高斯視窗(即「視窗」)內平均的細節量測:拉普拉斯能量 G_σ * (∇²I)²,其中 ∇²I = I(x−1,y) + I(x+1,y) + I(x,y−1) + I(x,y+1) − 4 I(x,y);或局部變異數 G_σ * I² − (G_σ * I)²。決策圖標出照片 A 分數較高的像素,F = w A + (1 − w) B,w 是決策圖,可再以所選 σ 的高斯模糊(0 表示維持二值)。PSNR = 10 log₁₀(1/MSE),單位 dB,以真實影像為基準,像素值在 [0, 1]。圖的一致率是在有紋理的像素上(真實影像的平滑 |拉普拉斯| 大於 0.01)決策與真實圓盤相同的比例。這些數字只屬於這個玩具範例。

方法與影像來源

DLCV 11A・匹配視窗越大一定越好嗎?

在已知視差的合成立體影像對上執行區塊匹配,看小視窗變得雜亂,而大視窗讓前景變胖。

開啟實驗收起實驗
先預測

在預設雜訊下,3 × 3 視窗得到的視差圖很雜亂。如果把視窗一步步放大到 31 × 31,bad 像素率(所有評分像素的 bad-1)會怎麼變?

正在載入影像…

左影像(含雜訊)
真實視差(暗:遠,亮:近;左側色帶不評分)
估計的視差(粉紅:已作廢;白線:真實的深度邊緣)
此雜訊下,誤差與視窗大小的關係

試試看:預設的 3 × 3 視窗會讓視差圖很雜亂,無紋理區塊裡最嚴重。一次放大一格視窗,觀察三條曲線:所有像素的誤差在哪裡最低?視窗到 31 × 31 時,圓盤的白色輪廓發生了什麼事?接著把雜訊調到 0.06,看 3 × 3 視窗受影響多大。最後打開左右一致性檢查:哪些像素變成粉紅色?bad-1 又怎麼變?

刻意做成合成而小巧:左影像為 128 × 96,由程式畫出,使用固定的隨機種子,因此拖動滑桿時畫面不會閃動。有紋理的背景平面視差為 4,較亮、有紋理的圓盤視差為 12,背景上另有一塊平坦的灰色矩形。右影像把每個左影像像素依其視差向左平移(較近的表面勝出),未被覆蓋的像素以新的紋理填補;兩張影像都加上標準差為所選值的高斯感測器雜訊。匹配方法與章節相同:對每個視差 0 到 15,視窗的成本是絕對差的平均(SAD,除以有對應像素的數量),再由贏者全拿(winner-take-all)取成本最低者。bad-1 是評分像素中視差誤差超過 1 像素者的百分比。評分像素是兩個視角都看得到、且距左邊界至少 16 欄的像素(圖中左側褪色的部分不評分)。檢查會改以右影像為參考再匹配一次,兩次答案相差超過 1 的像素即作廢;此時 bad-1 與平坦區塊的分數只計算保留下來的像素。圓盤變胖是指被標成圓盤視差(誤差 1 以內)的可見背景像素,占圓盤真實面積的百分比。這些是本實驗在自己的玩具場景上的數字,不是章節場景的數字。

方法與影像來源

DLCV 07・小型動態誤差會在展開中累積

在相同行動下,比較單步預測、開迴路展開與定期更新觀測。

開啟實驗收起實驗
單步均方誤差
0.00195
開迴路均方誤差
1.15919
更新觀測後均方誤差
0.02323

單步評估反覆提供真實狀態;開迴路展開必須使用自身不完美的預測。定期觀測可限制漂移,但不會改善轉移模型本身。

試試看:先把模型係數設為真值 0.96,再改成 1.02 並增加展開長度。更新觀測能修正多少誤差?

真實純量狀態為 x(t+1)=0.96x(t)+u(t),x(0)=1,u(t)=a sin(0.45t)。模型以選定係數取代 0.96。更新每 k 步輸入真實狀態;k=0 表示停用。此處為完全可觀測的確定性動態,未使用學得的影片模型或重新規劃。

方法來源

DLCV 14・為什麼看不出來的改變就能翻轉預測?

在 64、256 或 1,024 個像素的雜訊條紋影像上訓練線性分類器,再把每個像素都改變相同的幾階:一次沿著損失梯度(FGSM),一次用隨機正負號。

開啟實驗收起實驗
先預測

32 × 32 測試影像的每個像素最多只改變 255 階中的 8 階,遠小於像素雜訊的 51 階。哪一種改變會讓訓練好的分類器準確率接近零:正負號沿著損失梯度(FGSM)、隨機正負號、兩者,還是兩者都不會?

正在載入影像…

左:乾淨的測試影像(雜訊條紋)。中:改變量,為了顯示而拉伸到整個灰階範圍(白 = +ε,黑 = −ε)。右:加上擾動後的影像。每張下方是它的 logit 與判定的類別。
300 張測試影像的準確率隨 ε 變化

試試看:預設設定(32 × 32 像素、ε = 8、FGSM)下,準確率由 99.3% 掉到 2.7%;同樣大小的隨機正負號則維持在 99.3%。logit 平均位移是 +5.8,而乾淨影像的邊際(margin)中位數是 3.5。接著把大小改成 16 × 16、再改成 8 × 8,ε 不變:FGSM 之後分別剩 76.3% 與 94.7%。再找出 FGSM 第一次讓準確率低於 50% 的 ε:32 × 32 是 ε = 5,16 × 16 是 ε = 11,8 × 8 到 ε = 16 都沒有(ε = 16 時仍有 70.7%)。不論大小,兩個類別相差的總量都一樣,那麼為什麼影像的像素越多,同樣的 ε 影響就越大?

刻意做得合成又小:沒有使用任何照片。每張影像是 0.5 加減一個斜向的餘弦條紋圖樣(橫向兩個週期、縱向一個週期),再加上標準差 0.2(255 階中的 51 階)的高斯雜訊,並截在 [0, 1] 之內;A 類的條紋是一種相位,B 類是相反的相位。d 個像素時,每個像素的條紋振幅是 3 × 0.2 / √d,所以不論大小,兩個類別相差的總量都一樣(不考慮截斷時,最佳分類器在每種大小下的準確率相同);改變的只有承載證據的像素數量。分類器是每個像素一個權重的邏輯迴歸,在你的瀏覽器裡以 50 步全批次梯度下降(步長 8、權重衰減 0.001)用 300 張影像訓練,並在另外 300 張影像上測試(種子 11 與 12)。它的 logit 是 z = w·(x − 0.5) + b,所以交叉熵損失對像素的梯度是 (p − y)·w,而 FGSM,x′ = clip(x + ε·sign(∇ₓL), 0, 1),把每個像素都朝錯誤的類別推 ε。不截斷時,logit 恰好移動 ε‖w‖₁;隨機正負號則只移動約 ε‖w‖₂,且平均會互相抵消。這裡 64、256 與 1,024 個像素的 ‖w‖₂ 分別是 7.5、7.5 與 6.9,‖w‖₁ 則是 54.4、102.8 與 186.2。ε 以 8 位元亮度的階數計算(1 階 = 1/255)。這是一個線性的玩具,用來單獨呈現 Goodfellow 等人的論點;它不是章節中的手寫數字實驗,深度網路也不是線性的,而且這裡只呈現一次資料與訓練的結果,所以請看趨勢,不要看確切的百分比。

方法與影像來源

最佳化

整條線段都可行嗎?

在圓上放兩個可行點,沿著它們之間的線段移動,並比較圓盤與圓環。

開啟實驗收起實驗
先預測

兩個端點都在半徑 0.85 的圓上,圓環禁止半徑小於 0.5。端點可行、但兩點之間的線段卻不可行,會發生在什麼時候?

權重 λ 處的半徑
0.291
線段上的最小半徑
0.291
角度差(度)
140

所選的點落在洞裡,但兩個端點都可行:圓環不是凸集合。

試試看:選圓環,並把兩個端點放在圓上。找出一組整段線段都可行的端點,以及一組線段穿過洞的端點。兩端點在角度上要相差多少?

端點為 P = 0.85(cos α, sin α) 與 Q = 0.85(cos β, sin β)。圓盤半徑為 1;圓環另外要求半徑 ≥ 0.5。線段為 x(λ) = (1−λ)P + λQ。一個反例就能推翻凸性;只靠取樣的例子不能證明凸性。

方法來源

比較函數與弦線

在兩個輸入之間移動並計算 Jensen 差距,負值就是具體反例。

開啟實驗收起實驗
輸入
0.5
弦線 − 函數
2.25

此處函數不高於弦線。

試試看:在權重 0.5 時比較 x² 與 −x²。為什麼端點的差距都變成零?

端點 a=−1、b=2,差距為 (1−λ)f(a)+λf(b)−f((1−λ)a+λb)。只檢查這一段不能證明整個定義域的凸性。

方法來源

為什麼直接截斷解可能出錯

在非負限制下,比較逐座標截斷與耦合二次問題的精確解。

開啟實驗收起實驗
最佳目標值
0.255
截斷後目標值
0.5
多出的目標值
0.245

最佳 (x,y)=(0, 0.3)。耦合會改變邊界上的最佳位置。

試試看:先把耦合設為零,再增加它。逐座標截斷何時不再使目標最小?

最小化 ½[(x−a)²+2ρ(x−a)(y−1)+(y−1)²],且 x,y≥0。|ρ|<1 保證 Hessian 正定。求解器比較內部與兩條邊界的極小值,不是網格近似。

方法來源

建立原始與對偶證書

調整候選點與乘數。只有滿足可行性,小差距才有意義。

開啟實驗收起實驗
目標 − 對偶
0.625
限制違反量
0
定態殘差
0.5
互補殘差
0.5

候選點可行,目標值減去對偶下界可界定次佳程度。

試試看:設 b=1、x=0、λ=0。顯示的差為零,為何這不是最佳性證書?

原始問題:在 x≥b 下最小化 x²/2。L=x²/2+λ(b−x),λ≥0;對偶 g(λ)=λb−λ²/2。定態條件為 x−λ=0,互補條件為 λ(x−b)=0。

方法來源

一個離群值,三種最佳擬合

移動一筆觀測,比較平方、絕對值與 Huber 損失擬合常數的結果。

開啟實驗收起實驗
先預測

第六筆觀測從 2 移到 12,其餘五筆不動。哪一種擬合被拉得最遠?

擬合常數
1.333
總損失
27.917

損失定義每種誤差的代價。穩健殘差損失與參數正則化處理不同問題。

試試看:把離群值從 2 增加到 12,比較平方損失與 Huber 估計移動多少。

固定五筆觀測為 −1、−0.5、0、0.5、1,第六筆可調。平方損失含 ½,Huber 使用 δ=1。絕對損失在 [0,0.5] 內皆為極小值,圖中取 0.25。

方法來源

沿著梯度走下狹窄谷地

觀察適用於圓形碗面的步長,為何可能在狹窄谷地發散。

開啟實驗收起實驗
先預測

曲率比是 k = 5。哪一個步長會讓迭代發散而不是收斂?

最終目標函數值
0.034
收斂條件:0 < η <
0.4
座標乘數 (x, y)
0.85, 0.25

兩個座標乘數的絕對值皆小於 1,因此迭代會收斂。負乘數造成交替移動;接近 1 或 −1 的乘數則使進展緩慢。

試試看:設定 k = 10,比較步長 0.1、0.2 與 0.3。在穩定邊界上,y 座標有什麼變化?

精確的二次函數:f(x,y) = (x² + ky²)/2,起點為 (3,2)。更新式為 x ← (1−η)x、y ← (1−ηk)y。等高線圖使用固定視窗,顯示的目標函數值不會截斷。

方法來源

沿著中心路徑走向最佳頂點

在兩變數線性規劃上提高障礙權重 t,觀察中心點、對偶界與差距 m/t。

開啟實驗收起實驗
先預測

你把障礙權重 t 乘以 10。對偶差距 m/t 會怎麼變?

差距 m/t
0.5
次佳程度 c·x − p*
0.1841
到最近邊的距離
0.109

t = 10 時,中心點離最近的邊 0.109。它的次佳程度 0.1841 不超過對偶差距 m/t = 0.5;由對偶點 λ = 1/(t·鬆弛量) 算出的差距為 0.5。

試試看:把 t 乘以十。與邊界的距離、真實的次佳程度與界限 m/t 如何改變?再旋轉目標方向:路徑仍然會停在頂點嗎?

在有 m = 5 條邊限制 a_i·x ≤ b_i 的凸五邊形上最小化 c·x。中心點最小化 t·c·x − Σ log(b_i − a_i·x)(阻尼牛頓法)。令 λ_i = 1/(t s_i)(s_i 為鬆弛量),對偶目標為 −b·λ,對偶差距恰為 Σ λ_i s_i = m/t。真正的次佳程度 c·x − p* 不會超過 m/t。

方法來源

為什麼近端步驟會產生精確零值

比較軟閾值與一般縮小,並觀察不可微的目標函數。

開啟實驗收起實驗
近端解
0.5
目標值
1
殘差 v − x
1

超過閾值時,幅度減少 λ。

試試看:固定 v=1,讓 λ 增加並超過 1。為何最佳解之後會保持精確的零?

求解 minₓ ½(x−v)²+λ|x|。精確近端解為 sign(v) max(|v|−λ,0)。此純量公式可逐座標用於 L1 懲罰,不代表完整的全變異去雜訊器。

方法來源

資訊理論

分開看熵與模型失配

改變真實機率與模型機率,計算模型錯誤帶來的額外編碼成本。

開啟實驗收起實驗
熵
0.722
交叉熵
1
KL 散度
0.278

H(P,Q) = 0.722 + 0.278 位元。符合真實機率可消除 KL 懲罰,卻無法消除來源的不確定性。

試試看:固定 p=0.8,找出使交叉熵最小的 q,再比較 q=0.2。

Bernoulli 來源的 H(p,q)=−p log₂q−(1−p)log₂(1−q)=H(p)+D(p∥q)。q 嚴格位於 0 與 1 之間。這是期望的理想位元成本,不是實測檔案大小。

方法來源

雜訊之後還留下多少資訊?

區分來源的不確定性、實際傳遞的資訊與通道容量。

開啟實驗收起實驗
先預測

固定位元翻轉機率,把輸入機率 q = P(X=1) 從 0.5 移開。通道容量 C 會怎麼變?

H(X)
1
H(Y)
1
I(X;Y)
0.531
容量 1 − h₂(p)
0.531

輸出機率 P(Y=1) = 0.5。I(X;Y) = H(Y) − h₂(p) = 1 − 0.469 = 0.531。輸出具有隨機性不代表攜帶有用資訊:p = 0.5 時,輸出與輸入互相獨立。

試試看:固定翻轉機率 p = 0.1,將輸入先驗機率移離 0.5。通道容量會改變嗎?實際傳遞的資訊會改變嗎?

獨立的位元翻轉構成二元對稱通道。q = P(X=1)、p = P(Y≠X),且 P(Y=1) = p + q(1−2p)。數值單位皆為每次通道使用的位元數。容量是對 q 最大化後的互資訊;此處 q = 0.5 可達到容量。

方法來源

高機率區塊與典型集合不同

比較典型集合的機率質量與它占所有二元區塊的比例。

開啟實驗收起實驗
典型機率質量
0.6575
占全部字串比例
0.03815
H(p) (bits)
0.722

典型性關注每符號的資訊量。單一高機率字串與承載大部分機率的集合是不同概念。

試試看:固定 p=0.2 並增加區塊長度。典型集合占大部分機率時,也占大部分二元字串嗎?

長度 n 的獨立 Bernoulli(p) 區塊。若 |−log₂ P(區塊)/n−H(p)|≤ε 即為典型。每根柱合併所有含 k 個 1 的 C(n,k) 種字串。小 n 的典型集合可能為空;AEP 是漸近結果。

方法來源

讓常見符號使用較短的編碼

建立二元前綴碼,比較平均碼長與來源熵。

開啟實驗收起實驗
來源熵
1.357
平均碼長
1.5
冗餘(位元/符號)
0.143

沒有任何碼字是其他碼字的前綴,因此串接的位元不需要分隔符號就能解碼。平均碼長為 Σ p(符號) × 碼長 = 1.5 位元/符號。熵為 1.357,兩者差距為 0.143。範例中的空格只是標示碼字邊界。

試試看:比較 P(A) = 0.25 與 P(A) = 0.7。為何最佳編碼會跳躍改變,熵卻平滑變化?

Huffman 編碼反覆合併機率最小的兩個節點,同機率時依字母排序。B、C、D 的機率各為 (1−P(A))/3。平均碼長依此來源分布計算;範例訊息則有自己的符號次數。此處未計入傳送碼表的成本。

方法來源

把功率分配到資訊效益較高的通道

在兩條平行高斯通道上比較平均分配與注水法。

開啟實驗收起實驗
最佳位元/聯合使用
1.17
平均分配位元
1.085
容量增益
0.085

P₁=3.5,P₂=0.5。啟用通道共用水位,高於水位的雜訊底線不分配功率。

試試看:讓第二條通道有較大的雜訊,增加總功率,找出它開始獲得正功率的時刻。

獨立實數高斯通道,雜訊變異數 N₁=1、N₂,總功率 P。每次聯合使用的容量為 ½Σ log₂(1+Pᵢ/Nᵢ),注水法採 Pᵢ=max(μ−Nᵢ,0)。假設最佳高斯輸入,不代表有限長度編碼。

方法來源

多少碼率能換得指定誤差?

觀察 Bernoulli 碼率失真曲線,以及在 Hamming 誤差下達到它的聯合分布。

開啟實驗收起實驗
D
0.12
R(D)
0.352
P(Y=1)
0.237

橙色非對角格是重建錯誤,總和等於 D;聯合分布保留所選的來源邊際分布。

試試看:把失真移到最大值。為何即使部分符號錯誤,也不必傳送任何位元?

X~Bernoulli(p),p≤0.5,Hamming 失真 D≤p。R(D)=h₂(p)−h₂(D)。令 X=Y XOR Z,獨立的 Z~Bernoulli(D),且 P(Y=1)=(p−D)/(1−2D)。p=D=0.5 時選常數 Y=0。曲線是漸近區塊編碼極限,不是此單符號通道的實際碼率。

方法來源

在誤警與漏判之間取捨

在兩個精確二項分布上移動決策閾值,計算兩種錯誤機率。

開啟實驗收起實驗
誤警
0.04735
漏判
0.15027
偵測機率
0.84973

k ≥ 6 時拒絕 H₀。調整閾值會同時改變兩種錯誤,增加證據量則可能改善取捨。

試試看:試試永遠接受或永遠拒絕 H₀ 的閾值,再增加 n 並維持閾值接近 n/2。

n 筆獨立二元觀測。H₀:p=0.3、H₁:p=0.7;1 的數量 k≥閾值時拒絕 H₀。曲線是精確有限樣本機率質量。誤警以 H₀ 為條件、漏判以 H₁ 為條件,皆不是後驗機率。

方法來源

兩個無用線索合起來可以有用

計算各自獨立的兩個位元及其組合,對帶雜訊 XOR 標籤提供多少資訊。

開啟實驗收起實驗
先預測

A 與 B 單獨都不含標籤的資訊。在沒有標籤雜訊時,兩者合起來能提供多少資訊?

I(A;Y)
0 bits
I(B;Y)
0 bits
I(A,B;Y)
0.531 bits
I(A;Y|B)
0.531 bits

任一列或欄的平均都是 0.5:單看一個特徵不改變標籤分布,兩個一起看則可能改變。

試試看:把標籤雜訊設為零。為何單一特徵的資訊為零,組合卻有一位元?

A、B 為獨立公平位元,Y=A XOR B XOR E,獨立的 E~Bernoulli(ε)。因此 I(A;Y)=I(B;Y)=0,而 I(A,B;Y)=1−h₂(ε)。此母體恆等式不等於有限樣本的泛化界限。

方法來源