IP 12・探測像素:平坦、邊緣還是角點?
進階IP 12・特徵擷取影像實驗
題目說明
在真實照片上移動一個小視窗,觀察視窗內的梯度向量、結構張量橢圓與 Harris 響應,如何判定該處是平坦、邊緣還是角點。
試試看:用滑桿把探測點放到三個標記處(A:x 200, y 20;B:x 80, y 52;C:x 30, y 80),比較梯度點的樣子:擠在原點的小團、朝兩個方向散開的雲、細長的一條線。接著試試左側腳架腳(x 122, y 232)與右側腳(x 183, y 220):直線的方向會轉動,但兩處的 λ2/λ1 都低於 0.0025,因為兩者都是邊緣。最後把視窗從 9 增加到 25 像素:被判為角點的影像面積比例從 1.4% 增加到 8.9%。為什麼較大的視窗會找到較多角點?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
B 是角點:頭髮與深色外套在天空前相接之處,梯度指向兩個方向。使用預設的 9 像素視窗時,它的張量 λ1 = 1759、λ2 = 360,兩者都很大。C 是一段筆直的肩線邊緣,所有梯度指向同一方向:λ1 = 2206,但 λ2 = 1.85,所以只有一個方向會改變。A 在天空中,兩個特徵值都極小(λ1 = 0.13)。特徵值的單位是每像素灰階值的平方。
實驗 · IP 12・探測像素:平坦、邊緣還是角點?
正在載入影像…
試試看:用滑桿把探測點放到三個標記處(A:x 200, y 20;B:x 80, y 52;C:x 30, y 80),比較梯度點的樣子:擠在原點的小團、朝兩個方向散開的雲、細長的一條線。接著試試左側腳架腳(x 122, y 232)與右側腳(x 183, y 220):直線的方向會轉動,但兩處的 λ2/λ1 都低於 0.0025,因為兩者都是邊緣。最後把視窗從 9 增加到 25 像素:被判為角點的影像面積比例從 1.4% 增加到 8.9%。為什麼較大的視窗會找到較多角點?
真實照片:skimage.data.camera,縮為 256 × 256(來源見下方)。梯度是 σ = 1 像素的高斯導數,與 IP 12 的程式碼相同。視窗是 W × W 像素,以 σ = W/6 的高斯加權,所以 W = 9 對應章節中的積分尺度 σ = 1.5(章節程式碼把高斯截在 4σ,而不是視窗邊緣)。M 是梯度向量外積的加權和,R = det M − 0.05 · tr(M)²。梯度單位是每像素灰階值(0 到 255),特徵值單位是其平方。平坦、邊緣、角點的標籤使用本實驗自訂的門檻,並非 Harris 與 Stephens 原文的一部分:特徵值若不小於該視窗大小下影像中最大 λ1 的 5%,就視為「大」。真正的 Harris 偵測器則是取 R 超過門檻的局部最大值。熱圖顯示 R 除以影像中的最大值後再開平方:紅色為正、藍色為負、白色接近零。
方法與影像來源
- Chris Harris and Mike Stephens, A Combined Corner and Edge Detector, Proceedings of the Alvey Vision Conference, 1988
- SciPy documentation, scipy.ndimage.gaussian_filter (Gaussian derivatives with reflected borders, as in the IP 12 code)
- scikit-image test images (skimage.data): camera is CC0 by Lav Varshney; coins is from the Brooklyn Museum collection, no known copyright restrictions; astronaut is a NASA photograph in the public domain