DLCV 06・CTC 要怎麼寫出連續兩個相同的字母?
進階DLCV 06・影像中的文字:OCR 與文件理解影像實驗
題目說明
在玩具辨識器的輸出中,改變兩個相同字母之間畫格的空白機率,觀察貪婪(最佳路徑)解碼與前綴束搜尋怎麼讀它。
試試看:預設設定(兩個 O 之間的兩個畫格,空白各 0.45、O 各 0.55,貪婪解碼)下,每個畫格取最大值得到路徑 B O O O O K,合併後是 BOK:少了一個 O。然而正確單字的總機率最大,是 0.410,BOK 則是 0.310,因為只要間隔的兩個畫格中任何一個有空白,這個對齊就讀成 BOOK。切換成前綴束搜尋(束寬 3):它寫出 BOOK。接著移動空白機率。0.50 時貪婪解碼也寫出 BOOK(平手時取空白)。束搜尋在 0.40 仍得到 BOOK,但 0.35 時寫出 BOK(0.377 對 BOOK 的 0.343)。0.05 時網路幾乎確定看到的是一個拉長的 O:兩種解碼器都寫出 BOK,損失 −ln p(BOOK) 是 2.819。最後選 SEE:貪婪解碼在 0.50 翻轉,束搜尋在 0.35 與 0.40 之間翻轉,和 BOOK 一樣。為什麼把所有對齊加起來,就能找回沒有任何單一畫格投票支持的連續字母?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
BOK。兩個間隔畫格的最大值都是 O(0.55 對 0.45),所以最佳路徑是 B O O O O K;合併重複得到 B O K,沒有留下能隔開兩個 O 的空白。合併映射也不會從這條路徑寫出三個 O。這條路徑的機率是 0.158,但正確單字 BOOK 把所有對齊加起來是 0.410,高於 BOK 的 0.310:貪婪解碼看的是一條路徑,而不是整段文字。
實驗 · DLCV 06・CTC 要怎麼寫出連續兩個相同的字母?
正在載入影像…
試試看:預設設定(兩個 O 之間的兩個畫格,空白各 0.45、O 各 0.55,貪婪解碼)下,每個畫格取最大值得到路徑 B O O O O K,合併後是 BOK:少了一個 O。然而正確單字的總機率最大,是 0.410,BOK 則是 0.310,因為只要間隔的兩個畫格中任何一個有空白,這個對齊就讀成 BOOK。切換成前綴束搜尋(束寬 3):它寫出 BOOK。接著移動空白機率。0.50 時貪婪解碼也寫出 BOOK(平手時取空白)。束搜尋在 0.40 仍得到 BOOK,但 0.35 時寫出 BOK(0.377 對 BOOK 的 0.343)。0.05 時網路幾乎確定看到的是一個拉長的 O:兩種解碼器都寫出 BOK,損失 −ln p(BOOK) 是 2.819。最後選 SEE:貪婪解碼在 0.50 翻轉,束搜尋在 0.35 與 0.40 之間翻轉,和 BOOK 一樣。為什麼把所有對齊加起來,就能找回沒有任何單一畫格投票支持的連續字母?
手工做的玩具,不是訓練好的辨識器的輸出。單字的每個字母各有一個確定的畫格(字母 0.85、空白 0.15);兩個相同字母之間有兩個間隔畫格,網路在空白(機率 q,也就是滑桿)與字母(1 − q)之間猶豫。其餘的項都是 0,所以這個矩陣只問一個問題:是空白還是字母?BOOK 有 6 個畫格(B、O、兩個間隔畫格、O、K),SEE 有 5 個。合併映射先合併重複、再刪除空白,所以連續字母只有在兩個複本之間有空白時才寫得出來。貪婪解碼取每個畫格的最大值;平手時取空白,如同 NumPy 的 argmax 取第一個索引。右邊的長條用枚舉的方式把每段文字的所有對齊相加(BOOK 有 4⁶ = 4,096 種對齊,SEE 有 3⁵ = 243 種);正確單字的機率也用前向演算法計算,測試會把兩者互相比對。前綴束搜尋對每個前綴保留以空白結尾與以最後一個字母結尾的對齊機率,且每個畫格之後只留最好的 3 個前綴;剪枝可能丟掉一些對齊,所以它自己算出的機率可能略低於精確值(q = 0.35 時 BOK 是 0.366,精確值是 0.377)。同一份程式也重現了章節中五個畫格的「cat」範例(貪婪 ca,束寬 3 得 cat 0.344,精確值 0.363)。
方法與影像來源
- A. Graves, S. Fernández, F. Gomez and J. Schmidhuber, Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks, ICML, 2006 (the blank, the collapsing map, the forward algorithm, best path and prefix search decoding)
- A. Y. Hannun, A. L. Maas, D. Jurafsky and A. Y. Ng, First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs, arXiv:1408.2873, 2014 (prefix beam search with a blank and a non-blank probability per prefix)