完整搜尋頁面 →

把微型影像分解為條件預測

進階NLP 09・以 Transformer 做語言模型(自然語言生成)互動圖表

題目說明

在一階像素模型下枚舉十六種二元 2×2 影像,再改變生成順序。

試試看:在偏好複製的設定下比較橫條紋與棋盤格。把逐列順序換成逐行順序:哪些模型假設改變了?

實驗 · 把微型影像分解為條件預測

影像機率
0.064
每像素位元
0.991
全影像機率總和
1

聯合機率是各個正規化條件因子的乘積。十六種影像機率總和為一。高複製機率模型偏好較少轉換的序列,但不同順序對應的空間圖樣不一定相同。

試試看:在偏好複製的設定下比較橫條紋與棋盤格。把逐列順序換成逐行順序:哪些模型假設改變了?

第一個像素的機率為 1/2;後續像素以機率 c 複製前一像素。鏈式法則精確成立,但此模型刻意只保留前一像素。這裡的順序依賴來自受限的條件模型。

方法來源

在互動實驗頁開啟 →