完整搜尋頁面 →

選擇性狀態更新:記住重要輸入

中階NLP 05・用於語言的循環神經網路互動圖表

題目說明

在序列加入干擾值,比較固定遞迴衰減與依輸入決定的寫入行為。

試試看:比較兩種策略:選擇性更新下,位置 1 寫入的狀態能撐過干擾;每一步使用相同更新則會被干擾覆寫。接著提高干擾振幅,看哪些狀態會改變。最後把保留係數設為一:永不改變的狀態會完美保留舊值,所以也無法寫入任何新資訊。為什麼這不算記憶?

先預測

策略為「略過已標記干擾」,並把寫入位置(1 與 9)的保留係數 a 設為 1。最後一個位置之後,狀態是多少?

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

當 a = 1,更新式為 hₜ = 1·hₜ₋₁ + 0·xₜ,沒有任何輸入進入狀態,狀態在每個位置都停在起始值 0。導數 ∂h₁₂/∂h₁ 恰為 1,已是最佳,但 h₁ 裡根本沒有東西可記。改試 a = 0.25:位置 1 之後狀態為 0.75,撐過干擾後仍是 0.75,位置 9 之後變成 −0.5625。

實驗 · 選擇性狀態更新:記住重要輸入

先預測

策略為「略過已標記干擾」,並把寫入位置(1 與 9)的保留係數 a 設為 1。最後一個位置之後,狀態是多少?

狀態 h₁ → h₈(第二次寫入前)
0.75 → 0.75
最終狀態
-0.563
∂h₁₂ / ∂h₁
0.25
狀態絕對值最大值
0.75
可寫入位置數
2

固定衰減在每一步都取捨持續記憶與干擾。選擇機制能跨越無關輸入保留狀態,但必須正確辨認重要性;此處事先標記省略了這項學習問題。保留係數為 1 時完美保留,卻什麼也寫不進去。

試試看:比較兩種策略:選擇性更新下,位置 1 寫入的狀態能撐過干擾;每一步使用相同更新則會被干擾覆寫。接著提高干擾振幅,看哪些狀態會改變。最後把保留係數設為一:永不改變的狀態會完美保留舊值,所以也無法寫入任何新資訊。為什麼這不算記憶?

純量遞迴 hₜ=aₜhₜ₋₁+(1−aₜ)xₜ,h₀=0。保留係數 aₜ=1 表示保留舊狀態,aₜ=0 表示以輸入取代。重要位置 1 與 9 由事先標記提供;選擇性策略在其他位置的 aₜ 皆為 1。若在重要位置把保留係數設為 1,狀態會停在起始值 0:完美保留,卻沒有寫入任何東西。此處示範閘控與 Mamba 輸入選擇性的動機,不是 Mamba、LSTM 或 GRU 的實作。

方法來源

在互動實驗頁開啟 →