RNN(循環神經網路)的基本公式可以表示為:
隱藏狀態:\( h_t = \tanh(W_{ih}x_t + b_{ih} + W_{hh}h_{t-1} + b_{hh}) \)
這個公式描述了RNN在每個時間步\( t \)的隱藏狀態\( h_t \)的計算過程。其中:
\( W_{ih} \) 和 \( W_{hh} \) 分別是輸入到隱藏層和上一個時間步的隱藏狀態到當前時間步的隱藏層的權重參數。
\( b_{ih} \) 和 \( b_{hh} \) 分別是輸入到隱藏層和上一個時間步的隱藏狀態到當前時間步的隱藏層的偏置參數。
\( x_t \) 是當前時間步的輸入。
\( h_{t-1} \) 是上一個時間步的隱藏狀態。對於序列的第一個樣本,\( h_0 \) 可以隨機初始化生成。
\( \tanh \) 是雙曲正切激活函式。
這個公式是RNN每一層的計算公式,它體現了RNN在處理序列數據時的核心機制,即每個時間步的隱藏狀態不僅依賴於當前時間步的輸入,還依賴於上一個時間步的隱藏狀態,從而能夠捕捉序列數據中的時間依賴性。