循環神經網路（RNN）設計用於處理序列數據，其核心特點是能夠在每個時間步保持和更新一個內部隱藏狀態，從而允許網路捕獲並利用時間依賴性。具體來說，RNN在每個時間步接收當前輸入和前一個時間步的隱藏狀態，然後更新隱藏狀態以包含新的信息，RNN的隱藏狀態不僅包含當前時間步的信息，還包含過去時間步的信息，這對於捕捉序列數據中的上下文信息非常關鍵。
RNN的另一個關鍵特性是權重的共享，這意味著在同一網路中不同時間步使用相同的權重矩陣，這有助於減少模型參數的數量，並可能提高泛化性能。RNN可以接受輸入序列並在每個時間步產生一個輸出，這些輸出可以用於各種任務，如文本生成、情感分析、機器翻譯等。RNN的隱藏狀態包含了模型在處理輸入序列時學到的信息，因此輸出通常與這些隱藏狀態密切相關。
儘管RNN在處理序列數據時表現出色，但它們在處理長序列時可能會遇到長期依賴問題，這是因為梯度可能會隨著時間步的增加而衰減或爆炸，為了解決這個問題，研究者提出了多種改進的RNN結構，如長短期記憶網路（LSTM）和門控循環單元（GRU）。