RNN / LSTM（循环神经网络）#

一句话理解#

RNN 是一种按时间步顺序处理序列数据的神经网络——上一步的输出作为下一步的输入，像一个带记忆的循环。

RNN 的核心思想#

$h_t = f(h_{t-1}, x_t)$ht​=f(ht−1​,xt​)

每个时间步 $t$t 的隐藏状态 $h_t$ht​ 由前一步的状态 $h_{t-1}$ht−1​ 和当前输入 $x_t$xt​ 共同决定。信息沿时间步逐步传递，理论上可以"记住"整个序列的信息。

两个致命瓶颈#

1. 顺序依赖，无法并行#

Token 必须一个一个处理——处理 100 个词就要串行跑 100 步，无法并行加速。这导致训练极慢，成为堆大模型的瓶颈。

2. 长距离遗忘（梯度消失）#

第 1 个词的信息要经过 99 步传递才能影响第 100 个词，信号逐步衰减。这就是为什么早期 RNN 很难处理长文本。

LSTM：打补丁#

LSTM（Long Short-Term Memory，1997）引入了门控机制——遗忘门、输入门、输出门——控制信息的保留和丢弃：

$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$ft​=σ(Wf​⋅[ht−1​,xt​]+bf​) $i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$it​=σ(Wi​⋅[ht−1​,xt​]+bi​) $\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$C~t​=tanh(WC​⋅[ht−1​,xt​]+bC​) $C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$Ct​=ft​⊙Ct−1​+it​⊙C~t​

其中 $f_t$ft​ 是遗忘门（决定丢弃多少旧信息），$i_t$it​ 是输入门（决定写入多少新信息），$C_t$Ct​ 是细胞状态（长期记忆的载体）。$\sigma$σ 是 sigmoid 函数，$\odot$⊙ 是逐元素乘法。

这缓解了梯度消失问题，但没有根治，而且增加了计算复杂度。

GRU（Gated Recurrent Unit）是 LSTM 的简化版本，将遗忘门和输入门合并为一个更新门，参数更少但效果相近。

历史地位#

RNN/LSTM 在 2017 年 Transformer 出现之前统治了序列建模领域。Transformer 用 Self-Attention 完全抛弃了循环结构，让任意两个 token 之间的距离变为 O(1)，同时支持并行计算，彻底取代了 RNN 在主流 NLP 中的地位。