FFN（前馈网络）#

一句话理解#

Transformer 中的 FFN 是一个两层全连接网络，对每个 token 独立做非线性变换——注意力层管"交换信息"，FFN 管"加工信息"。

结构#

$\text{FFN}(x) = W_2 \cdot \text{activation}(W_1 \cdot x + b_1) + b_2$FFN(x)=W2​⋅activation(W1​⋅x+b1​)+b2​

1. 第一层线性变换：维度从 $d_{model}$dmodel​ 扩展到 $d_{ff}$dff​（通常 4 倍，如 768 → 3072）
2. 激活函数：原始论文用 ReLU，现代模型常用 GELU 或 SwiGLU
3. 第二层线性变换：维度从 $d_{ff}$dff​ 压缩回 $d_{model}$dmodel​

先扩展再压缩的设计（"瓶颈"结构），让模型在高维空间中做非线性变换，再映射回原始维度。

关键特征：token 独立#

FFN 对每个 token 独立处理，不涉及 token 之间的交互。这与 Self-Attention 形成互补：

参数占比#

在 Transformer 中，FFN 的参数量通常占总参数的 2/3 左右。虽然结构简单，但它是模型存储知识的主要场所——研究表明，FFN 的权重矩阵实质上在做"键值记忆"，类似于一个巨大的查找表。