#Self-Attention

为什么 Attention 能干掉 RNN？

RNN 必须逐词传递信息，第 180 个词想看第 3 个词时信号已经衰减殆尽。Self-Attention 用一次矩阵乘法让任意两个词直接对话，这就是 Transformer 取代 RNN 的根本原因。