Attention Is All You Need - 论文解读Attention Is All You Need - 论文解读Attention Is All You Need - 论文解读

论文信息

• ▸标题: Attention Is All You Need
• ▸作者: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin (Google Brain)
• ▸发表: NeurIPS 2017
• ▸arXiv: 1706.03762
• ▸引用量: 10万+ (截至2026年，AI领域最具影响力的论文之一)

Transformer 彻底抛弃了 RNN/CNN，仅用注意力机制构建序列模型，实现了更高性能、更快训练、更强并行化，奠定了 GPT、BERT、Claude 等大语言模型的基础架构。

2017年之前，序列建模的王者是 RNN/LSTM/GRU，但它们存在致命缺陷：

❝

论文原话: "This inherently sequential nature precludes parallelization within training examples, which becomes critical at longer sequence lengths."

Attention 机制（Bahdanau et al., 2014）已广泛应用于机器翻译，但只是作为 RNN 的附属组件。

核心问题：能否完全抛弃 RNN，只用 Attention？

┌─────────────────────────────────────────────────────────────┐
│                        输出层                                │
│                    Linear + Softmax                          │
└─────────────────────────────────────────────────────────────┘
                              ↑
┌─────────────────────────────────────────────────────────────┐
│                     Decoder Stack (N=6)                      │
│  ┌─────────────────────────────────────────────────────┐    │
│  │  Masked Multi-Head Self-Attention                    │    │
│  │  Encoder-Decoder Attention                           │    │
│  │  Feed-Forward Network                                │    │
│  │  + Residual Connection + LayerNorm                   │    │
│  └─────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────┘
                              ↑
┌─────────────────────────────────────────────────────────────┐
│                     Encoder Stack (N=6)                      │
│  ┌─────────────────────────────────────────────────────┐    │
│  │  Multi-Head Self-Attention                           │    │
│  │  Feed-Forward Network                                │    │
│  │  + Residual Connection + LayerNorm                   │    │
│  └─────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────┘
                              ↑
┌─────────────────────────────────────────────────────────────┐
│               Input Embedding + Positional Encoding          │
└─────────────────────────────────────────────────────────────┘

公式: $\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$

关键设计:

• ▸Q (Query): 查询向量，表示"我要找什么"
• ▸K (Key): 键向量，表示"我是什么"
• ▸V (Value): 值向量，表示"我的内容是什么"
• ▸$\sqrt{d_k}$ 缩放: 防止点积过大导致 softmax 梯度消失

❝

为什么要除以 $\sqrt{d_k}$？

当 $d_k$ 很大时，点积 $q \cdot k$ 的方差是 $d_k$（假设元素独立且方差为 1）。过大的点积使 softmax 进入饱和区，梯度接近 0。缩放后可以保持稳定的梯度流。

公式: $\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O$

其中 $\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$

参数配置:

• ▸头数 $h = 8$
• ▸每头维度 $d_k = d_v = d_{model}/h = 64$
• ▸总维度 $d_{model} = 512$

设计直觉: 多头允许模型在不同的表示子空间中并行关注信息，类似 CNN 的多通道。

$\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2$

参数:

• ▸输入/输出维度: $d_{model} = 512$
• ▸隐藏层维度: $d_{ff} = 2048$ (4 倍扩展)

作用: 对每个位置独立应用非线性变换，增强模型表达能力。

由于 Transformer 没有循环和卷积，必须显式注入位置信息：

$PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{model}})$ $PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{model}})$

为什么用正弦/余弦？

作者假设这种编码可以让模型学习相对位置关系：对于任意固定偏移 $k$，$PE_{pos+k}$ 可以表示为 $PE_{pos}$ 的线性函数。

1. ▸并行化: Self-Attention 所有位置可以同时计算，RNN 必须顺序计算
2. ▸长距离依赖: Self-Attention 任意两个位置之间只需 1 步，RNN 需要 $n$ 步
3. ▸计算效率: 当序列长度 $n < d$（词向量维度）时，Self-Attention 比 RNN 更快

❝

关键洞察: 在机器翻译中，句子通常编码为 word-piece，长度 $n$ 往往小于表示维度 $d=512$，因此 Self-Attention 更高效。

Adam + 学习率预热:

$lrate = d_{model}^{-0.5} \cdot \min(step\_num^{-0.5}, step\_num \cdot warmup\_steps^{-1.5})$

• ▸前 4000 步线性增加学习率
• ▸之后按步数倒数平方根衰减

关键发现:

• ▸EN-DE: 比 ConvS2S 集成模型高 2+ BLEU，训练成本仅 1/40
• ▸EN-FR: 刷新 SOTA，训练成本仅 1/5

Transformer 在英语成分句法分析任务上表现优异：

证明 Transformer 具有良好的任务泛化能力。

Transformer 架构成为所有现代大语言模型的基础：

• ▸Encoder-only: BERT, RoBERTa → 文本理解
• ▸Decoder-only: GPT, LLaMA → 文本生成
• ▸Encoder-Decoder: T5, BART → 序列到序列

Transformer 已扩展到：

• ▸计算机视觉: Vision Transformer (ViT), Swin Transformer
• ▸语音识别: Whisper, Wav2Vec
• ▸多模态: CLIP, DALL-E, Stable Diffusion
• ▸科学计算: AlphaFold 2 (蛋白质结构预测)

1. ▸序列长度 $O(n^2)$ 复杂度: 长序列计算成本高
2. ▸Restricted Self-Attention: 可限制到局部窗口 $r$，但增加路径长度

官方代码: https://github.com/tensorflow/tensor2tensor

核心 PyTorch 实现 (简化版):

import torch
import torch.nn as nn
import math

class ScaledDotProductAttention(nn.Module):
    def __init__(self, d_k):
        super().__init__()
        self.scale = math.sqrt(d_k)
    
    def forward(self, Q, K, V, mask=None):
        # Q: [batch, heads, seq_len, d_k]
        attn = torch.matmul(Q, K.transpose(-2, -1)) / self.scale
        if mask is not None:
            attn = attn.masked_fill(mask == 0, -1e9)
        attn = torch.softmax(attn, dim=-1)
        return torch.matmul(attn, V)

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, n_heads):
        super().__init__()
        self.d_k = d_model // n_heads
        self.n_heads = n_heads
        self.W_q = nn.Linear(d_model, d_model)
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)
        self.attention = ScaledDotProductAttention(self.d_k)
    
    def forward(self, x, mask=None):
        batch_size = x.size(0)
        Q = self.W_q(x).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2)
        K = self.W_k(x).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2)
        V = self.W_v(x).view(batch_size, -1, self.n_heads, self.d_k).transpose(1, 2)
        out = self.attention(Q, K, V, mask)
        out = out.transpose(1, 2).contiguous().view(batch_size, -1, self.n_heads * self.d_k)
        return self.W_o(out)

1. ▸Vaswani et al. (2017). Attention Is All You Need. NeurIPS.
2. ▸Bahdanau et al. (2014). Neural Machine Translation by Jointly Learning to Align and Translate.
3. ▸Hochreiter & Schmidhuber (1997). Long Short-Term Memory.
4. ▸He et al. (2016). Deep Residual Learning for Image Recognition.
5. ▸《Attention Is All You Need》论文原文及 TeX Source

❝

诗云

弃循环而不用，唯注意力独行。 八头并行观全局，六层叠加造精英。 BLEU刷新惊四座，训练速成冠群英。 从此模型无边界，GPT起而世界惊。