学习率（Learning Rate）

一句话理解#

学习率就是"每一步走多远"——方向找到了，步幅还得选对。

更新公式#

$x_{\text{new}} = x_{\text{old}} - \alpha \cdot L'(x_{\text{old}})$xnew​=xold​−α⋅L′(xold​)

大白话翻译：新位置 = 旧位置 - 步长 × 坡度。$\alpha$α（读作"alpha"）就是学习率。

太大 vs 太小#

用 $L(x)=(x-3)^2$L(x)=(x−3)2 从 $x_0=0$x0​=0 出发：

• $\alpha=0.1$α=0.1（合适）：$x$x 一步步靠近 3，损失从 9 稳步减小——稳扎稳打走到谷底
• $\alpha=2$α=2（太大）：第一步 $x_1=12$x1​=12，直接冲过目标；第二步弹到 $-24$−24——来回震荡，越跳越远
• $\alpha=0.001$α=0.001（太小）：第一步 $x_1=0.006$x1​=0.006，几乎没动——蜗牛爬行

学习率衰减#

训练初期用大学习率快速接近目标，后期逐渐缩小避免在谷底附近来回震荡——就像练投篮，刚开始大幅调整姿势，接近标准后微调。

常见策略：每隔固定步数将学习率乘以一个衰减因子（如 0.5）。例如初始 $\alpha=0.1$α=0.1，每 1000 步衰减一半：$0.1 \to 0.05 \to 0.025 \to 0.0125$0.1→0.05→0.025→0.0125。

为什么不一开始就用小学习率？因为太慢——训练时间会成倍增加。

这在机器学习中用来做什么#

学习率是训练中最重要的超参数之一——很多"模型不收敛"的问题，第一件事就是检查学习率。在 PyTorch 中，学习率衰减通过 scheduler 实现。