梯度下降（Gradient Descent）

一句话理解#

梯度下降就是"蒙眼下山"——每一步摸坡度、选方向、迈一步，反复执行直到走到谷底。

三步循环#

1. 算当前位置的坡度（求导数/梯度）
2. 朝坡度的反方向迈一步（步幅由学习率控制）
3. 到了新位置，回到第 1 步

核心公式#

$x_{\text{new}} = x_{\text{old}} - \alpha \cdot L'(x_{\text{old}})$xnew​=xold​−α⋅L′(xold​)

四个要素各司其职：

• 损失函数：把"有多差"变成一个数字——山的海拔
• 梯度：所有方向的坡度打包成一个向量——指向最陡上坡方向
• 学习率：控制每步迈多大——$\alpha$α 太大会震荡，太小会太慢
• 迭代：反复执行上面的步骤——每走一步重新感受坡度，直到坡度趋近于零

收敛#

随着一步步靠近谷底，坡度越来越平缓（导数趋近零），步子也自然越来越小——不是突然停下来，而是越走越慢，无限接近目标。

这在机器学习中用来做什么#

梯度下降是几乎所有机器学习模型训练的核心算法——不管模型多复杂，训练过程都是在重复"算坡度→迈一步"这个简单动作。