极值(Local Extremum)

函数在某个点邻域内的最大值或最小值,是局部概念,不等于全局最值。梯度下降可能陷入局部极小值而非全局最小值。

核心公式

📖 符号说明

符号含义说明
极值点导数为零的点
一阶导数等于零是极值的必要条件
二阶导数>0为极小值,<0为极大值

前置知识

什么是极值

极值是一个局部概念:如果函数在某个点 x0x_0x0 的"附近"(邻域内)取到了最大值或最小值,那 x0x_0x0 就是一个极值点。

  • 极大值:x0x_0x0 附近的函数值都比 f(x0)f(x_0)f(x0)
  • 极小值:x0x_0x0 附近的函数值都比 f(x0)f(x_0)f(x0)

极值 ≠ 最值。一个函数可以有多个极小值,但全局最小值只有一个。

怎么找极值点

对于可导函数,极值点的必要条件是导数为零:f(x0)=0f'(x_0) = 0f(x0)=0

再看二阶导数判断类型:

  • f(x0)>0f''(x_0) > 0f′′(x0)>0:极小值(曲线在该点"凹")
  • f(x0)<0f''(x_0) < 0f′′(x0)<0:极大值(曲线在该点"凸")

为什么 AI 关心极值

训练模型就是在损失函数的曲面上找极小值。梯度下降沿着"下坡方向"走,最终停在某个极小值处——但不保证是全局最小值。这就是为什么深度学习中初始化、学习率调度等技巧很重要。