指数函数

一句话理解#

指数函数就是"变量在指数位置"的函数——底数不变，指数变化，增长速度越来越快。

公式#

$f(x) = a^x \quad (a > 0,\; a \neq 1)$f(x)=ax(a>0,a=1)

当底数 $a = e \approx 2.718$a=e≈2.718 时，得到最重要的自然指数函数：

$f(x) = e^x$f(x)=ex

为什么 $e^x$ex 特殊#

所有指数函数中，只有 $e^x$ex 满足：

$\frac{d}{dx} e^x = e^x$dxd​ex=ex

导数等于自身——"此刻增长的速度，恰好等于此刻的大小"。这个性质让 $e^x$ex 在微积分中极其好用，也是它在 AI 中被广泛采用的根本原因。

指数增长有多快#

仅仅 42 次翻倍，0.1mm 的纸就能叠到月球。这就是指数增长的威力。

在 AI 中的应用#

• Softmax：$\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}$softmax(zi​)=∑j​ezj​ezi​​，用 $e^x$ex 将分数转为概率
• 概率分布：正态分布、玻尔兹曼分布的核心都是 $e^{-x^2}$e−x2 或 $e^{-E/kT}$e−E/kT
• 学习率衰减：$\eta_t = \eta_0 \cdot e^{-\lambda t}$ηt​=η0​⋅e−λt，指数衰减让学习率平滑降低
• 梯度消失/爆炸：深层网络中梯度的连乘本质上是指数行为

与对数的关系#

指数函数和对数函数互为反函数：

$y = e^x \iff x = \ln y$y=ex⟺x=lny

图形上，$e^x$ex 和 $\ln x$lnx 关于直线 $y = x$y=x 镜像对称。