偏置

加权求和后面的常数项,控制神经元"及格线"的位置。没有偏置,分界线必须过原点;有了偏置,分界线可以自由平移。对应一次函数 y=kx+b 中的截距 b。

一句话理解

偏置就是考试的"附加分"——就算所有输入的加权投票总分为零,偏置也能给一个底线分。

公式中的位置

z=wx+bz = \vec{w} \cdot \vec{x} + bz=wx+b

wx\vec{w} \cdot \vec{x}wx 是加权求和(点积),bbb 就是偏置。它决定了激活函数的"触发门槛":bbb 越大,神经元越容易被激活;bbb 越小(负数),越难被激活。

与截距的关系

你在一次函数 y=kx+by = kx + by=kx+b 里见过它——bbb 是截距,控制整条直线的上下位移。神经元里的偏置做的是同样的事:把分界线在空间中平移,让它不必非得经过原点。

编程类比

PyTorch 中 nn.Linear(in_features, out_features, bias=True)bias=True 就是在说:"这层要带偏置项。"几乎所有层都默认开启。