偏置
加权求和后面的常数项,控制神经元"及格线"的位置。没有偏置,分界线必须过原点;有了偏置,分界线可以自由平移。对应一次函数 y=kx+b 中的截距 b。
一句话理解
偏置就是考试的"附加分"——就算所有输入的加权投票总分为零,偏置也能给一个底线分。
公式中的位置
z=w⋅x+bw⋅x 是加权求和(点积),b 就是偏置。它决定了激活函数的"触发门槛":b 越大,神经元越容易被激活;b 越小(负数),越难被激活。
与截距的关系
你在一次函数 y=kx+b 里见过它——b 是截距,控制整条直线的上下位移。神经元里的偏置做的是同样的事:把分界线在空间中平移,让它不必非得经过原点。
编程类比
PyTorch 中 nn.Linear(in_features, out_features, bias=True) 的 bias=True 就是在说:"这层要带偏置项。"几乎所有层都默认开启。