神经元

神经网络的最小计算单元——接收一组输入,做加权求和加偏置,再过激活函数输出一个数字。本质上就是一个带可学习参数的函数:output = activation(w·x + b)。

一句话理解

神经元就是一个"会判断的函数"——吃进一个向量,吐出一个数字。

完整计算流程

输入wx加权求和+b加偏置σ 或 ReLU输出\text{输入} \xrightarrow{\vec{w} \cdot \vec{x}} \text{加权求和} \xrightarrow{+b} \text{加偏置} \xrightarrow{\sigma \text{ 或 ReLU}} \text{输出}输入wx加权求和+b加偏置σ  ReLU输出
  1. 加权求和:每个输入乘以对应的权重,全部加起来——就是点积 wx\vec{w} \cdot \vec{x}wx
  2. 加偏置:再加一个常数 bbb,得到 z=wx+bz = \vec{w} \cdot \vec{x} + bz=wx+b
  3. 过激活函数:用 Sigmoid 压到 (0,1) 当概率,或用 ReLU 砍掉负数

几何直觉

一个神经元在输入空间中画一条分界线(或高维的分界面)。AND 问题一条线就能切开,XOR 问题一条线切不开——所以需要把多个神经元叠成网络。

编程类比

python
def neuron(x, w, b):
    z = dot(w, x) + b
    return sigmoid(z)

训练的本质就是调整 wb 的值,让这个函数的输出越来越接近正确答案。