条件概率

直觉理解#

袋子里有 6 个球：3 红 3 蓝，其中红球里有 2 个带星星标记。

随机摸一个球，摸到带星星的概率？$\frac{2}{6} = \frac{1}{3}$62​=31​——在全部 6 个球里数。

现在加一条信息：已知摸出来的是红球。带星星的概率变成多少？

全部 6 个球缩小到 3 个红球，其中 2 个带星星，所以 $\frac{2}{3}$32​。

新信息缩小了可能性的范围，在新范围内重新数——这就是条件概率。

数学定义#

$P(A|B) = \frac{\text{既满足 A 又满足 B 的结果数}}{\text{满足 B 的结果数}}$P(A∣B)=满足 B 的结果数既满足 A 又满足 B 的结果数​

读作"在 B 发生的条件下，A 的概率"。竖线 $|$∣ 读作"给定"。

用概率的语言写，等价于：

$P(A|B) = \frac{P(A \cap B)}{P(B)}$P(A∣B)=P(B)P(A∩B)​

分母从"全部"缩小到"满足 B 的"，分子只保留"既满足 A 又满足 B 的"。

例子#

天气预报说"今天有乌云"。你觉得下雨的概率变大了——这就是条件概率在起作用：

• 无条件：$P(\text{下雨}) = 0.3$P(下雨)=0.3
• 有条件：$P(\text{下雨} | \text{乌云}) = 0.8$P(下雨∣乌云)=0.8

"乌云"这个信息把你的判断从 0.3 更新到了 0.8。

条件概率链#

多件事同时发生的概率，可以拆成条件概率的连乘：

$P(A, B, C) = P(A) \cdot P(B|A) \cdot P(C|A,B)$P(A,B,C)=P(A)⋅P(B∣A)⋅P(C∣A,B)

每一步都在问："已经知道前面的事情发生了，下一件事的概率是多少？"

这在机器学习中用来做什么#

分类器的输出本质上是条件概率——"给定这张图片的像素，它是猫的概率是多少"。语言模型生成文本，也是在不断计算条件概率：给定前面所有的词，下一个词最可能是什么。