TL;DR
这是「概率视角下的机器学习」系列的第三篇。上一篇 把工具箱备齐了：分布、贝叶斯规则、蒙特卡洛、信息论。这一篇开始用它们解决第一个具体问题——如何从离散数据里学习概念 （Chen 注：这里的「概念」（concept）不是日常说的想法，而是一条「某个数是否属于某类」的规则，如「2 的幂」。它有两幅面孔：内涵（规则本身）与外延（满足规则的数字集合，如 $\{2,4,8,16,\dots\}$）。学一个概念 $C$ 等价于学它的指示函数 $f(x)=\mathbb{I}(x\in C)$，即一个二分类器。文中的「假设」$h$ 就是候选概念，真概念 $C$ 是待猜的答案。） 。
本篇对应 MLAPP 第 3 章，主题是「离散数据的生成式模型」。生成式的意思是：不直接学「给定 x x x p ( x ∣ y = c ) p(x \mid y = c) p ( x ∣ y = c )
贝叶斯概念学习 ：用 Tenenbaum 的「数字游戏」讲清楚一件事，似然里天然藏着奥卡姆剃刀，不用额外加正则项，模型就会偏爱「刚好解释数据的最简假设」。贝塔-二项模型 与狄利克雷-多项模型 ：把离散假设空间换成连续参数，正式兑现第二篇 反复预告的共轭先验 ，先验和后验同族，贝叶斯更新退化成「把观测计数加到先验伪计数上」。朴素贝叶斯分类器 ：把「条件独立」这个大胆假设摊开，看它为什么又糙又好用，以及贝叶斯化如何治好它的零计数病。
挑三个值得亲手推一遍 的结果做完整推导：后验均值是先验均值与最大似然估计（MLE）的凸组合 、带单纯形约束的多项最大似然（拉格朗日乘子的一次干净应用）、以及拉普拉斯接续律 如何从一个积分里自然长出来。它们都不难，但推完之后，「贝叶斯更新到底在做什么」会变得很具体。
图1：本篇内容结构——从离散假设空间的概念学习，过渡到连续参数的共轭模型，最后落到朴素贝叶斯分类器 1. 数字游戏：概念学习的最小模型
原书 §3.1 生成式分类器 （Chen 注：式 (3.1) 里的 $\propto$ 表示两边只差一个常数倍。完整的贝叶斯定理是等式：后验 $=$ 似然 $\times$ 先验 $\div$ 归一化常数 $p(\boldsymbol{x})$，其中 $p(\boldsymbol{x})=\sum_{c'} p(\boldsymbol{x}\mid y=c')\,p(y=c')$。这个分母与类别 $c$ 无关，对所有 $c$ 都是同一个数，做分类只需比较哪个 $c$ 的后验最大。要还原成真实概率，把右边对所有 $c$ 算出再归一化即可。）
p ( y = c ∣ x , θ ) ∝ p ( x ∣ y = c , θ ) p ( y = c ∣ θ ) (3.1) p(y = c \mid \boldsymbol{x}, \boldsymbol\theta) \quad \propto \quad p(\boldsymbol{x} \mid y = c, \boldsymbol\theta)\, p(y = c \mid \boldsymbol\theta) \tag{3.1} p ( y = c ∣ x , θ ) ∝ p ( x ∣ y = 关键在 p ( x ∣ y = c ) p(\boldsymbol{x} \mid y = c) p ( x ∣ y = c ) p ( x ∣ y = c ) p(\boldsymbol{x} \mid y = c) p ( x ∣ y = c )
为了更直观的理解，§3.2 Tenenbaum 博士论文 （Chen 注：Tenenbaum, J. B. (1999). A Bayesian Framework for Concept Learning. PhD thesis, MIT. 这也是数字游戏与 size principle 的原始出处；MLAPP §3.2 的整套贝叶斯概念学习即取材于此。） 数字游戏 ：我心里想一个简单的算术概念 C C C D = { x 1 , … , x N } D = \{x_1, \dots, x_N\} D = { x 1 , … , x N }
比如我给出 D = { 16 } D = \{16\} D = { 16 } x ~ = 8 \tilde{x} = 8 x ~ = 8 D = { 16 , 8 , 2 , 64 } D = \{16, 8, 2, 64\} D = { 16 , 8 , 2 , 64
这里有两点值得注意。第一，学习概念等价于二分类 ：定义指示函数 （Chen 注：指示函数（indicator function），记作 $\mathbb{I}(\cdot)$ 或 $\mathbb{1}(\cdot)$：括号内条件成立时取 1，否则取 0，把逻辑判断翻译成 0/1 数值。本文后面反复用到，如式 (3.3) 的 $\mathbb{I}(D\in h)$、以及 $N_1=\sum_i \mathbb{I}(x_i=1)$ 用求和来计数。） f ( x ) = 1 f(x) = 1 f ( x ) = 1 x ∈ C x \in C x ∈ C f f f 正例 就能学，不需要反例，这和标准判别式分类器不同，也正是生成式视角的用武之地。
✓ 数字游戏的意义不在数字本身，而在它是「从正例学离散概念」的最小可推演模型。把这里的贝叶斯三件套（似然、先验、后验）推导理解透，后面贝塔-二项、狄利克雷-多项、朴素贝叶斯都是同一固定套路换个分布。
2. 似然：奥卡姆剃刀是免费的
先说似然。§3.2.1 D = { 16 , 8 , 2 , 64 } D = \{16, 8, 2, 64\} D = { 16 , 8 , 2 , 64 } h two = h_{\text{two}} = h two = h even = h_{\text{even}} = h
关键假设叫强抽样假设 （strong sampling assumption）：样本是从概念的外延 里均匀随机抽取的（外延就是属于该概念的数的集合，如 h even h_{\text{even}} h even { 2 , 4 , … , 100 } \{2, 4, \dots, 100\} { 2 , 4 , … , 100 } N N N h h h
p ( D ∣ h ) = [ 1 size ( h ) ] N = [ 1 ∣ h ∣ ] N (3.2) p(D \mid h) = \left[\frac{1}{\operatorname{size}(h)}\right]^N = \left[\frac{1}{|h|}\right]^N \tag{3.2} p ( D ∣ h ) = [ size ( h ) 1 ] 上式体现了 Tenenbaum 所说的尺寸原理 （size principle）：模型偏好与数据相容的最小假设 （Chen 注：这里的「最小」指假设的外延小（$|h|$ 小，覆盖的数字少），不是「概念描述短」。如 $h_{\text{two}}$ 的外延只有 6 个数、$h_{\text{even}}$ 有 50 个，前者更「小」。） 奥卡姆剃刀 （Chen 注：奥卡姆剃刀（Occam's razor），14 世纪哲学家 William of Ockham 提出的方法论原则：多个假设都能解释同一数据时，优先选最简单的那个，即「如无必要，勿增实体」。机器学习里对应「简单模型往往泛化更好」的直觉。） 免费 （Chen 注：通常要让模型偏爱简单假设，得手动在目标函数里加复杂度惩罚项（$\ell_1$/$\ell_2$ 正则、AIC/BIC 的参数罚项、MDL 编码长度）并调权重。而这里只写了简单的似然 $[1/|h|]^N$：强抽样假设下均匀抽样，大集合把概率摊薄到更多数字上，落在实际样本上的概率自然更低，所以分母 $|h|$ 就是内置的复杂度惩罚，指数 $N$ 再把差距放大。偏好小假设是似然的副产品，无需外加，故称「免费」。反例：若改用弱抽样假设，似然退化成 0/1 的 $\mathbb{I}(D\in h)$，剃刀就消失了。）
算一下便知：取 D = { 16 } D = \{16\} D = { 16 } p ( D ∣ h two ) = 1 / 6 p(D \mid h_{\text{two}}) = 1/6 p ( D ∣ h two ) = 1/6 p ( D ∣ h even ) = 1 / 50 p(D \mid h_{\text{even}}) = 1/50
p ( D ∣ h two ) = ( 1 / 6 ) 4 ≈ 7.7 × 10 − 4 , p ( D ∣ h even ) = ( 1 / 50 ) 4 ≈ 1.6 × 10 − 7 p(D \mid h_{\text{two}}) = (1/6)^4 \approx 7.7 \times 10^{-4}, \quad p(D \mid h_{\text{even}}) = (1/50)^4 \approx 1.6 \times 10^{-7} p ( D ∣ h two ) = ( 1/6 ) 4 似然比接近 5000:1，压倒性地偏向「2 的幂」。指数 N N N 可疑的巧合 。尺寸原理的力量随数据量指数级放大。
3. 先验：给「不自然」的概念打低分
似然不是全部。§3.2.2 h ′ = h' = h ′ = D = { 16 , 8 , 2 , 64 } D = \{16, 8, 2, 64\} D = { 16 , 8 , 2 , 64 } h ′ h' h ′
可 h ′ h' h ′ 先验 来编码这种直觉：给不自然的概念分配低先验概率。先验是主观的，这正是贝叶斯推理常被诟病的地方，小孩和数学教授的先验不一样，得到的答案也会不同。但原书 §3.2.2 有用 。同样是 { 1200 , 1500 , 900 , 1400 } \{1200, 1500, 900, 1400\} { 1200 , 1500 , 900 , 1400 }
4. 后验：似然与先验的合成
§3.2.3
p ( h ∣ D ) = p ( h ) I ( D ∈ h ) / ∣ h ∣ N ∑ h ′ ∈ H p ( h ′ ) I ( D ∈ h ′ ) / ∣ h ′ ∣ N (3.3) p(h \mid D) = \frac{p(h)\, \mathbb{I}(D \in h)/|h|^N}{\sum_{h' \in \mathcal{H}} p(h')\, \mathbb{I}(D \in h')/|h'|^N} \tag{3.3} p ( h ∣ D ) = ∑ 其中 I ( D ∈ h ) \mathbb{I}(D \in h) I ( D ∈ h ) h h h 后验是先验与似然拉锯的结果。
数据足够多时，后验会在单个概念上变尖，逼近 最大后验（MAP）估计 （Chen 注：MAP = maximum a posteriori（最大后验），即取后验概率最大的那个点作为估计：$\hat{h}^{\text{MAP}}=\arg\max_h p(h\mid D)$，也就是后验众数。与之相邻的两个点估计是 MLE（最大似然，只看似然、不含先验）和完整后验（不取单点、对整个分布积分）。MAP 可看作「带先验的 MLE」；本篇后面 §6 的凸组合、§7 的加一平滑都在对比 MAP 与完整后验的差别。）
p ( h ∣ D ) → δ h ^ MAP ( h ) (3.4) p(h \mid D) \to \delta_{\hat{h}^{\text{MAP}}}(h) \tag{3.4} p ( h ∣ D ) → δ h ^ MAP ( h ) 其中 h ^ MAP = arg max h p ( h ∣ D ) \hat{h}^{\text{MAP}} = \arg\max_h p(h \mid D) h ^ MAP = arg max h p ( h ∣ D ) δ \delta
5. 后验预测：贝叶斯模型平均 vs 插值近似
学到后验只是内部信念，要检验它得拿去预测 。§3.2.4 x ~ \tilde{x} x ~
p ( x ~ ∈ C ∣ D ) = ∑ h p ( y = 1 ∣ x ~ , h ) p ( h ∣ D ) (3.8) p(\tilde{x} \in C \mid D) = \sum_{h} p(y = 1 \mid \tilde{x}, h)\, p(h \mid D) \tag{3.8} p ( x ~ ∈ C ∣ D ) = h ∑ 这是各假设预测的加权平均 ，权重就是后验，称为贝叶斯模型平均 （Bayes model averaging, BMA）。数据少或模糊时，后验弥散，预测分布也宽；一旦「想明白了」，后验塌成一个尖峰，预测随之收窄。
与之对照的是插值近似 （plug-in approximation）：直接用单个最大后验假设去预测，
p ( x ~ ∈ C ∣ D ) ≈ ∑ h p ( x ~ ∣ h ) δ h ^ ( h ) = p ( x ~ ∣ h ^ ) (3.9) p(\tilde{x} \in C \mid D) \approx \sum_{h} p(\tilde{x} \mid h)\, \delta_{\hat{h}}(h) = p(\tilde{x} \mid \hat{h}) \tag{3.9} p ( x ~ ∈ C ∣ D ) ≈ h 上式简单且被广泛使用，但低估了不确定性 ：预测不如贝叶斯模型平均平滑。这里埋下一个贯穿全书的对照：完整贝叶斯（对参数积分）与点估计插值（最大似然/最大后验）的差别，在小样本下尤其显著，数据多了两者才收敛。这正是本系列第四篇要展开的贝叶斯 vs 频率派 之争的雏形。
原书 §3.2.5 p ( h ) = π 0 p rules ( h ) + ( 1 − π 0 ) p interval ( h ) p(h) = \pi_0\, p_{\text{rules}}(h) + (1 - \pi_0)\, p_{\text{interval}}(h) p ( h ) = π 0 p rules ( h ) + ( 1 −
6. 贝塔-二项模型：共轭先验登场
数字游戏里假设空间 H \mathcal{H} H 有限离散 的，计算只需加、乘、除。但更多时候，未知参数是连续 的。§3.3 估计一枚硬币正面朝上的概率 。它看着很简单，却是整个贝叶斯参数估计的模板。
这里正式兑现第二篇 反复预告的共轭先验 。我们仍走「似然 → 先验 → 后验 → 后验预测」这条固定套路。
6.1 似然
设 X i ∼ Ber ( θ ) X_i \sim \operatorname{Ber}(\theta) X i ∼ Ber ( θ ) X i X_i X i θ \theta θ θ
p ( D ∣ θ ) = θ N 1 ( 1 − θ ) N 0 (3.11) p(D \mid \theta) = \theta^{N_1} (1 - \theta)^{N_0} \tag{3.11} p ( D ∣ θ ) = θ N 1 ( 1 − θ ) N 1 = ∑ i I ( x i = 1 ) N_1 = \sum_i \mathbb{I}(x_i = 1) N 1 = ∑ i I ( x i = 1 )
6.2 先验与共轭性
我们需要一个支撑在 [ 0 , 1 ] [0, 1] [ 0 , 1 ] 同形 ：
p ( θ ) ∝ θ γ 1 ( 1 − θ ) γ 2 (3.13) p(\theta) \propto \theta^{\gamma_1} (1 - \theta)^{\gamma_2} \tag{3.13} p ( θ ) ∝ θ γ 1 ( 1 − θ ) γ 若如此，后验只需把指数相加：
p ( θ ) ∝ p ( D ∣ θ ) p ( θ ) = θ N 1 ( 1 − θ ) N 0 θ γ 1 ( 1 − θ ) γ 2 = θ N 1 + γ 1 ( 1 − θ ) N 0 + γ 2 (3.14) p(\theta) \propto p(D \mid \theta) p(\theta) = \theta^{N_1}(1-\theta)^{N_0} \theta^{\gamma_1}(1-\theta)^{\gamma_2} = \theta^{N_1 + \gamma_1}(1-\theta)^{N_0 + \gamma_2} \tag{3.14} p ( θ ) ∝ p ( D ∣ θ ) p ( θ ) = ✓ 当先验与后验同形时，称先验为该似然的
共轭先验 （conjugate prior）。共轭先验被广泛使用，因为它让计算变得简单，且易于解释。这就是
第二篇 里贝塔分布「留给第三篇」的那个机关：贝塔是伯努利/二项似然的共轭先验。
对伯努利而言，共轭先验正是 §2.4.5
Beta ( θ ∣ a , b ) ∝ θ a − 1 ( 1 − θ ) b − 1 (3.15) \operatorname{Beta}(\theta \mid a, b) \propto \theta^{a-1}(1-\theta)^{b-1} \tag{3.15} Beta ( θ ∣ a , b ) ∝ θ a − 1 ( 1 − θ ) 参数 a , b a, b a , b 超参数 （Chen 注：超参数指先验分布自身的参数，是「参数的参数」：它不直接描述数据，而是刻画对未知参数 $\theta$ 的先验信念。层次是超参数 $\to$ 参数 $\to$ 数据。此处 $a, b$ 决定贝塔先验的形状，先验再决定 $\theta$ 的取值倾向。（机器学习里「超参数」也泛指训练前手动设定、不由数据直接学出的配置，如学习率、正则化系数，精神一致。））
6.3 后验：伪计数相加
似然乘贝塔先验，得到
p ( θ ∣ D ) ∝ Bin ( N 1 ∣ θ , N ) Beta ( θ ∣ a , b ) ∝ Beta ( θ ∣ N 1 + a , N 0 + b ) (3.16) p(\theta \mid D) \propto \operatorname{Bin}(N_1 \mid \theta, N) \operatorname{Beta}(\theta \mid a, b) \propto \operatorname{Beta}(\theta \mid N_1 + a,\, N_0 + b) \tag{3.16} p ( θ ∣ D ) ∝ Bin ( N 1 ∣ 后验就是把先验超参数加到经验计数上 。因此超参数 a , b a, b a , b 伪计数 （pseudo counts），先验强度（等效样本量 ）是 a + b a + b a + b N = N 0 + N 1 N = N_0 + N_1 N = N 0 + N
ℹ 「更新后验就是给计数加数」，这是共轭性最实在的回报。整个贝叶斯学习在这里退化成一次算术。后面狄利克雷-多项、朴素贝叶斯的贝叶斯版，本质上都是这一句话的复用。
7. 推导一：后验均值是先验与最大似然估计的凸组合
§3.3.3.1 点估计 （Chen 注：点估计（point estimate）指用一个具体数值去代表对未知参数的估计，而非给出整个概率分布，「点」就是参数空间里的一个点。如最大似然 $\hat\theta^{\text{MLE}}$、最大后验 $\hat\theta^{\text{MAP}}$、后验均值 $\bar\theta$ 都是点估计。它的对立面是保留完整后验分布 $p(\theta\mid D)$、对参数积分的完整贝叶斯。点估计计算简单，但把不确定性塌缩成单值，小样本下易过拟合（见 §8 黑天鹅问题）。）
θ ^ MAP = a + N 1 − 1 a + b + N − 2 (3.21) \hat{\theta}^{\text{MAP}} = \frac{a + N_1 - 1}{a + b + N - 2} \tag{3.21} θ ^ MAP = a + b + N − 2 a 用均匀先验（a = b = 1 a = b = 1 a = b = 1 经验 （Chen 注：统计里的标准修饰词，指「直接来自实际观测数据」，而不是来自理论假设或先验信念。） θ ^ MLE = N 1 / N \hat{\theta}^{\text{MLE}} = N_1 / N θ ^ MLE = N 1
θ ˉ = a + N 1 a + b + N (3.23) \bar{\theta} = \frac{a + N_1}{a + b + N} \tag{3.23} θ ˉ = a + b + N a + N 1 众数和均值的这点差别，后面会反复起作用。现在做本篇第一个值得亲手推的结果：后验均值是先验均值与最大似然估计的凸组合 。
设先验的等效样本量 α 0 = a + b \alpha_0 = a + b α 0 = a + b m 1 = a / α 0 m_1 = a / \alpha_0 m 1 = a / α
θ ˉ = a + N 1 α 0 + N \bar{\theta} = \frac{a + N_1}{\alpha_0 + N} θ ˉ = α 0 + N a + N 把分子拆成先验项和数据项，各自配上分母：
θ ˉ = α 0 N + α 0 ⋅ a α 0 + N N + α 0 ⋅ N 1 N \bar{\theta} = \frac{\alpha_0}{N + \alpha_0} \cdot \frac{a}{\alpha_0} + \frac{N}{N + \alpha_0} \cdot \frac{N_1}{N} θ ˉ = N + α 0 α 注意 a / α 0 = m 1 a/\alpha_0 = m_1 a / α 0 = m 1 N 1 / N = θ ^ MLE N_1/N = \hat{\theta}^{\text{MLE}} N 1 / N
θ ˉ = λ m 1 + ( 1 − λ ) θ ^ MLE (3.24) \bar{\theta} = \lambda\, m_1 + (1 - \lambda)\, \hat{\theta}^{\text{MLE}} \tag{3.24} θ ˉ = λ m 1 + ( 1 − λ ) θ 这就是凸组合 （Chen 注：凸组合（convex combination）指按「非负、且和为 1」的权重做加权平均，最简形式为 $\lambda A + (1-\lambda)B$，其中 $\lambda\in[0,1]$。因两个权重非负且相加为 1，结果必落在 $A$ 与 $B$ 之间，不会越出区间。这正是它与任意系数「线性组合」的区别。此处 $\bar\theta$ 被锁在先验均值 $m_1$ 与最大似然 $\hat\theta^{\text{MLE}}$ 之间，故必为两者的折中。） λ ∈ [ 0 , 1 ] \lambda \in [0, 1] λ ∈ [ 0 , 1 ] α 0 \alpha_0 α 0 N N N λ → 1 \lambda \to 1 λ
§3.3.3.2 N ≫ a , b N \gg a, b N ≫ a , b var [ θ ∣ D ] ≈ θ ^ ( 1 − θ ^ ) / N \operatorname{var}[\theta \mid D] \approx \hat{\theta}(1 - \hat{\theta})/N var [ θ ∣ D ] ≈ θ ^ ( 1 −
σ ≈ θ ^ ( 1 − θ ^ ) N (3.27) \sigma \approx \sqrt{\frac{\hat{\theta}(1 - \hat{\theta})}{N}} \tag{3.27} σ ≈ N θ ^ ( 1 − θ ^ ) 误差按 1 / N 1/\sqrt{N} 1/ N 第二篇 蒙特卡洛误差的 σ / S \sigma/\sqrt{S} σ / S
8. 推导二：拉普拉斯接续律与黑天鹅悖论
§3.3.4 Beta ( a , b ) \operatorname{Beta}(a, b) Beta ( a , b )
p ( x ~ = 1 ∣ D ) = ∫ 0 1 p ( x = 1 ∣ θ ) p ( θ ∣ D ) d θ = ∫ 0 1 θ Beta ( θ ∣ a , b ) d θ = E [ θ ∣ D ] = a a + b (3.29) p(\tilde{x} = 1 \mid D) = \int_0^1 p(x = 1 \mid \theta)\, p(\theta \mid D)\, d\theta = \int_0^1 \theta\, \operatorname{Beta}(\theta \mid a, b)\, d\theta = \mathbb{E}[\theta \mid D] = \frac{a}{a + b} \tag{3.29} p ( x ~ = 1 ∣ D ) = 即后验预测均值等于「代入后验均值参数」，但这是对整个后验积分得到的，不是拍脑袋插值。
为什么这点区别重要？看 §3.3.4.1 θ ^ = 0 / 3 = 0 \hat{\theta} = 0/3 = 0 θ ^ = 0/3 = 0 不可能 出现。这叫零计数问题 （zero count problem）或稀疏数据问题。它对应哲学上的黑天鹅悖论 ：见过的天鹅都是白的，就断言黑天鹅不存在——这是归纳问题的经典困境。
现在做本篇第二个推导：Laplace 接续律 如何从积分里自然长出来。用均匀先验 a = b = 1 a = b = 1 a = b = 1 a + N 1 a + b + N \dfrac{a + N_1}{a + b + N} a + b + N a + N 1
p ( x ~ = 1 ∣ D ) = N 1 + 1 N 1 + N 0 + 2 (3.30) p(\tilde{x} = 1 \mid D) = \frac{N_1 + 1}{N_1 + N_0 + 2} \tag{3.30} p ( x ~ = 1 ∣ D ) = N 1 这就是 Laplace 接续律 （Chen 注：Laplace 接续律（Laplace's rule of succession）回答「观测 $N$ 次、其中 $N_1$ 次成功后，下一次成功的概率是多少」，答案不是朴素的 $N_1/N$，而是 $\frac{N_1+1}{N_1+N_0+2}$。「接续」即预测紧接着的下一次结果，源自 Laplace 18 世纪「太阳明天还会升起吗」的问题。它不是外加的，而是取均匀先验 $a=b=1$、再取后验均值自然得到——分子分母多出的 1 和 2 正是先验伪计数的贡献。这也是工程里加一平滑的理论出处。） 加一平滑 ，add-one smoothing）的贝叶斯正当性。哪怕 N 1 = 0 N_1 = 0 N 1 = 0 均值 才有；插值最大后验众数（式 3.30 用众数会退化回最大似然）就没有。这也回收了第 7 节「众数和均值的差别后面会起作用」的伏笔。
§3.3.4.2 M M M x x x θ \theta θ 复合贝塔-二项分布 ：
Bb ( x ∣ a , b , M ) ≜ ( M x ) B ( x + a , M − x + b ) B ( a , b ) (3.34) \operatorname{Bb}(x \mid a, b, M) \triangleq \binom{M}{x} \frac{B(x + a,\, M - x + b)}{B(a, b)} \tag{3.34} Bb ( x ∣ a , b , M ) ≜ ( x M ) 推导用到「被积函数是 Beta ( a + x , M − x + b ) \operatorname{Beta}(a + x, M - x + b) Beta ( a + x , M − x + b ) 第二篇 里「用归一化常数反推积分」的手法一脉相承。它的均值 E [ x ] = M a a + b \mathbb{E}[x] = M \frac{a}{a+b} E [ x ] = M
9. 狄利克雷-多项模型：从硬币到骰子
§3.4 K K K
似然 ：观测 N N N D = { x 1 , … , x N } D = \{x_1, \dots, x_N\} D = { x 1 , … , x N } x i ∈ { 1 , … , K }
p ( D ∣ θ ) = ∏ k = 1 K θ k N k (3.36) p(D \mid \boldsymbol\theta) = \prod_{k=1}^{K} \theta_k^{N_k} \tag{3.36} p ( D ∣ θ ) = k = 1 ∏ K θ k N k = ∑ i I ( x i = k ) N_k = \sum_i \mathbb{I}(x_i = k) N k = ∑ i I ( x i = k )
先验 ：参数向量 θ \boldsymbol\theta θ K K K 概率单纯形 （Chen 注：概率单纯形（probability simplex）：所有合法概率向量的集合，满足每个分量非负、加总为 1。第二篇给狄利克雷当多项参数先验时用过这个词，这里正式派上用场。） S K S_K S K §2.5.4
Dir ( θ ∣ α ) = 1 B ( α ) ∏ k = 1 K θ k α k − 1 I ( x ∈ S K ) (3.37) \operatorname{Dir}(\boldsymbol\theta \mid \boldsymbol\alpha) = \frac{1}{B(\boldsymbol\alpha)} \prod_{k=1}^{K} \theta_k^{\alpha_k - 1}\, \mathbb{I}(\boldsymbol{x} \in S_K) \tag{3.37} Dir ( θ ∣ α ) = B ( α ) 1 p ( θ ∣ D ) ∝ ∏ k = 1 K θ k N k θ k α k − 1 = ∏ k = 1 K θ k N k + α k − 1 = Dir ( θ ∣ α 1 + N 1 , … , α K + N K ) (3.38) p(\boldsymbol\theta \mid D) \propto \prod_{k=1}^{K} \theta_k^{N_k} \theta_k^{\alpha_k - 1} = \prod_{k=1}^{K} \theta_k^{N_k + \alpha_k - 1} = \operatorname{Dir}(\boldsymbol\theta \mid \alpha_1 + N_1, \dots, \alpha_K + N_K) \tag{3.38} p ( θ ∣ D ) ∝ 又是「伪计数相加」——共轭性在多类情形原样复现。这就是贝塔-二项这条固定套路换个分布的直接结果。
10. 推导三：单纯形约束下的多项最大似然估计
§3.4.3 θ \boldsymbol\theta θ ∑ k θ k = 1 \sum_k \theta_k = 1 ∑ k θ k = 1 带约束优化的拉格朗日乘子法 ，全书后面（EM （Chen 注：EM = expectation-maximization（期望最大化）算法，一种在含隐变量模型里做最大似然/最大后验估计的迭代方法：E 步按当前参数估计隐变量的期望，M 步在此期望下最大化目标、更新参数，两步交替直到收敛。高斯混合、隐马尔可夫模型等的训练都靠它，M 步里常出现本节这种带约束优化。）
目标是最大化「对数似然 + 对数先验 + 约束项」。写出拉格朗日函数：
ℓ ( θ , λ ) = ∑ k N k log θ k + ∑ k ( α k − 1 ) log θ k + λ ( 1 − ∑ k θ k ) (3.41) \ell(\boldsymbol\theta, \lambda) = \sum_k N_k \log \theta_k + \sum_k (\alpha_k - 1) \log \theta_k + \lambda \Big(1 - \sum_k \theta_k\Big) \tag{3.41} ℓ ( θ , λ ) = k ∑ N 为简化记号，定义 N k ′ ≜ N k + α k − 1 N_k' \triangleq N_k + \alpha_k - 1 N k ′ ≜ N k + α k
∂ ℓ ∂ λ = 1 − ∑ k θ k = 0 \frac{\partial \ell}{\partial \lambda} = 1 - \sum_k \theta_k = 0 ∂ λ ∂ ℓ = 1 − k ∑ θ 对 θ k \theta_k θ k
∂ ℓ ∂ θ k = N k ′ θ k − λ = 0 ⟹ N k ′ = λ θ k (3.43–3.44) \frac{\partial \ell}{\partial \theta_k} = \frac{N_k'}{\theta_k} - \lambda = 0 \;\Longrightarrow\; N_k' = \lambda \theta_k \tag{3.43–3.44} ∂ θ k ∂ ℓ = 对 k k k ∑ k θ k = 1 \sum_k \theta_k = 1 ∑ k θ k = 1 ∑ k N k ′ = λ ∑ k θ k = λ \sum_k N_k' = \lambda \sum_k \theta_k = \lambda
θ ^ k = N k + α k − 1 N + α 0 − K (3.47) \hat{\theta}_k = \frac{N_k + \alpha_k - 1}{N + \alpha_0 - K} \tag{3.47} θ ^ k = N + α 0 其中 α 0 = ∑ k α k \alpha_0 = \sum_k \alpha_k α 0 = ∑ k α k α k = 1 \alpha_k = 1 α
θ ^ k = N k N (3.48) \hat{\theta}_k = \frac{N_k}{N} \tag{3.48} θ ^ k = N N k 即每一面的经验频率。这个推导干净利落，也示范了一个技巧：不必显式强加 θ k ≥ 0 \theta_k \geq 0 θ k ≥ 0 N k / θ k − λ N_k/\theta_k - \lambda N k / θ k −
后验预测 同样避开零计数，对单次多项试验，§3.4.4
p ( X = j ∣ D ) = ∫ θ j p ( θ j ∣ D ) d θ j = E [ θ j ∣ D ] = α j + N j α 0 + N (3.51) p(X = j \mid D) = \int \theta_j\, p(\theta_j \mid D)\, d\theta_j = \mathbb{E}[\theta_j \mid D] = \frac{\alpha_j + N_j}{\alpha_0 + N} \tag{3.51} p ( X = j ∣ D ) = ∫ θ j 这是拉普拉斯接续律的多类版，贝叶斯平滑在多项情形比二项情形更重要（类别一多，很多 N k N_k N k §3.4.4.1
11. 朴素贝叶斯分类器
工具齐了，最后落到实用模型。§3.5 x ∈ { 1 , … , K } D \boldsymbol{x} \in \{1, \dots, K\}^D x ∈ { 1 , … , K } D p ( x ∣ y = c ) p(\boldsymbol{x} \mid y = c) p ( x ∣ y = c )
最简单的办法是假设特征在给定类别下条件独立 ：
p ( x ∣ y = c , θ ) = ∏ j = 1 D p ( x j ∣ y = c , θ j c ) (3.54) p(\boldsymbol{x} \mid y = c, \boldsymbol\theta) = \prod_{j=1}^{D} p(x_j \mid y = c, \boldsymbol\theta_{jc}) \tag{3.54} p ( x ∣ y = c , θ ) = j = 1 ∏ 这就是朴素贝叶斯分类器 （naive Bayes classifier，NBC）。「朴素」在于：我们并不真觉得特征条件独立（词与词当然相关）。但即便假设不成立，它也常常表现不错——因为模型极简，只有 O ( C D ) O(CD) O ( C D ) C C C D D D 偏差-方差权衡 的一个漂亮案例：用一个明显有偏的假设换来极低的方差。
11.1 最大似然估计：又是计数
§3.5.1.1 π \boldsymbol\pi π D × C D\times C D × C θ j c \theta_{jc} θ j c
π ^ c = N c N (3.57) \hat{\pi}_c = \frac{N_c}{N} \tag{3.57} π ^ c = N N c N c N_c N c c c c x j ∣ y = c ∼ Ber ( θ j c ) x_j \mid y = c \sim \operatorname{Ber}(\theta_{jc}) x j ∣ y =
θ ^ j c = N j c N c (3.58) \hat{\theta}_{jc} = \frac{N_{jc}}{N_c} \tag{3.58} θ ^ j c = N c 即「类 c c c j j j O ( N D ) O(ND) O ( N D )
11.2 贝叶斯化：解决零计数
最大似然会过拟合。§3.5.1.2 θ ^ j c = 1 \hat{\theta}_{jc} = 1 θ ^ j c = 1 p ( y = c ∣ x , θ ^ ) = 0 p(y = c \mid \boldsymbol{x}, \hat{\boldsymbol\theta}) = 0 p ( y = c ∣
解药还是贝叶斯：给 θ \boldsymbol\theta θ §3.4.4 θ j c \theta_{jc} θ j c π c \pi_c π c
11.3 一个实用技巧：log-sum-exp
§3.5.3 p ( x ∣ y = c ) p(\boldsymbol{x} \mid y = c) p ( x ∣ y = c ) 下溢 。
办法是取对数运算。但 log ∑ c e b c \log \sum_c e^{b_c} log ∑ c e b c
log ∑ c e b c = log [ ( ∑ c e b c − B ) e B ] = [ log ∑ c e b c − B ] + B (3.74) \log \sum_c e^{b_c} = \log\Big[\big(\sum_c e^{b_c - B}\big) e^{B}\Big] = \Big[\log \sum_c e^{b_c - B}\Big] + B \tag{3.74} log c ∑ e b 其中 B = max c b c B = \max_c b_c B = max c b c B B B e 0 = 1 e^0 = 1 e 0
11.4 用互信息做特征选择
高维特征又慢又易过拟合，一个常见对策是特征选择 。§3.5.4 X j X_j X j Y Y Y 互信息 衡量相关性：
I ( X j , Y ) = ∑ x j ∑ y p ( x j , y ) log p ( x j , y ) p ( x j ) p ( y ) (3.75) I(X_j, Y) = \sum_{x_j} \sum_{y} p(x_j, y) \log \frac{p(x_j, y)}{p(x_j)\, p(y)} \tag{3.75} I ( X j , Y ) = x 这正是第二篇 信息论三件套里的互信息，可解释为「观测到特征 j j j 高频 的词是「subject」（每封都有，毫无区分度），而与类别标签互信息最高 的词是「windows」「microsoft」「dos」「motif」，这才是真正有判别力的。高频 ≠ 有用，互信息才抓得住区分度。
11.5 词袋模型与突发性
§3.5.5 突发性 （burstiness）：大多数词从不出现，可一旦出现一次，就很可能反复出现（词是成簇出现的）。
原书给了个漂亮的修复：把多项类条件密度换成狄利克雷复合多项 （Dirichlet Compound Multinomial，DCM）密度，即对 θ \boldsymbol\theta θ
p ( x i ∣ y i = c , α ) = ∫ Mu ( x i ∣ N i , θ c ) Dir ( θ c ∣ α c ) d θ c = N i ! ∏ j x i j ! B ( x i + α c ) B ( α c ) (3.79) p(\boldsymbol{x}_i \mid y_i = c, \boldsymbol\alpha) = \int \operatorname{Mu}(\boldsymbol{x}_i \mid N_i, \boldsymbol\theta_c) \operatorname{Dir}(\boldsymbol\theta_c \mid \boldsymbol\alpha_c)\, d\boldsymbol\theta_c = \frac{N_i!}{\prod_j x_{ij}!} \frac{B(\boldsymbol{x}_i + \boldsymbol\alpha_c)}{B(\boldsymbol\alpha_c)} \tag{3.79} p ( x i 直观上理解是，见过词 j j j θ j \boldsymbol\theta_j θ j θ \boldsymbol\theta θ
12. 收拢：一个固定套路，三个模型
回头看整篇文章，其实只教了一个固定套路，套在三个越来越复杂的场景上：
每一格的机关都一样：共轭先验让后验更新退化成给计数加数，对参数积分则自动带来平滑、避开黑天鹅。
用四条主线再对一遍：本篇把参数估计谱系 （主线一，最大似然 → 最大后验 → 完整后验）第一次讲全了，从数字游戏的最大后验顿悟，到贝塔-二项的凸组合，再到对参数积分的后验预测。互信息、log-sum-exp 回收了第二篇 的信息论。而「条件独立」这个假设，日后是通往图模型这一大板块的第一步。
13. 时代注脚：2012 → 2026
第 3 章的核心（共轭先验、贝叶斯平滑、朴素贝叶斯）都是数学事实，十四年没动，今天依然是入门贝叶斯的标准路径。真正被这些年放大的是两点。
一是朴素贝叶斯的地位变了 。朴素贝叶斯作为文本分类主力的时代过去了 （Chen 注：2012 年前后，朴素贝叶斯还是文本分类的常用基线；2018 年 BERT 之后，预训练语言模型几乎接管了所有文本分类任务。但朴素贝叶斯并未消失：它训练快、可解释、无需 GPU，在冷启动、小数据、需要可解释性的场景（如垃圾邮件初筛、日志分类）里仍是务实之选。它更常见的新身份是「强基线」：上任何深度模型前，先跑一遍朴素贝叶斯看看下限。）
二是共轭先验的边界 。共轭先验是「算得动」的特例，不是常态 （Chen 注：共轭先验的适用面本就窄，只有指数族似然配对应共轭先验才有闭式后验。现实中的复杂模型（深度贝叶斯网络、层次模型）几乎都没有共轭结构，后验算不动。2012 年后，变分推断（尤其 2013 年的 VAE、2016 年之后的黑箱变分）和 MCMC（NUTS、HMC）成了通用替代品，Murphy 在 2023 年的进阶卷里用了大量篇幅重讲这套近似推断。本系列第四篇和近似推断子系列会展开。）
一个固定套路、三个模型，看着朴素，却把贝叶斯学习最本质的动作——似然、共轭先验、后验、预测——演示得干干净净。这一路上反复冒头的那个对照——对参数积分的完整贝叶斯，与代入点估计的插值近似——到下一篇会正面展开：贝叶斯 vs 频率派 ，两种统计观的对照、各自的后验/抽样分布总结、以及频率派的那些病理。这也将是「概率基础」四篇的收尾。
