第20章 潜在狄利克雷分配

为什么从“LDA计数与后验推断台”开始

第20章 潜在狄利克雷分配不能只靠术语和最终分数验收。LDA计数与后验推断台先把数据与符号冻结，再把模型空间、学习目标、计算步骤和独立评价分开；这样任何异常都能回退到第一项错误中间量，而不是在准确率或可视化之后补故事。

先预测超参数浓度从“适中”进入“平滑”时，LDA计数与后验推断台命中率与推断方法偏差风险怎样变化。交互数值只表达公开的因果方向，不冒充真实训练结果。

来源、版次与独立重写边界

清华大学出版社官方产品页确认李航《统计学习方法》第2版、2019年、ISBN 9787302517276和监督/无监督两篇结构；官方完整目录逐项核定22章、256个编号节/小节与附录A–E，共285个正式层级。第20章 潜在狄利克雷分配未取得出版正文授权，目录只界定范围，不宣称复现原书正文。

第20章 潜在狄利克雷分配的计算语义还与scikit-learn官方用户指南、NumPy SVD文档和SciPy统计分布文档中适用部分交叉核对；它们不替代本章推导，也不被误报为原书授权。中文解释、手算、图示、实验、反例与答案均为独立教学重写。

本章术语与数学合同

、、、、、。

本章不变量是“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”。数据身份、训练/验证/测试折分、预处理统计、特征顺序、随机种子、浮点精度与停止准则必须随实验保存；修复后从原始数据重算，不复用污染的缓存、责任度、矩阵分解、链状态或评价结果。

章专属数学骨架

$$p(z_{di}=k\mid z_{-di},w)\propto(n_{dk}^{-di}+\alpha_k)\frac{n_{kv}^{-di}+\beta_v}{n_k^{-di}+\sum_v\beta_v}.$$

折叠Gibbs条件分布结合文档偏好的话题计数与话题偏好的词计数，并在更新时排除当前词。 实现还要检查张量或矩阵形状、有限值、概率归一、正交或KKT残差、目标单调性、梯度方向和停止容差。

核心机制与适用边界

1. Dirichlet分布定义在概率单纯形上，是多项分布参数的共轭先验。
2. LDA为每个文档抽取话题混合，为每个话题抽取词分布，再逐词抽取话题和单词。
3. 可交换性说明词序在词袋模型中不影响联合概率，并可由混合分布表示。
4. 折叠Gibbs积分掉文档话题和话题词参数，只对每个词的话题赋值采样。
5. 后处理由采样计数估计两个概率矩阵，需处理烧入、抽样间隔和标签置换。
6. 变分EM用可分解近似后验最大化ELBO，局部更新、超参数更新与下界监控必须配套。

官方目录逐项深读

第20章 潜在狄利克雷分配

四级证据 1/20。 第20章 潜在狄利克雷分配：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为第20章 潜在狄利克雷分配。

对于第20章 潜在狄利克雷分配这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.1 狄利克雷分布

四级证据 2/20。 20.1 狄利克雷分布：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1 狄利克雷分布。

对于20.1 狄利克雷分布这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.1.1 分布定义

四级证据 3/20。 20.1.1 分布定义：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.1 分布定义。

对于20.1.1 分布定义这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.1.2 共轭先验

四级证据 4/20。 20.1.2 共轭先验：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.2 共轭先验。

对于20.1.2 共轭先验这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2 潜在狄利克雷分配模型

四级证据 5/20。 20.2 潜在狄利克雷分配模型：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2 潜在狄利克雷分配模型。

对于20.2 潜在狄利克雷分配模型这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2.1 基本想法

四级证据 6/20。 20.2.1 基本想法：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2.1 基本想法。

对于20.2.1 基本想法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2.2 模型定义

四级证据 7/20。 20.2.2 模型定义：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为第20章 潜在狄利克雷分配。

对于20.2.2 模型定义这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2.3 概率图模型

四级证据 8/20。 20.2.3 概率图模型：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1 狄利克雷分布。

对于20.2.3 概率图模型这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2.4 随机变量序列的可交换性

四级证据 9/20。 20.2.4 随机变量序列的可交换性：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.1 分布定义。

对于20.2.4 随机变量序列的可交换性这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.2.5 概率公式

四级证据 10/20。 20.2.5 概率公式：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.2 共轭先验。

对于20.2.5 概率公式这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.3 LDA的吉布斯抽样算法

四级证据 11/20。 20.3 LDA的吉布斯抽样算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2 潜在狄利克雷分配模型。

对于20.3 LDA的吉布斯抽样算法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.3.1 基本想法

四级证据 12/20。 20.3.1 基本想法：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2.1 基本想法。

对于20.3.1 基本想法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.3.2 算法的主要部分

四级证据 13/20。 20.3.2 算法的主要部分：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为第20章 潜在狄利克雷分配。

对于20.3.2 算法的主要部分这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.3.3 算法的后处理

四级证据 14/20。 20.3.3 算法的后处理：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1 狄利克雷分布。

对于20.3.3 算法的后处理这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.3.4 算法

四级证据 15/20。 20.3.4 算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.1 分布定义。

对于20.3.4 算法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.4 LDA的变分 EM算法

四级证据 16/20。 20.4 LDA的变分 EM算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1.2 共轭先验。

对于20.4 LDA的变分 EM算法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.4.1 变分推理

四级证据 17/20。 20.4.1 变分推理：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2 潜在狄利克雷分配模型。

对于20.4.1 变分推理这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.4.2 变分 EM算法

四级证据 18/20。 20.4.2 变分 EM算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.2.1 基本想法。

对于20.4.2 变分 EM算法这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.4.3 算法推导

四级证据 19/20。 20.4.3 算法推导：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为第20章 潜在狄利克雷分配。

对于20.4.3 算法推导这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

20.4.4 算法总结

四级证据 20/20。 20.4.4 算法总结：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定推断方法，只改变超参数浓度，用“词表、超参数、计数排除当前词的约定和归一化必须一致；采样检查混合，变分检查ELBO，话题标签允许置换。”判断计算是否仍在适用边界内；观察点为20.1 狄利克雷分布。

对于20.4.4 算法总结这个节点，先预测从“适中”切到“平滑”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

三个必须主动触发的误区

练习、答案与285节点验证