第19章 马尔可夫链蒙特卡罗法

为什么从“MCMC混合与有效样本台”开始

第19章 马尔可夫链蒙特卡罗法不能只靠术语和最终分数验收。MCMC混合与有效样本台先把数据与符号冻结，再把模型空间、学习目标、计算步骤和独立评价分开；这样任何异常都能回退到第一项错误中间量，而不是在准确率或可视化之后补故事。

先预测提议尺度从“适中”进入“太大”时，MCMC混合与有效样本台命中率与链阶段偏差风险怎样变化。交互数值只表达公开的因果方向，不冒充真实训练结果。

来源、版次与独立重写边界

清华大学出版社官方产品页确认李航《统计学习方法》第2版、2019年、ISBN 9787302517276和监督/无监督两篇结构；官方完整目录逐项核定22章、256个编号节/小节与附录A–E，共285个正式层级。第19章 马尔可夫链蒙特卡罗法未取得出版正文授权，目录只界定范围，不宣称复现原书正文。

第19章 马尔可夫链蒙特卡罗法的计算语义还与scikit-learn官方用户指南、NumPy SVD文档和SciPy统计分布文档中适用部分交叉核对；它们不替代本章推导，也不被误报为原书授权。中文解释、手算、图示、实验、反例与答案均为独立教学重写。

本章术语与数学合同

、、、、、。

本章不变量是“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”。数据身份、训练/验证/测试折分、预处理统计、特征顺序、随机种子、浮点精度与停止准则必须随实验保存；修复后从原始数据重算，不复用污染的缓存、责任度、矩阵分解、链状态或评价结果。

章专属数学骨架

$$\alpha(x,x')=\min\left(1,\frac{\pi(x')q(x\mid x')}{\pi(x)q(x'\mid x)}\right).$$

MH接受率校正不对称提议，使目标分布满足平稳性，归一化常数在比值中抵消。 实现还要检查张量或矩阵形状、有限值、概率归一、正交或KKT残差、目标单调性、梯度方向和停止容差。

核心机制与适用边界

1. 蒙特卡罗法用随机样本平均估计期望与积分，独立抽样困难时需要构造间接采样。
2. 马尔可夫链由转移核定义，平稳分布、不可约、非周期和遍历性决定长期样本是否代表目标。
3. MCMC构造以目标分布为平稳分布的链，用相关样本近似难积分。
4. Metropolis-Hastings提出候选并按接受率保留或跳转，拒绝也算一个链状态。
5. 单分量MH逐坐标更新，提议尺度过小混合慢、过大拒绝率高。
6. Gibbs抽样从完整条件分布轮流抽样，是接受率为一的特殊MH，但强相关目标仍可能混合缓慢。

官方目录逐项深读

第19章 马尔可夫链蒙特卡罗法

四级证据 1/22。 第19章 马尔可夫链蒙特卡罗法：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为第19章 马尔可夫链蒙特卡罗法。

对于第19章 马尔可夫链蒙特卡罗法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.1 蒙特卡罗法

四级证据 2/22。 19.1 蒙特卡罗法：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1 蒙特卡罗法。

对于19.1 蒙特卡罗法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.1.1 随机抽样

四级证据 3/22。 19.1.1 随机抽样：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.1 随机抽样。

对于19.1.1 随机抽样这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.1.2 数学期望估计

四级证据 4/22。 19.1.2 数学期望估计：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.2 数学期望估计。

对于19.1.2 数学期望估计这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.1.3 积分计算

四级证据 5/22。 19.1.3 积分计算：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.3 积分计算。

对于19.1.3 积分计算这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.2 马尔可夫链

四级证据 6/22。 19.2 马尔可夫链：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.2 马尔可夫链。

对于19.2 马尔可夫链这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.2.1 基本定义

四级证据 7/22。 19.2.1 基本定义：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为第19章 马尔可夫链蒙特卡罗法。

对于19.2.1 基本定义这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.2.2 离散状态马尔可夫链

四级证据 8/22。 19.2.2 离散状态马尔可夫链：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1 蒙特卡罗法。

对于19.2.2 离散状态马尔可夫链这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.2.3 连续状态马尔可夫链

四级证据 9/22。 19.2.3 连续状态马尔可夫链：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.1 随机抽样。

对于19.2.3 连续状态马尔可夫链这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.2.4 马尔可夫链的性质

四级证据 10/22。 19.2.4 马尔可夫链的性质：列出定理前提，计算一项残差，并构造破坏前提后保证不再成立的反例。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.2 数学期望估计。

对于19.2.4 马尔可夫链的性质这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.3 马尔可夫链蒙特卡罗法

四级证据 11/22。 19.3 马尔可夫链蒙特卡罗法：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.3 积分计算。

对于19.3 马尔可夫链蒙特卡罗法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.3.1 基本想法

四级证据 12/22。 19.3.1 基本想法：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.2 马尔可夫链。

对于19.3.1 基本想法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.3.2 基本步骤

四级证据 13/22。 19.3.2 基本步骤：把该节点放回模型—策略—算法链，说明输入、输出、假设和第一项可观察中间量。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为第19章 马尔可夫链蒙特卡罗法。

对于19.3.2 基本步骤这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.3.3 马尔可夫链蒙特卡罗法与统计学习

四级证据 14/22。 19.3.3 马尔可夫链蒙特卡罗法与统计学习：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1 蒙特卡罗法。

对于19.3.3 马尔可夫链蒙特卡罗法与统计学习这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.4 Metropolis-Hastings算法

四级证据 15/22。 19.4 Metropolis-Hastings算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.1 随机抽样。

对于19.4 Metropolis-Hastings算法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.4.1 基本原理

四级证据 16/22。 19.4.1 基本原理：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.2 数学期望估计。

对于19.4.1 基本原理这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.4.2 Metropolis-Hastings算法

四级证据 17/22。 19.4.2 Metropolis-Hastings算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.3 积分计算。

对于19.4.2 Metropolis-Hastings算法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.4.3 单分量 Metropolis-Hastings算法

四级证据 18/22。 19.4.3 单分量 Metropolis-Hastings算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.2 马尔可夫链。

对于19.4.3 单分量 Metropolis-Hastings算法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.5 吉布斯抽样

四级证据 19/22。 19.5 吉布斯抽样：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为第19章 马尔可夫链蒙特卡罗法。

对于19.5 吉布斯抽样这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.5.1 基本原理

四级证据 20/22。 19.5.1 基本原理：写出随机变量、空间、参数、归一条件与可识别性，不用算法名称替代数学对象。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1 蒙特卡罗法。

对于19.5.1 基本原理这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.5.2 吉布斯抽样算法

四级证据 21/22。 19.5.2 吉布斯抽样算法：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.1 随机抽样。

对于19.5.2 吉布斯抽样算法这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

19.5.3 抽样计算

四级证据 22/22。 19.5.3 抽样计算：在可枚举小样本上执行一步更新，保存输入、充分统计、参数前后值、目标差和停止残差。本节点固定链阶段，只改变提议尺度，用“目标分布、提议分布、接受率、烧入期和链状态必须保存；相关样本不能按iid计算误差，未混合链不得用于结论。”判断计算是否仍在适用边界内；观察点为19.1.2 数学期望估计。

对于19.5.3 抽样计算这个节点，先预测从“适中”切到“太大”后，哪一个概率、距离、间隔、谱、目标或残差最先变化。运行极小样本后若方向不符，优先检查数据折分、尺度、索引、归一和符号，而不是用末端分数掩盖第一处错误。

三个必须主动触发的误区

练习、答案与285节点验证