《模式识别与机器学习》全书总复习

为什么先写联合分布与条件集合

、、、、、共同构成本页坐标。把全书压缩为可重放的概率模型工作流：写联合分布，选择精确或近似推断，学习参数与超参数，形成预测分布，再按损失函数做决策并独立评价。

PRML 的主线不是算法清单，而是“模型假设 -> 联合分解 -> 学习 -> 推断 -> 预测 -> 决策”。同一个数值优化器可能服务最大似然、MAP 或变分下界；同一个图结构也可能执行边缘推断或最可能配置。实验记录若不注明目标和条件集合，就无法判断数值相同是正确等价还是偶然碰撞。

本页统一使用证据账本：保存数据版本、样本身份、随机变量支持域、观测与潜变量、参数和超参数、归一化常数、目标每一项、优化或消息更新前后值、随机种子及独立评价切片。指标上升仍可能来自泄漏、广播、协方差退化、下溢、错误条件化或挑选采样链。

数学骨架

$$p(\mathcal D,\mathbf Z,\boldsymbol\theta)=p(\mathcal D\mid\mathbf Z,\boldsymbol\theta)p(\mathbf Z\mid\boldsymbol\theta)p(\boldsymbol\theta)$$ $$p(\boldsymbol\theta,\mathbf Z\mid\mathcal D)\propto p(\mathcal D,\mathbf Z,\boldsymbol\theta)$$ $$p(t_*\mid\mathbf x_*,\mathcal D)=\iint p(t_*\mid\mathbf x_*,\mathbf Z,\boldsymbol\theta)p(\mathbf Z,\boldsymbol\theta\mid\mathcal D)\,d\mathbf Z\,d\boldsymbol\theta$$ $$R(a)=\mathbb E_{p(t_*\mid\mathbf x_*,\mathcal D)}[L(t_*,a)]$$

公式进入代码前先声明每个符号的shape、支持域和条件变量。概率必须非负且归一化，协方差与核矩阵要检查对称和半正定，混合权重与责任度要逐样本归一化；对数域计算必须配套 log-sum-exp，不能把下溢后的零当作理论概率。

可复现推断账本

第一栏记录原始样本、切分身份、预处理统计和数据版本；第二栏写联合分布的每个因子、plate 或时间索引，并标出哪些量已观测。第三栏保存目标分解，例如数据项、先验项、熵项、正则项或约束项，确保符号和归一化一致。

第四栏记录优化、消息传递或采样的逐步状态，包括梯度、Hessian、责任度、自然参数、接受率、有效样本数和收敛阈值。第五栏从冻结参数和空缓存重算预测分布与决策风险，禁止复用训练批次统计、旧消息或筛选过的随机种子。

权威目录逐项讲解

1 Introduction

“1 Introduction”在本章中承担从联合分布到模型证据的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“1 Introduction”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

2 Probability Distributions

“2 Probability Distributions”在本章中承担从后验推断到预测分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“2 Probability Distributions”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

3 Linear Models for Regression

“3 Linear Models for Regression”在本章中承担从模型证据到决策损失的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“3 Linear Models for Regression”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

4 Linear Models for Classification

“4 Linear Models for Classification”在本章中承担从预测分布到独立评价的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“4 Linear Models for Classification”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

5 Neural Networks

“5 Neural Networks”在本章中承担从决策损失到联合分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“5 Neural Networks”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

6 Kernel Methods

“6 Kernel Methods”在本章中承担从独立评价到后验推断的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“6 Kernel Methods”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

7 Sparse Kernel Machines

“7 Sparse Kernel Machines”在本章中承担从联合分布到模型证据的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“7 Sparse Kernel Machines”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

8 Graphical Models

“8 Graphical Models”在本章中承担从后验推断到预测分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“8 Graphical Models”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

9 Mixture Models and EM

“9 Mixture Models and EM”在本章中承担从模型证据到决策损失的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“9 Mixture Models and EM”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

10 Approximate Inference

“10 Approximate Inference”在本章中承担从预测分布到独立评价的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“10 Approximate Inference”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

11 Sampling Methods

“11 Sampling Methods”在本章中承担从决策损失到联合分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“11 Sampling Methods”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

12 Continuous Latent Variables

“12 Continuous Latent Variables”在本章中承担从独立评价到后验推断的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“12 Continuous Latent Variables”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

13 Sequential Data

“13 Sequential Data”在本章中承担从联合分布到模型证据的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“13 Sequential Data”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

14 Combining Models

“14 Combining Models”在本章中承担从后验推断到预测分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“14 Combining Models”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

Appendix A Data Sets

“Appendix A Data Sets”在本章中承担从模型证据到决策损失的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“Appendix A Data Sets”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

Appendix B Probability Distributions

“Appendix B Probability Distributions”在本章中承担从预测分布到独立评价的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“Appendix B Probability Distributions”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

Appendix C Properties of Matrices

“Appendix C Properties of Matrices”在本章中承担从决策损失到联合分布的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“Appendix C Properties of Matrices”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

Appendix D Calculus of Variations

“Appendix D Calculus of Variations”在本章中承担从独立评价到后验推断的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“Appendix D Calculus of Variations”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

Appendix E Lagrange Multipliers

“Appendix E Lagrange Multipliers”在本章中承担从联合分布到模型证据的推导节点。阅读时先写清随机变量、已知条件、待估参数和输出量，再决定是在联合分布上做边缘化、条件化、优化还是采样；只记算法名称会掩盖概率语义。把每个求和、积分与矩阵乘法的轴写在旁边，并标注归一化常数是否依赖待优化变量。

最小实验固定两到八个样本、参数初值、数据切分和随机种子。先预测改变一个条件后，最早变化的是充分统计量、对数似然、后验参数、消息、责任度、采样权重还是决策风险；随后保存中间量并从原始输入独立重算。针对“Appendix E Lagrange Multipliers”，验收仍服从本页标准：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。若首个证据未按预测变化，立即停止扩大模型并检查条件集合、shape、归一化和缓存版本。

七类实现证据

概率模型合同

先列随机变量、支持域、条件独立和联合分解，再决定参数化。对《模式识别与机器学习》全书总复习，必须从联合分布恢复所用条件分布，并验证每个离散求和或连续积分归一化。若代码只暴露损失标量，应额外导出因子级对数概率，防止常数项、轴或符号被误删。

shape与数值合同

逐项标注样本轴、特征轴、类别轴、成分轴、时间轴和潜变量轴。矩阵乘法前后保存shape，对协方差、精度、Gram 和 Hessian 检查对称性；在极端概率下同时比较普通域与对数域，预先规定有限值和正定性断言。

学习合同

固定数据与初值，手算一次最大似然、MAP、EM、梯度或闭式更新，并与实现逐项比较。超参数学习必须与参数学习分账，训练停止条件不能读取测试集；若使用近似优化，要记录目标单调性、梯度范数和容差。

推断合同

明确查询变量与证据变量，区分精确边缘化、MAP、变分近似、Laplace、EP 和 Monte Carlo。正常路径与故障路径只改变一个因子或近似假设，检测器必须在消息、后验参数、ELBO 或样本统计处先于最终预测报警。

预测合同

预测分布要积分参数和潜变量的不确定性，或明确说明采用了点估计。分类同时报告类别概率、校准和阈值，回归同时报告均值与方差；生成样本要保留对应潜变量、随机种子与条件输入，不能只挑选好看的输出。

决策与评价合同

将预测概率与损失函数分开：同一后验在不同误分类代价、拒绝选项或回归损失下可能产生不同动作。评价切片必须独立于学习和模型选择，报告基线、置信区间、失败类别与数据漂移，而不是只给一个平均分。

回退合同

第一条证据不一致时，从原始样本、固定配置和空派生状态重放。依次检查数据身份、条件集合、shape、联合因子、目标分解、更新、推断与决策；每修一处只重放最小模型，直到中间量一致后才扩大数据或预算。

常见失败与边界

本章回顾

把全书压缩为可重放的概率模型工作流：写联合分布，选择精确或近似推断，学习参数与超参数，形成预测分布，再按损失函数做决策并独立评价。验收底线是：能在未看答案前预测一次模型改变首先影响的联合因子、后验、ELBO或采样诊断，并从固定数据与空状态独立复现。掌握标准是能在未运行前预测首个变化，手算最小概率模型，复现实验，解释失败样本，并证明独立评价不读取训练或推断缓存。