第9章 EM算法及其推广
覆盖EM引入、算法、收敛性、推广与高斯混合；用推导路径、单故障数值轨迹和结论验收门完成独立复核。
学习目标
- 能说明“第9章 EM算法及其推广”如何覆盖EM引入、算法、收敛性、推广与高斯混合，并区分原版范围、独立核验和后续扩展
- 能先预测“怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？”的定义与数值路径，再用已知量、变换、残差和反例逐步复核
- 能注入“只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛”，用“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”决定接受、降级或拒绝方法结论
为什么从这个方法推演开始
EM页把隐变量补全、期望和优化分开，收敛必须由目标轨迹证明。 “第9章 EM算法及其推广”的贯穿任务是：对两分量高斯混合手算责任度、参数更新和对数似然。 动手前先写下哪个定义、矩阵、分布、目标或迭代状态会变化；运行后补理由不算预测。
本页围绕“怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？”建立参考、故障与恢复路径。只有“第9章 EM算法及其推广”守住“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”并交付模型与初值、责任度矩阵、Q函数、参数更新、对数似然、下界差、收敛阈值和多初值对照。，公式、图形或指标才构成统计学习证据。
书目、285个原版层级与版本边界
“第9章 EM算法及其推广”以清华大学出版社官方书页核对李航著《统计学习方法（第2版）》于2019年出版、ISBN 9787302517276和监督/无监督两篇结构，同时以出版社英文版权页确认484页及两篇主要内容，再以出版社公开完整目录逐项核对两篇、22章、256个编号节/小节和附录A-E，因此本站覆盖分母共285个正式目录层级。
“第9章 EM算法及其推广”未取得原书完整正文授权，只以出版社完整目录限定范围；中文解释、推导、数值实验、交互、练习与答案均为独立教学重写。“第9章 EM算法及其推广”按2019年第2版范围解释；当前库函数和后续研究只作独立核验，不反写原版。
本页另以技术核对 1、技术核对 2、技术核对 3核对算法原始定义、实现语义或数值工具。外部资料能验证技术事实，不能反向证明原书正文采用了本站表述。
原版目录层级与方法机制
第9章 EM算法及其推广
↡EM算法及其推广对应原版目录坐标“第9章 EM算法及其推广”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 1/12。 在“第9章 EM算法及其推广”的坐标1中，目录项「第9章 EM算法及其推广」用于交替计算隐变量后验与参数最优更新；先冻结符号与形状，再以责任度、Q函数、参数、似然/下界与多初值轨迹复核，出现似然下降仍宣称收敛时撤回结论。
9.1 EM算法的引入
↡EM算法的引入对应原版目录坐标“9·1 EM算法的引入”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 2/12。 目录项「9·1 EM算法的引入」进入“第9章 EM算法及其推广”后要回答第2个方法问题：它怎样交替计算隐变量后验与参数最优更新、改变什么数值状态、由哪些责任度、Q函数、参数、似然/下界与多初值轨迹证明，并如何排除似然下降仍宣称收敛。
9.1.1 EM算法
↡EM算法对应原版目录坐标“9·1·1 EM算法”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 3/12。 围绕“怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？”，在“第9章 EM算法及其推广”的原版层级3把「9·1·1 EM算法」落实为交替计算隐变量后验与参数最优更新；复核者先读取责任度、Q函数、参数、似然/下界与多初值轨迹，不能接受似然下降仍宣称收敛。
9.1.2 EM算法的导出
↡EM算法的导出对应原版目录坐标“9·1·2 EM算法的导出”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 4/12。 对“第9章 EM算法及其推广”而言，目录项「9·1·2 EM算法的导出」的最小推演合同是交替计算隐变量后验与参数最优更新，第4次检查保存责任度、Q函数、参数、似然/下界与多初值轨迹；若产生似然下降仍宣称收敛，就返回上一步。
9.1.3 EM算法在无监督学习中的应用
↡EM算法在无监督学习中的应用对应原版目录坐标“9·1·3 EM算法在无监督学习中的应用”，在“第9章 EM算法及其推广”中用于声明学习问题、模型、策略、算法与泛化证据，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 5/12。 第5个正式坐标「9·1·3 EM算法在无监督学习中的应用」服务于覆盖EM引入、算法、收敛性、推广与高斯混合，需要以任务卡、数据角色、模型族、损失、优化与独立评估呈现声明学习问题、模型、策略、算法与泛化证据；测试复用或三要素混淆会破坏“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”。
9.2 EM算法的收敛性
↡EM算法的收敛性对应原版目录坐标“9·2 EM算法的收敛性”，在“第9章 EM算法及其推广”中用于沿误分类样本更新超平面并验证可分条件，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 6/12。 在“第9章 EM算法及其推广”的坐标6中，目录项「9·2 EM算法的收敛性」用于沿误分类样本更新超平面并验证可分条件；先冻结符号与形状，再以样本顺序、参数/对偶系数、Gram矩阵、间隔与迭代轨迹复核，出现不可分仍宣称有限步收敛时撤回结论。
9.3 EM算法在高斯混合模型学习中的应用
↡EM算法在高斯混合模型学习中的应用对应原版目录坐标“9·3 EM算法在高斯混合模型学习中的应用”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 7/12。 目录项「9·3 EM算法在高斯混合模型学习中的应用」进入“第9章 EM算法及其推广”后要回答第7个方法问题：它怎样交替计算隐变量后验与参数最优更新、改变什么数值状态、由哪些责任度、Q函数、参数、似然/下界与多初值轨迹证明，并如何排除似然下降仍宣称收敛。
9.3.1 高斯混合模型
↡高斯混合模型对应原版目录坐标“9·3·1 高斯混合模型”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 8/12。 围绕“怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？”，在“第9章 EM算法及其推广”的原版层级8把「9·3·1 高斯混合模型」落实为交替计算隐变量后验与参数最优更新；复核者先读取责任度、Q函数、参数、似然/下界与多初值轨迹，不能接受似然下降仍宣称收敛。
9.3.2 高斯混合模型参数估计的 EM算法
↡高斯混合模型参数估计的 EM算法对应原版目录坐标“9·3·2 高斯混合模型参数估计的 EM算法”，在“第9章 EM算法及其推广”中用于由先验和条件似然计算后验分类，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 9/12。 对“第9章 EM算法及其推广”而言，目录项「9·3·2 高斯混合模型参数估计的 EM算法」的最小推演合同是由先验和条件似然计算后验分类，第9次检查保存类别/条件计数、平滑、对数后验、归一化与校准；若产生零频窥标或测试先验，就返回上一步。
9.4 EM算法的推广
↡EM算法的推广对应原版目录坐标“9·4 EM算法的推广”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 10/12。 第10个正式坐标「9·4 EM算法的推广」服务于覆盖EM引入、算法、收敛性、推广与高斯混合，需要以责任度、Q函数、参数、似然/下界与多初值轨迹呈现交替计算隐变量后验与参数最优更新；似然下降仍宣称收敛会破坏“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”。
9.4.1 F函数的极大-极大算法
↡F函数的极大-极大算法对应原版目录坐标“9·4·1 F函数的极大-极大算法”，在“第9章 EM算法及其推广”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 11/12。 在“第9章 EM算法及其推广”的坐标11中，目录项「9·4·1 F函数的极大-极大算法」用于把目录坐标转为有定义、推导、计算和验收的统计学习合同；先冻结符号与形状，再以变量、假设、目标、更新、数值残差、评估和边界反例复核，出现只复述结论或公式名称时撤回结论。
9.4.2 GEM算法
↡GEM算法对应原版目录坐标“9·4·2 GEM算法”，在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，并受定义域、形状、目标、算法状态与版本边界约束。原版坐标 12/12。 目录项「9·4·2 GEM算法」进入“第9章 EM算法及其推广”后要回答第12个方法问题：它怎样交替计算隐变量后验与参数最优更新、改变什么数值状态、由哪些责任度、Q函数、参数、似然/下界与多初值轨迹证明，并如何排除似然下降仍宣称收敛。
先预测，再操作三个章专属实验
1. 定义、推导与变换路径
固定“对两分量高斯混合手算责任度、参数更新和对数似然。”，在参考与反例间切换，逐阶段查看“观测与隐变量、完全似然、E步责任度、M步更新、下界诊断”的已知量、变换、结果和数值检查。
推导路径
选择案例，逐步核对已知量与变换
怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？
问题设置
对两分量高斯混合手算责任度、参数更新和对数似然。 固定符号、数据、初值、顺序、容差和种子。
事前预测
沿“观测与隐变量 → 完全似然 → E步责任度 → M步更新 → 下界诊断”得到可复核结果。
适用边界
全过程必须满足“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”。
已知量
第9章 EM算法及其推广：声明对象、符号与适用域，冻结数据、形状和版本
变换或更新
只读取本步允许的已知量，并持续满足“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”
阶段结果
观测与隐变量产生形式化问题状态
数值与逻辑检查
形式化问题状态、索引和数值断言；出现“只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛”时停止
原版坐标：第9章 EM算法及其推广、9.1 EM算法的引入、9.1.1 EM算法、9.1.2 EM算法的导出、9.1.3 EM算法在无监督学习中的应用、9.2 EM算法的收敛性、9.3 EM算法在高斯混合模型学习中的应用、9.3.1 高斯混合模型、9.3.2 高斯混合模型参数估计的 EM算法、9.4 EM算法的推广、9.4.1 F函数的极大-极大算法、9.4.2 GEM算法
第9章 EM算法及其推广的可重放方法协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 观测与隐变量 | 在“第9章 EM算法及其推广”执行观测与隐变量，只改变声明的数学或数值状态 | 符号、定义域、形状、数据与版本 | 对象或形状不可追溯 |
| 完全似然 | 在“第9章 EM算法及其推广”执行完全似然，只改变声明的数学或数值状态 | 模型、目标、约束、参数/隐变量与迭代轨迹 | 只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛 |
| E步责任度 | 在“第9章 EM算法及其推广”执行E步责任度，只改变声明的数学或数值状态 | 模型、目标、约束、参数/隐变量与迭代轨迹 | 只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛 |
| M步更新 | 在“第9章 EM算法及其推广”执行M步更新，只改变声明的数学或数值状态 | 模型、目标、约束、参数/隐变量与迭代轨迹 | 只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛 |
| 下界诊断 | 在“第9章 EM算法及其推广”执行下界诊断，只改变声明的数学或数值状态 | 残差、诊断、反例、适用边界与复现 | 无法重放或缺少诊断 |
unit: "slm-09"
question: "怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？"
scenario: "对两分量高斯混合手算责任度、参数更新和对数似然。"
stages: ["观测与隐变量", "完全似然", "E步责任度", "M步更新", "下界诊断"]
invariant: "观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定"
fault: "只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛"
evidence: "模型与初值、责任度矩阵、Q函数、参数更新、对数似然、下界差、收敛阈值和多初值对照。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact该协议要求“第9章 EM算法及其推广”在相同符号、数据、形状、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、结论门或证据包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第9章 EM算法及其推广”不是背诵公式或API，而是能围绕“怎样从完全数据似然构造Q函数，并验证E/M两步与下界单调性？”重建定义与数值证据，并用“观测/隐变量、模型族、初始化、E步后验、M步优化和停止规则固定”拒绝“只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛”。最终交付为模型与初值、责任度矩阵、Q函数、参数更新、对数似然、下界差、收敛阈值和多初值对照。
练习与答案
练习
- 问题 1：方法合同。 “第9章 EM算法及其推广”为什么必须先冻结符号、数据、形状、初值、顺序、容差和种子？
- 问题 2：目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“只运行一次初始化或Q函数计算错误，似然下降仍宣称EM收敛”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- EM算法及其推广
检索键 slm-A 对应目录坐标「第9章 EM算法及其推广」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- EM算法的引入
检索键 slm-B 对应目录坐标「9·1 EM算法的引入」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- EM算法
检索键 slm-C 对应目录坐标「9·1·1 EM算法」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- EM算法的导出
检索键 slm-D 对应目录坐标「9·1·2 EM算法的导出」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- EM算法在无监督学习中的应用
检索键 slm-E 对应目录坐标「9·1·3 EM算法在无监督学习中的应用」；在“第9章 EM算法及其推广”中用于声明学习问题、模型、策略、算法与泛化证据，需要连接原版范围、定义、数值状态与独立证据。
- EM算法的收敛性
检索键 slm-F 对应目录坐标「9·2 EM算法的收敛性」；在“第9章 EM算法及其推广”中用于沿误分类样本更新超平面并验证可分条件，需要连接原版范围、定义、数值状态与独立证据。
- EM算法在高斯混合模型学习中的应用
检索键 slm-G 对应目录坐标「9·3 EM算法在高斯混合模型学习中的应用」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- 高斯混合模型
检索键 slm-H 对应目录坐标「9·3·1 高斯混合模型」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- 高斯混合模型参数估计的 EM算法
检索键 slm-I 对应目录坐标「9·3·2 高斯混合模型参数估计的 EM算法」；在“第9章 EM算法及其推广”中用于由先验和条件似然计算后验分类，需要连接原版范围、定义、数值状态与独立证据。
- EM算法的推广
检索键 slm-J 对应目录坐标「9·4 EM算法的推广」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。
- F函数的极大-极大算法
检索键 slm-K 对应目录坐标「9·4·1 F函数的极大-极大算法」；在“第9章 EM算法及其推广”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同，需要连接原版范围、定义、数值状态与独立证据。
- GEM算法
检索键 slm-L 对应目录坐标「9·4·2 GEM算法」；在“第9章 EM算法及其推广”中用于交替计算隐变量后验与参数最优更新，需要连接原版范围、定义、数值状态与独立证据。