第16章 查询优化
依据原书第7版完整目录覆盖7个节点:用等价变换、基数估计与搜索策略选择低代价执行计划
第16章 查询优化
本课程对应Abraham Silberschatz、Henry F. Korth、S. 在“第16章 查询优化”的证据链中,Sudarshan著,杨冬青、李红燕、张金波等译《数据库系统概念(原书第7版)》,机械工业出版社2021年6月出版,820页,ISBN 9787111681816。原版第7版由McGraw-Hill于2019年发布。课程按原书11部分、32章与附录A逐项重构,不复制原文。
中文版第7版纸书正文收录第1-23章;第24-26章由中文版提供中文在线内容;第27-32章是原版官网英文在线章节;附录A在纸书中。本页媒介为“纸书正文”。 全课程另设学习地图与总复习,共35页;正式知识分母仍是32章与附录A。本页属于“第六部分 查询处理与优化”,依据正式目录覆盖7个节点。
“第16章 查询优化”没有使用未获授权的中文纸书正文;以 作者官网第 7 版完整目录 界定 32 章与附录 A,以 作者公开在线章节、大学模式实验 和 McGraw-Hill 第 7 版变更说明 核对可公开内容。中文解释、SQL、图示、实验与练习均为独立教学重写;实现行为再以 PostgreSQL 官方文档 等一手规范复核。
学习目标
- 能解释“第16章 查询优化”的7个正式节点,并把它们连接到“用等价变换、基数估计与搜索策略选择低代价执行计划”主线。
- 能复现等价规则证明、统计信息卡、计划搜索树和估计偏差报告,记录输入版本、配置、预期、实际结果与失败边界。
- 能比较至少两种实现或故障条件,证明“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”。
- 能设计反例推翻“把谓词下推当作无条件安全,或相信过期统计产生的单一成本数字”,并给出修复、回退和独立验收条件。
从一次可观察状态变化开始
先预测:给定一份固定的大学数据库、一个操作和一个故障时刻,哪些逻辑行、物理页、锁、版本或日志记录应该变化,哪些绝不能变化?不要先运行再解释。把预测写成状态表,然后用独立查询、执行统计、页或日志轨迹核对。若预测与观察不一致,先检查模型和实验边界,而不是立即改配置。
本页主问题是“用等价变换、基数估计与搜索策略选择低代价执行计划”。交付不以读完为准,而以另一位学习者能从等价规则证明、统计信息卡、计划搜索树和估计偏差报告复现同一结论为准。最小正确性合同是:所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证。
核心词汇与系统边界
↡等价变换是“用等价变换、基数估计与搜索策略选择低代价执行计划”中的第1个核心概念;必须由状态、机制、反例和证据共同定义、↡选择率是“用等价变换、基数估计与搜索策略选择低代价执行计划”中的第2个核心概念;必须由状态、机制、反例和证据共同定义、↡基数估计是“用等价变换、基数估计与搜索策略选择低代价执行计划”中的第3个核心概念;必须由状态、机制、反例和证据共同定义、↡动态规划是“用等价变换、基数估计与搜索策略选择低代价执行计划”中的第4个核心概念;必须由状态、机制、反例和证据共同定义、↡物化视图是“用等价变换、基数估计与搜索策略选择低代价执行计划”中的第5个核心概念;必须由状态、机制、反例和证据共同定义 构成本页词汇表。每个词都要回答四个问题:它约束什么状态,由哪个模块执行,在哪个故障或并发边界会失效,用什么证据发现失效。只给一句名词解释不构成掌握。
选择下推、连接交换等规则生成候选计划空间,优化器在其中搜索。
第七版机制逐项深读
16.1 概述
在“第16章 查询优化”中,“16.1 概述”组织“依据原书第7版完整目录覆盖7个节点:用等价变换、基数估计与搜索策略选择低代价执行计划”的语义、结构、执行和证据;若不能给出一个状态变化与独立对账,本节点仍未完成。
16.2 关系表达式的转换
在“第16章 查询优化”中,“16.2 关系表达式的转换”在等价计划中用统计与代价选择执行路径;验证需对比估计/实际基数,并证明改写没有改变 NULL 与重复语义。
16.3 表达式结果的统计估计
在“第16章 查询优化”中,“16.3 表达式结果的统计估计”在等价计划中用统计与代价选择执行路径;验证需对比估计/实际基数,并证明改写没有改变 NULL 与重复语义。
16.4 执行计划选择
在“第16章 查询优化”中,分析“16.4 执行计划选择”时画出算子树,标明每条边的模式与估计基数;等价改写必须保持结果集合而非只让 SQL 能运行。
16.5 物化视图
在“第16章 查询优化”中,“16.5 物化视图”保存查询接口或其物化结果;要区分定义展开、可更新性、刷新时点与权限边界,并用基表变化验证一致性。
16.6 查询优化高级主题
在“第16章 查询优化”中,“16.6 查询优化高级主题”在等价计划中用统计与代价选择执行路径;验证需对比估计/实际基数,并证明改写没有改变 NULL 与重复语义。
16.7 小结
在“第16章 查询优化”中,“16.7 小结”组织“依据原书第7版完整目录覆盖7个节点:用等价变换、基数估计与搜索策略选择低代价执行计划”的语义、结构、执行和证据;若不能给出一个状态变化与独立对账,本节点仍未完成。
机制推演:从语义到物理证据
优化器先产生等价逻辑表达式,再为算子选择访问路径并搜索连接次序。直方图和不同值数估计中间基数,误差会在多次连接中放大;最终成本模型必须用实际执行统计校准。
推演时始终区分五层。在“第16章 查询优化”的证据链中,第一层是业务不变量,说明哪些数据库状态合法;第二层是逻辑模型与查询语义,说明结果应该是什么;第三层是物理计划和数据结构,说明系统怎样得到结果;第四层是并发、日志与复制协议,说明交错和故障后仍保留哪些承诺;第五层是观测证据,说明我们怎样知道前四层真的成立。性能优化只能改变第三层和部分第四层的实现,不能悄悄改变前两层。
对每个节点建立因果链:输入版本与配置 → 操作或调度 → 中间状态 → 可观察输出 → 独立对账。在“第16章 查询优化”的证据链中,若结论涉及性能,报告中位数、尾延迟、吞吐、I/O和等待,而不是只截一条最快记录;若涉及正确性,至少准备一个应成功样本和一个应失败样本,并记录错误类别或恢复终点。
证据解释与交接
语义证据证明结果定义没有漂移。保存关系模式、约束、查询文本、参数、隔离级别和预期行集;涉及NULL、重复、顺序或聚集时,单独列出处理规则。任何实现比较都必须共享同一语义合同。
执行证据证明机制判断可以复核。保存计划、实际行数、缓冲命中、I/O、锁或版本、日志位置和错误状态中与本章相关的部分。计划估计与实际偏差本身就是结果,不应通过只截取计划名称隐藏。
失败证据证明边界真实存在。每次只注入一个变量:空输入、重复键、倾斜、并发冲突、进程崩溃、存储丢失或网络分区。明确失败前最后一个持久状态、恢复后第一个可用状态,以及是否需要人工介入。
交接证据让另一位学习者无需口头补充就能复现。最少包括版本卡、大学模式加载与重置脚本、预测表、等价规则证明、统计信息卡、计划搜索树和估计偏差报告、正常与失败轨迹、独立对账、已知限制和回退条件。若更换DBMS或版本,先重跑基线再比较。
本章回顾
重新完成“用等价变换、基数估计与搜索策略选择低代价执行计划”:先声明不变量和输入版本,按7个目录节点建立模型,手算正常路径,注入一个边界或故障,收集语义与执行证据,最后由独立查询对账。最终交付等价规则证明、统计信息卡、计划搜索树和估计偏差报告,并能证明“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”。
小结
- 等价变换生成候选计划空间
- 基数估计质量决定计划优劣
- 统计信息要定期更新
- 搜索策略在枚举与启发间权衡
- 提示是最后手段而非常规
复习与独立验收
练习
问题 1:为什么“第16章 查询优化”必须覆盖7个目录节点?
问题 2:本页最小正确性合同是什么?
问题 3:怎样构造能推翻常见错误的最小反例?
问题 4:为什么执行成功不能证明数据库设计正确?
问题 5:性能结论至少需要哪些数据?
问题 6:独立交接至少包含什么?
名词解释
本章出现的专业名词,用大白话再讲一遍。
- 等价变换
等价变换在本页中以“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”为正确性边界,并由可重放实验验证。
- 选择率
选择率在本页中以“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”为正确性边界,并由可重放实验验证。
- 基数估计
基数估计在本页中以“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”为正确性边界,并由可重放实验验证。
- 动态规划
动态规划在本页中以“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”为正确性边界,并由可重放实验验证。
- 物化视图
物化视图在本页中以“所有重写保持包与NULL语义,估计误差可观测,计划优劣用实际行数和资源验证”为正确性边界,并由可重放实验验证。