第7章 支持向量机

覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数;用推导路径、单故障数值轨迹和结论验收门完成独立复核。

学习目标

  • 能说明“第7章 支持向量机”如何覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数,并区分原版范围、独立核验和后续扩展
  • 能先预测“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”的定义与数值路径,再用已知量、变换、残差和反例逐步复核
  • 能注入“核参数在测试数据上调优,或SMO停止时仍有显著KKT违约”,用“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”决定接受、降级或拒绝方法结论

为什么从这个方法推演开始

SVM页把分类边界还原为约束、对偶变量和数值最优性条件。 “第7章 支持向量机”的贯穿任务是:对线性与非线性样本比较原问题、对偶和RBF核的支持向量。 动手前先写下哪个定义、矩阵、分布、目标或迭代状态会变化;运行后补理由不算预测。

本页围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”建立参考、故障与恢复路径。只有“第7章 支持向量机”守住“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”并交付尺度、Gram矩阵、C与核参数、乘子、工作集、阈值、目标轨迹、KKT残差和支持向量。,公式、图形或指标才构成统计学习证据。

书目、285个原版层级与版本边界

“第7章 支持向量机”以清华大学出版社官方书页核对李航著《统计学习方法(第2版)》于2019年出版、ISBN 9787302517276和监督/无监督两篇结构,同时以出版社英文版权页确认484页及两篇主要内容,再以出版社公开完整目录逐项核对两篇、22章、256个编号节/小节和附录A-E,因此本站覆盖分母共285个正式目录层级。

“第7章 支持向量机”未取得原书完整正文授权,只以出版社完整目录限定范围;中文解释、推导、数值实验、交互、练习与答案均为独立教学重写。“第7章 支持向量机”按2019年第2版范围解释;当前库函数和后续研究只作独立核验,不反写原版。

本页另以技术核对 1技术核对 2技术核对 3核对算法原始定义、实现语义或数值工具。外部资料能验证技术事实,不能反向证明原书正文采用了本站表述。

原版目录层级与方法机制

第7章 支持向量机

原版坐标 1/20。 在“第7章 支持向量机”的坐标1中,目录项「第7章 支持向量机」用于从最大间隔构造对偶、核与工作集优化;先冻结符号与形状,再以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量复核,出现核参数泄漏或KKT违约时撤回结论。

7.1 线性可分支持向量机与硬间隔最大化

原版坐标 2/20。 目录项「7·1 线性可分支持向量机与硬间隔最大化」进入“第7章 支持向量机”后要回答第2个方法问题:它怎样沿误分类样本更新超平面并验证可分条件、改变什么数值状态、由哪些样本顺序、参数/对偶系数、Gram矩阵、间隔与迭代轨迹证明,并如何排除不可分仍宣称有限步收敛。

7.1.1 线性可分支持向量机

原版坐标 3/20。 围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”,在“第7章 支持向量机”的原版层级3把「7·1·1 线性可分支持向量机」落实为沿误分类样本更新超平面并验证可分条件;复核者先读取样本顺序、参数/对偶系数、Gram矩阵、间隔与迭代轨迹,不能接受不可分仍宣称有限步收敛。

7.1.2 函数间隔和几何间隔

原版坐标 4/20。 对“第7章 支持向量机”而言,目录项「7·1·2 函数间隔和几何间隔」的最小推演合同是从最大间隔构造对偶、核与工作集优化,第4次检查保存Gram矩阵、乘子、工作集、目标、KKT残差与支持向量;若产生核参数泄漏或KKT违约,就返回上一步。

7.1.3 间隔最大化

原版坐标 5/20。 第5个正式坐标「7·1·3 间隔最大化」服务于覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数,需要以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量呈现从最大间隔构造对偶、核与工作集优化;核参数泄漏或KKT违约会破坏“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”。

7.1.4 学习的对偶算法

原版坐标 6/20。 在“第7章 支持向量机”的坐标6中,目录项「7·1·4 学习的对偶算法」用于把目录坐标转为有定义、推导、计算和验收的统计学习合同;先冻结符号与形状,再以变量、假设、目标、更新、数值残差、评估和边界反例复核,出现只复述结论或公式名称时撤回结论。

7.2 线性支持向量机与软间隔最大化

原版坐标 7/20。 目录项「7·2 线性支持向量机与软间隔最大化」进入“第7章 支持向量机”后要回答第7个方法问题:它怎样从最大间隔构造对偶、核与工作集优化、改变什么数值状态、由哪些Gram矩阵、乘子、工作集、目标、KKT残差与支持向量证明,并如何排除核参数泄漏或KKT违约。

7.2.1 线性支持向量机

原版坐标 8/20。 围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”,在“第7章 支持向量机”的原版层级8把「7·2·1 线性支持向量机」落实为从最大间隔构造对偶、核与工作集优化;复核者先读取Gram矩阵、乘子、工作集、目标、KKT残差与支持向量,不能接受核参数泄漏或KKT违约。

7.2.2 学习的对偶算法

原版坐标 9/20。 对“第7章 支持向量机”而言,目录项「7·2·2 学习的对偶算法」的最小推演合同是把目录坐标转为有定义、推导、计算和验收的统计学习合同,第9次检查保存变量、假设、目标、更新、数值残差、评估和边界反例;若产生只复述结论或公式名称,就返回上一步。

7.2.3 支持向量

原版坐标 10/20。 第10个正式坐标「7·2·3 支持向量」服务于覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数,需要以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量呈现从最大间隔构造对偶、核与工作集优化;核参数泄漏或KKT违约会破坏“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”。

7.2.4 合页损失函数

原版坐标 11/20。 在“第7章 支持向量机”的坐标11中,目录项「7·2·4 合页损失函数」用于把目录坐标转为有定义、推导、计算和验收的统计学习合同;先冻结符号与形状,再以变量、假设、目标、更新、数值残差、评估和边界反例复核,出现只复述结论或公式名称时撤回结论。

7.3 非线性支持向量机与核函数

原版坐标 12/20。 目录项「7·3 非线性支持向量机与核函数」进入“第7章 支持向量机”后要回答第12个方法问题:它怎样从最大间隔构造对偶、核与工作集优化、改变什么数值状态、由哪些Gram矩阵、乘子、工作集、目标、KKT残差与支持向量证明,并如何排除核参数泄漏或KKT违约。

7.3.1 核技巧

原版坐标 13/20。 围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”,在“第7章 支持向量机”的原版层级13把「7·3·1 核技巧」落实为把目录坐标转为有定义、推导、计算和验收的统计学习合同;复核者先读取变量、假设、目标、更新、数值残差、评估和边界反例,不能接受只复述结论或公式名称。

7.3.2 正定核

原版坐标 14/20。 对“第7章 支持向量机”而言,目录项「7·3·2 正定核」的最小推演合同是把目录坐标转为有定义、推导、计算和验收的统计学习合同,第14次检查保存变量、假设、目标、更新、数值残差、评估和边界反例;若产生只复述结论或公式名称,就返回上一步。

7.3.3 常用核函数

原版坐标 15/20。 第15个正式坐标「7·3·3 常用核函数」服务于覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数,需要以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量呈现从最大间隔构造对偶、核与工作集优化;核参数泄漏或KKT违约会破坏“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”。

7.3.4 非线性支持向量分类机

原版坐标 16/20。 在“第7章 支持向量机”的坐标16中,目录项「7·3·4 非线性支持向量分类机」用于从最大间隔构造对偶、核与工作集优化;先冻结符号与形状,再以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量复核,出现核参数泄漏或KKT违约时撤回结论。

7.4 序列最小最优化算法

原版坐标 17/20。 目录项「7·4 序列最小最优化算法」进入“第7章 支持向量机”后要回答第17个方法问题:它怎样从最大间隔构造对偶、核与工作集优化、改变什么数值状态、由哪些Gram矩阵、乘子、工作集、目标、KKT残差与支持向量证明,并如何排除核参数泄漏或KKT违约。

7.4.1 两个变量二次规划的求解方法

原版坐标 18/20。 围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”,在“第7章 支持向量机”的原版层级18把「7·4·1 两个变量二次规划的求解方法」落实为把目录坐标转为有定义、推导、计算和验收的统计学习合同;复核者先读取变量、假设、目标、更新、数值残差、评估和边界反例,不能接受只复述结论或公式名称。

7.4.2 变量的选择方法

原版坐标 19/20。 对“第7章 支持向量机”而言,目录项「7·4·2 变量的选择方法」的最小推演合同是把目录坐标转为有定义、推导、计算和验收的统计学习合同,第19次检查保存变量、假设、目标、更新、数值残差、评估和边界反例;若产生只复述结论或公式名称,就返回上一步。

7.4.3 SMO算法

原版坐标 20/20。 第20个正式坐标「7·4·3 SMO算法」服务于覆盖线性可分、线性、非线性SVM、序列最小最优化与核函数,需要以Gram矩阵、乘子、工作集、目标、KKT残差与支持向量呈现从最大间隔构造对偶、核与工作集优化;核参数泄漏或KKT违约会破坏“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”。

先预测,再操作三个章专属实验

分步1 / 3

1. 定义、推导与变换路径

固定“对线性与非线性样本比较原问题、对偶和RBF核的支持向量。”,在参考与反例间切换,逐阶段查看“间隔原问题、拉格朗日对偶、核矩阵、SMO工作集、KKT验收”的已知量、变换、结果和数值检查。

推导路径

选择案例,逐步核对已知量与变换

怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?

问题设置

对线性与非线性样本比较原问题、对偶和RBF核的支持向量。 固定符号、数据、初值、顺序、容差和种子。

事前预测

沿“间隔原问题 → 拉格朗日对偶 → 核矩阵 → SMO工作集 → KKT验收”得到可复核结果。

适用边界

全过程必须满足“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”。

已知量

第7章 支持向量机:声明对象、符号与适用域,冻结数据、形状和版本

变换或更新

只读取本步允许的已知量,并持续满足“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”

阶段结果

间隔原问题产生形式化问题状态

数值与逻辑检查

形式化问题状态、索引和数值断言;出现“核参数在测试数据上调优,或SMO停止时仍有显著KKT违约”时停止

原版坐标:第7章 支持向量机、7.1 线性可分支持向量机与硬间隔最大化、7.1.1 线性可分支持向量机、7.1.2 函数间隔和几何间隔、7.1.3 间隔最大化、7.1.4 学习的对偶算法、7.2 线性支持向量机与软间隔最大化、7.2.1 线性支持向量机、7.2.2 学习的对偶算法、7.2.3 支持向量、7.2.4 合页损失函数、7.3 非线性支持向量机与核函数、7.3.1 核技巧、7.3.2 正定核、7.3.3 常用核函数、7.3.4 非线性支持向量分类机、7.4 序列最小最优化算法、7.4.1 两个变量二次规划的求解方法、7.4.2 变量的选择方法、7.4.3 SMO算法

第7章 支持向量机的可重放方法协议

阶段允许动作必留证据拒绝条件
间隔原问题在“第7章 支持向量机”执行间隔原问题,只改变声明的数学或数值状态符号、定义域、形状、数据与版本对象或形状不可追溯
拉格朗日对偶在“第7章 支持向量机”执行拉格朗日对偶,只改变声明的数学或数值状态模型、目标、约束、参数/隐变量与迭代轨迹核参数在测试数据上调优,或SMO停止时仍有显著KKT违约
核矩阵在“第7章 支持向量机”执行核矩阵,只改变声明的数学或数值状态模型、目标、约束、参数/隐变量与迭代轨迹核参数在测试数据上调优,或SMO停止时仍有显著KKT违约
SMO工作集在“第7章 支持向量机”执行SMO工作集,只改变声明的数学或数值状态模型、目标、约束、参数/隐变量与迭代轨迹核参数在测试数据上调优,或SMO停止时仍有显著KKT违约
KKT验收在“第7章 支持向量机”执行KKT验收,只改变声明的数学或数值状态残差、诊断、反例、适用边界与复现无法重放或缺少诊断
unit: "slm-07"
question: "怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?"
scenario: "对线性与非线性样本比较原问题、对偶和RBF核的支持向量。"
stages: ["间隔原问题", "拉格朗日对偶", "核矩阵", "SMO工作集", "KKT验收"]
invariant: "尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定"
fault: "核参数在测试数据上调优,或SMO停止时仍有显著KKT违约"
evidence: "尺度、Gram矩阵、C与核参数、乘子、工作集、阈值、目标轨迹、KKT残差和支持向量。"
reset: restore_case_stage_trace_mode_step_gates_and_artifact

该协议要求“第7章 支持向量机”在相同符号、数据、形状、初值、顺序、容差和种子下重放。重置后若案例、阶段、轨迹模式、步骤、结论门或证据包没有回到基线,交互状态已经污染比较。

本页回顾

掌握“第7章 支持向量机”不是背诵公式或API,而是能围绕“怎样从最大间隔原问题到对偶与核,并用KKT残差验收SMO更新?”重建定义与数值证据,并用“尺度、核、C、训练样本、变量约束、工作集规则和停止容差固定”拒绝“核参数在测试数据上调优,或SMO停止时仍有显著KKT违约”。最终交付为尺度、Gram矩阵、C与核参数、乘子、工作集、阈值、目标轨迹、KKT残差和支持向量。

练习与答案

练习

  1. 问题 1:方法合同。 “第7章 支持向量机”为什么必须先冻结符号、数据、形状、初值、顺序、容差和种子?
  1. 问题 2:目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习?
  1. 问题 3:故障恢复。 怎样证明“核参数在测试数据上调优,或SMO停止时仍有显著KKT违约”已经被修正?

名词解释

名词解释

本章出现的专业名词,用大白话再讲一遍。

支持向量机

检索键 slm-A 对应目录坐标「第7章 支持向量机」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

线性可分支持向量机

检索键 slm-B 对应目录坐标「7·1 线性可分支持向量机与硬间隔最大化」;在“第7章 支持向量机”中用于沿误分类样本更新超平面并验证可分条件,需要连接原版范围、定义、数值状态与独立证据。

线性可分支持向量机

检索键 slm-C 对应目录坐标「7·1·1 线性可分支持向量机」;在“第7章 支持向量机”中用于沿误分类样本更新超平面并验证可分条件,需要连接原版范围、定义、数值状态与独立证据。

函数间隔和几何间隔

检索键 slm-D 对应目录坐标「7·1·2 函数间隔和几何间隔」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

间隔最大化

检索键 slm-E 对应目录坐标「7·1·3 间隔最大化」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

学习的对偶算法

检索键 slm-F 对应目录坐标「7·1·4 学习的对偶算法」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

线性支持向量机

检索键 slm-G 对应目录坐标「7·2 线性支持向量机与软间隔最大化」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

线性支持向量机

检索键 slm-H 对应目录坐标「7·2·1 线性支持向量机」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

学习的对偶算法

检索键 slm-I 对应目录坐标「7·2·2 学习的对偶算法」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

支持向量

检索键 slm-J 对应目录坐标「7·2·3 支持向量」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

合页损失函数

检索键 slm-K 对应目录坐标「7·2·4 合页损失函数」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

非线性支持向量机

检索键 slm-L 对应目录坐标「7·3 非线性支持向量机与核函数」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

核技巧

检索键 slm-M 对应目录坐标「7·3·1 核技巧」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

正定核

检索键 slm-N 对应目录坐标「7·3·2 正定核」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

常用核函数

检索键 slm-O 对应目录坐标「7·3·3 常用核函数」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

非线性支持向量分类机

检索键 slm-P 对应目录坐标「7·3·4 非线性支持向量分类机」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

序列最小最优化算法

检索键 slm-Q 对应目录坐标「7·4 序列最小最优化算法」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

两个变量二次规划的求解方法

检索键 slm-R 对应目录坐标「7·4·1 两个变量二次规划的求解方法」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

变量的选择方法

检索键 slm-S 对应目录坐标「7·4·2 变量的选择方法」;在“第7章 支持向量机”中用于把目录坐标转为有定义、推导、计算和验收的统计学习合同,需要连接原版范围、定义、数值状态与独立证据。

SMO算法

检索键 slm-T 对应目录坐标「7·4·3 SMO算法」;在“第7章 支持向量机”中用于从最大间隔构造对偶、核与工作集优化,需要连接原版范围、定义、数值状态与独立证据。

资料与写作方式声明

本章以李航著《统计学习方法(第2版)》权威目录界定学习范围,并结合正文列出的技术资料独立重写;不宣称复现原书正文,也不沿用原作表述。

原作版权归作者与出版社所有;本站原创教学结构与表述仅供学习交流。

讨论

评论区加载中…