第4章 受限玻尔兹曼机
覆盖Hopfield网络、玻尔兹曼机、RBM、对比散度、深度信念网络和章末总结;用五阶段信号、单故障训练轨迹和可复现实验门完成独立复核。
学习目标
- 能说明“第4章 受限玻尔兹曼机”如何覆盖Hopfield网络、玻尔兹曼机、RBM、对比散度、深度信念网络和章末总结,并把2016原版、2018中文版与当前迁移信息分层
- 能先预测“怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?”的五阶段信号,再用输入、中间状态、输出和反例逐层复核
- 能注入“把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本”,用“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”决定接受、修正或拒绝实验结论
为什么从这个学习任务开始
RBM页恢复旧课程遗漏的整章内容,并把“看起来能重构”与“训练目标得到可信近似”严格分开。 “第4章 受限玻尔兹曼机”的贯穿任务是:在一个二值小数据集上计算隐藏激活、重构和CD-1更新,再比较更长链与不同随机种子。 操作前必须写下哪一阶段会先变化,运行后再补理由不算预测。
本页围绕“怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?”建立正常、故障与恢复路径。只有“第4章 受限玻尔兹曼机”守住“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”并交付能量函数、权重与偏置、正相统计、采样种子、重构、负相统计、CD步数、更新量与DBN逐层预训练记录。,最终图表或指标才构成学习证据。
书目、59个原版层级与重写边界
讲谈社官方书页确认山下隆义《イラストで学ぶ ディープラーニング》于2016年出版、215页、ISBN 9784061538252,并公开8章51个编号小节;中文版书目用于交叉核对张弥译、人民邮电出版社2018年版。覆盖分母计入8个章标题和51个编号小节,共59个原版目录层级。
“第4章 受限玻尔兹曼机”未取得原书完整正文,只以权威目录限定范围;中文解释、图示结构、交互、实验、练习与答案均为独立教学重写。RBM和DBN是原版核心章节而非可删历史旁支;现代用途收缩不改变其在原书59层级中的地位。
本页另以技术核对 1、技术核对 2、技术核对 3核对技术机制。2016年原版范围、后来项目状态与当前迁移建议分别标注;技术资料能验证机制或工具状态,不能反向证明原书正文采用了本站表述。
原版目录层级与可检验机制
第4章 受限玻尔兹曼机
↡受限玻尔兹曼机对应原版目录坐标“第4章 受限玻尔兹曼机”,在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,并受数据、目标、随机性、版本和时间边界约束。原版坐标 1/7。 在“第4章 受限玻尔兹曼机”的坐标1中,目录项「第4章 受限玻尔兹曼机」用于通过能量、条件采样和正负相近似学习分布;先锁定条件,再以能量、概率、采样种子、重构、正负相统计和CD步数复核,出现把重构好看或CD近似误称为精确似然时撤回结论。
4.1 Hopfield神经网络
↡Hopfield神经网络对应原版目录坐标“4.1 Hopfield神经网络”,在“第4章 受限玻尔兹曼机”中用于从阈值单元推进到可训练的多层前馈计算,并受数据、目标、随机性、版本和时间边界约束。原版坐标 2/7。 目录项「4.1 Hopfield神经网络」进入“第4章 受限玻尔兹曼机”后要回答第2个实验问题:它怎样从阈值单元推进到可训练的多层前馈计算、改变什么状态、由哪些拓扑、权重、偏置、加权和、激活和预测证明,并如何排除把线性分类能力外推到不可线性分问题。
4.2 玻尔兹曼机
↡玻尔兹曼机对应原版目录坐标“4.2 玻尔兹曼机”,在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,并受数据、目标、随机性、版本和时间边界约束。原版坐标 3/7。 围绕“怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?”,原版层级3把「4.2 玻尔兹曼机」解释为通过能量、条件采样和正负相近似学习分布;复核者先读取能量、概率、采样种子、重构、正负相统计和CD步数,不能接受把重构好看或CD近似误称为精确似然。
4.3 受限玻尔兹曼机
↡受限玻尔兹曼机对应原版目录坐标“4.3 受限玻尔兹曼机”,在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,并受数据、目标、随机性、版本和时间边界约束。原版坐标 4/7。 对“第4章 受限玻尔兹曼机”而言,目录项「4.3 受限玻尔兹曼机」的最小合同是通过能量、条件采样和正负相近似学习分布,第4次检查保存能量、概率、采样种子、重构、正负相统计和CD步数;若产生把重构好看或CD近似误称为精确似然,就返回上游重放。
4.4 对比散度算法
↡对比散度算法对应原版目录坐标“4.4 对比散度算法”,在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,并受数据、目标、随机性、版本和时间边界约束。原版坐标 5/7。 第5个正式坐标「4.4 对比散度算法」服务于覆盖Hopfield网络、玻尔兹曼机、RBM、对比散度、深度信念网络和章末总结,需要以能量、概率、采样种子、重构、正负相统计和CD步数呈现通过能量、条件采样和正负相近似学习分布;把重构好看或CD近似误称为精确似然会破坏“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”。
4.5 深度信念网络
↡深度信念网络对应原版目录坐标“4.5 深度信念网络”,在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,并受数据、目标、随机性、版本和时间边界约束。原版坐标 6/7。 学习者在“第4章 受限玻尔兹曼机”中讨论目录项「4.5 深度信念网络」前预测通过能量、条件采样和正负相近似学习分布会改变哪项张量或状态,再读取能量、概率、采样种子、重构、正负相统计和CD步数;观察到把重构好看或CD近似误称为精确似然时保留失败轨迹。
4.6 小结
↡小结对应原版目录坐标“4.6 小结”,在“第4章 受限玻尔兹曼机”中用于把本章概念压缩为可重放的输入、操作、输出和证据合同,并受数据、目标、随机性、版本和时间边界约束。原版坐标 7/7。 在“第4章 受限玻尔兹曼机”的坐标7中,目录项「4.6 小结」用于把本章概念压缩为可重放的输入、操作、输出和证据合同;先锁定条件,再以概念清单、关键不变量、单一故障、实验工件和复核结论复核,出现只复述名词而没有实验验收时撤回结论。
先预测,再操作三个章专属实验
1. 五阶段信号路径
固定“在一个二值小数据集上计算隐藏激活、重构和CD-1更新,再比较更长链与不同随机种子。”,在基线与边界反例间切换,逐一查看“可见层、隐藏概率与采样、重构、负相、CD更新与DBN”的输入、操作、输出与复核证据。
信号路径
固定场景,逐层核对输入与输出
怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?
固定条件
在一个二值小数据集上计算隐藏激活、重构和CD-1更新,再比较更长链与不同随机种子。 固定数据、代码、依赖、初值与随机种子。
操作前预测:沿“可见层 → 隐藏概率与采样 → 重构 → 负相 → CD更新与DBN”得到满足“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”的完整证据。
输入
第4章 受限玻尔兹曼机:冻结的样本、任务或上游张量
操作
登记形状、版本和边界,并守住“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”
输出
可追踪输入
复核证据
数据卡、哈希与形状;出现“把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本”时保留失败记录
原版坐标:第4章 受限玻尔兹曼机、4.1 Hopfield神经网络、4.2 玻尔兹曼机、4.3 受限玻尔兹曼机、4.4 对比散度算法、4.5 深度信念网络、4.6 小结
第4章 受限玻尔兹曼机的可重放实验协议
| 阶段 | 学习动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 可见层 | 在“第4章 受限玻尔兹曼机”执行可见层,一次只改变声明变量 | 任务、数据切分、版本与输入形状 | 输入或数据边界不可追溯 |
| 隐藏概率与采样 | 在“第4章 受限玻尔兹曼机”执行隐藏概率与采样,一次只改变声明变量 | 中间张量、参数、目标、梯度或采样状态 | 把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本 |
| 重构 | 在“第4章 受限玻尔兹曼机”执行重构,一次只改变声明变量 | 中间张量、参数、目标、梯度或采样状态 | 把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本 |
| 负相 | 在“第4章 受限玻尔兹曼机”执行负相,一次只改变声明变量 | 中间张量、参数、目标、梯度或采样状态 | 把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本 |
| CD更新与DBN | 在“第4章 受限玻尔兹曼机”执行CD更新与DBN,一次只改变声明变量 | 留出指标、反例、环境与时间标签 | 无法独立重放或解释失败 |
unit: "idl-04"
question: "怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?"
scenario: "在一个二值小数据集上计算隐藏激活、重构和CD-1更新,再比较更长链与不同随机种子。"
stages: ["可见层", "隐藏概率与采样", "重构", "负相", "CD更新与DBN"]
invariant: "能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放"
fault: "把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本"
evidence: "能量函数、权重与偏置、正相统计、采样种子、重构、负相统计、CD步数、更新量与DBN逐层预训练记录。"
reset: restore_scenario_stage_trace_mode_step_gates_and_artifact该协议要求“第4章 受限玻尔兹曼机”在相同任务、数据、代码、环境、初值与种子下重放。重置后若场景、阶段、轨迹模式、步骤、发布门或证据显示没有回到基线,交互状态已经污染比较,不能作为实验结论。
本页回顾
掌握“第4章 受限玻尔兹曼机”不是记住框架或名词,而是能围绕“怎样从能量与条件分布解释可见层、隐藏层、正负相,并明确对比散度只是近似训练过程?”重建输入、计算与证据,并用“能量定义、二部图限制、采样条件、正相、重构、负相和参数更新顺序固定,随机种子可重放”拒绝“把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本”。最终交付为能量函数、权重与偏置、正相统计、采样种子、重构、负相统计、CD步数、更新量与DBN逐层预训练记录。
练习与答案
练习
- 问题 1:实验合同。 “第4章 受限玻尔兹曼机”为什么必须先冻结任务、数据、代码、环境、参数初值与随机种子?
- 问题 2:目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习?
- 问题 3:故障恢复。 怎样证明“把一次重构误差下降当作似然已经优化,或把CD-k结果宣称为精确负相样本”已经被修正?
名词解释
名词解释
本章出现的专业名词,用大白话再讲一遍。
- 受限玻尔兹曼机
对应“第4章 受限玻尔兹曼机”;在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,需要连接原版范围、实验状态与时间边界。
- Hopfield神经网络
对应“4.1 Hopfield神经网络”;在“第4章 受限玻尔兹曼机”中用于从阈值单元推进到可训练的多层前馈计算,需要连接原版范围、实验状态与时间边界。
- 玻尔兹曼机
对应“4.2 玻尔兹曼机”;在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,需要连接原版范围、实验状态与时间边界。
- 受限玻尔兹曼机
对应“4.3 受限玻尔兹曼机”;在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,需要连接原版范围、实验状态与时间边界。
- 对比散度算法
对应“4.4 对比散度算法”;在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,需要连接原版范围、实验状态与时间边界。
- 深度信念网络
对应“4.5 深度信念网络”;在“第4章 受限玻尔兹曼机”中用于通过能量、条件采样和正负相近似学习分布,需要连接原版范围、实验状态与时间边界。
- 小结
对应“4.6 小结”;在“第4章 受限玻尔兹曼机”中用于把本章概念压缩为可重放的输入、操作、输出和证据合同,需要连接原版范围、实验状态与时间边界。