第5章 神经网络
覆盖神经元、感知机、多层网络、反向传播、局部极小、常见网络与深度学习；用数据协议、单故障轨迹和模型验收门完成独立复核。
学习目标
- 能说明“第5章 神经网络”如何覆盖神经元、感知机、多层网络、反向传播、局部极小、常见网络与深度学习，并把原版范围、技术核验和现代扩展分层
- 能先预测“怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？”的数据与模型路径，再用切分、状态、轨迹和独立评估复核
- 能注入“每轮根据测试损失早停，再把最低测试损失当最终泛化结果”，用“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”决定接受、降级或拒绝实验结论
为什么从这个学习实验开始
神经网络页把训练拆成可检查的数值步骤，最终准确率不能替代梯度与数据边界。 “第5章 神经网络”的贯穿任务是：训练一个小型多层感知机识别西瓜类别，检查梯度、学习曲线与不同初始化。 操作前先写下哪个数据角色、模型状态或评估结论会变化；运行后补理由不算预测。
本页围绕“怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？”建立基线、故障与恢复路径。只有“第5章 神经网络”守住“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”并交付数据切分、张量形状、拓扑、初始化、激活、损失、梯度检查、批次、学习率、训练/验证曲线和检查点。，分数或图形才构成机器学习证据。
书目、128个原版层级与版本边界
“第5章 神经网络”以清华大学出版社官方书页核对周志华著《机器学习》于2016年出版、425页、ISBN 9787302423287和全书16章的三部分结构，同时以作者官方书页确认这是一部16章、每章6至7节且持续公开勘误的入门教科书，再以作者官方目录PDF逐项核对16章、108个编号小节和附录A/B/C，因此本站覆盖分母计入16个章标题、108个编号小节、附录标题及A/B/C，共128个正式目录层级。
“第5章 神经网络”未取得原书完整正文，只以作者与出版社目录限定范围；中文解释、交互、实验、练习与答案均为独立教学重写。原书只概述2016年前的深度学习；Transformer与生成模型另列现代扩展。
本页另以技术核对 1、技术核对 2、技术核对 3核对算法机制、评估协议或数学工具。外部资料能验证技术事实，不能反向证明原书正文采用了本站表述。
原版目录层级与学习机制
第5章 神经网络
↡神经网络对应原版目录坐标“第5章 神经网络”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 1/8。 在“第5章 神经网络”的坐标1中，目录项「第5章 神经网络」用于沿前向、损失、反向和参数更新训练非线性表示；先冻结数据角色，再以张量形状、初始化、激活、梯度、曲线与检查点复核，出现用测试损失早停或隐藏梯度异常时撤回结论。
5.1 神经元模型
↡神经元模型对应原版目录坐标“5·1 神经元模型”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 2/8。 目录项「5·1 神经元模型」进入“第5章 神经网络”后要回答第2个学习问题：它怎样沿前向、损失、反向和参数更新训练非线性表示、改变什么模型状态、由哪些张量形状、初始化、激活、梯度、曲线与检查点证明，并如何排除用测试损失早停或隐藏梯度异常。
5.2 感知机与多层网络
↡感知机对应原版目录坐标“5·2 感知机与多层网络”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 3/8。 围绕“怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？”，在“第5章 神经网络”的原版层级3把「5·2 感知机与多层网络」落实为沿前向、损失、反向和参数更新训练非线性表示；复核者先读取张量形状、初始化、激活、梯度、曲线与检查点，不能接受用测试损失早停或隐藏梯度异常。
5.3 误差逆传播算法
↡误差逆传播算法对应原版目录坐标“5·3 误差逆传播算法”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 4/8。 对“第5章 神经网络”而言，目录项「5·3 误差逆传播算法」的最小实验合同是沿前向、损失、反向和参数更新训练非线性表示，第4次检查保存张量形状、初始化、激活、梯度、曲线与检查点；若产生用测试损失早停或隐藏梯度异常，就返回上游。
5.4 全局最小与局部极小
↡全局最小对应原版目录坐标“5·4 全局最小与局部极小”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 5/8。 第5个正式坐标「5·4 全局最小与局部极小」服务于覆盖神经元、感知机、多层网络、反向传播、局部极小、常见网络与深度学习，需要以张量形状、初始化、激活、梯度、曲线与检查点呈现沿前向、损失、反向和参数更新训练非线性表示；用测试损失早停或隐藏梯度异常会破坏“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”。
5.5 其他常见神经网络
↡其他常见神经网络对应原版目录坐标“5·5 其他常见神经网络”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 6/8。 在“第5章 神经网络”的坐标6中，目录项「5·5 其他常见神经网络」用于沿前向、损失、反向和参数更新训练非线性表示；先冻结数据角色，再以张量形状、初始化、激活、梯度、曲线与检查点复核，出现用测试损失早停或隐藏梯度异常时撤回结论。
5.6 深度学习
↡深度学习对应原版目录坐标“5·6 深度学习”，在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 7/8。 目录项「5·6 深度学习」进入“第5章 神经网络”后要回答第7个学习问题：它怎样沿前向、损失、反向和参数更新训练非线性表示、改变什么模型状态、由哪些张量形状、初始化、激活、梯度、曲线与检查点证明，并如何排除用测试损失早停或隐藏梯度异常。
5.7 阅读材料
↡阅读材料对应原版目录坐标“5·7 阅读材料”，在“第5章 神经网络”中用于把本章结论连接到可追溯的进阶路线与原始资料，并受数据角色、模型假设、评估时机与版本边界约束。原版坐标 8/8。 围绕“怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？”，在“第5章 神经网络”的原版层级8把「5·7 阅读材料」落实为把本章结论连接到可追溯的进阶路线与原始资料；复核者先读取问题清单、前置假设、来源版本与可复现实验入口，不能接受只堆链接而不说明验证对象。
先预测，再操作三个章专属实验
1. 数据角色与模型协议
固定“训练一个小型多层感知机识别西瓜类别，检查梯度、学习曲线与不同初始化。”，在基线与反例间切换，逐阶段查看“张量与拓扑、前向计算、损失与反传、参数更新、验证早停”允许的输入、操作、输出和证据。
数据与模型协议
选择实验，再逐阶段检查信息边界
怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？
实验设置
训练一个小型多层感知机识别西瓜类别，检查梯度、学习曲线与不同初始化。 固定数据版本、实体切分、流水线、预算和随机种子。
预期结果
沿“张量与拓扑 → 前向计算 → 损失与反传 → 参数更新 → 验证早停”得到可重放结论。
适用边界
全过程保持“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”。
允许输入
第5章 神经网络：冻结版本、实体与样本角色，不得越过样本角色
本阶段操作
只读取任务允许的信息，并持续满足“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”
阶段输出
张量与拓扑产生可追踪输入状态
复核证据
可追踪输入状态、索引和版本；出现“每轮根据测试损失早停，再把最低测试损失当最终泛化结果”时拒绝推进
原版坐标：第5章 神经网络、5.1 神经元模型、5.2 感知机与多层网络、5.3 误差逆传播算法、5.4 全局最小与局部极小、5.5 其他常见神经网络、5.6 深度学习、5.7 阅读材料
第5章 神经网络的可重放研究协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 张量与拓扑 | 在“第5章 神经网络”执行张量与拓扑，只读取该角色允许的信息 | 任务、版本、实体与切分哈希 | 角色或来源不可追溯 |
| 前向计算 | 在“第5章 神经网络”执行前向计算，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 每轮根据测试损失早停，再把最低测试损失当最终泛化结果 |
| 损失与反传 | 在“第5章 神经网络”执行损失与反传，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 每轮根据测试损失早停，再把最低测试损失当最终泛化结果 |
| 参数更新 | 在“第5章 神经网络”执行参数更新，只读取该角色允许的信息 | 表示、参数、轨迹、候选比较与选择理由 | 每轮根据测试损失早停，再把最低测试损失当最终泛化结果 |
| 验证早停 | 在“第5章 神经网络”执行验证早停，只读取该角色允许的信息 | 封存指标、错误样本、复现与边界 | 测试被复用或无法重放 |
unit: "mlw-05"
question: "怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？"
scenario: "训练一个小型多层感知机识别西瓜类别，检查梯度、学习曲线与不同初始化。"
stages: ["张量与拓扑", "前向计算", "损失与反传", "参数更新", "验证早停"]
invariant: "网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定"
fault: "每轮根据测试损失早停，再把最低测试损失当最终泛化结果"
evidence: "数据切分、张量形状、拓扑、初始化、激活、损失、梯度检查、批次、学习率、训练/验证曲线和检查点。"
reset: restore_experiment_stage_trace_mode_step_gates_and_artifact该协议要求“第5章 神经网络”在相同任务、数据版本、实体切分、流水线、预算和种子下重放。重置后若实验、阶段、轨迹模式、步骤、验收门或复核包没有回到基线，交互状态已经污染比较。
本页回顾
掌握“第5章 神经网络”不是背诵算法名，而是能围绕“怎样沿张量形状、前向值、损失和梯度复核一次训练更新，并识别验证集过拟合？”重建数据与模型证据，并用“网络拓扑、初始化、激活、损失、优化器、批次顺序、种子和早停角色固定”拒绝“每轮根据测试损失早停，再把最低测试损失当最终泛化结果”。最终交付为数据切分、张量形状、拓扑、初始化、激活、损失、梯度检查、批次、学习率、训练/验证曲线和检查点。
练习与答案
练习
- 问题 1：实验合同。 “第5章 神经网络”为什么必须先冻结任务、数据版本、实体切分、流水线、预算和种子？
- 问题 2：目录逐项覆盖。 怎样证明原版目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“每轮根据测试损失早停，再把最低测试损失当最终泛化结果”已经被修正？
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 神经网络
检索键 ml-A 对应目录坐标「第5章 神经网络」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 神经元模型
检索键 ml-B 对应目录坐标「5·1 神经元模型」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 感知机
检索键 ml-C 对应目录坐标「5·2 感知机与多层网络」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 误差逆传播算法
检索键 ml-D 对应目录坐标「5·3 误差逆传播算法」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 全局最小
检索键 ml-E 对应目录坐标「5·4 全局最小与局部极小」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 其他常见神经网络
检索键 ml-F 对应目录坐标「5·5 其他常见神经网络」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 深度学习
检索键 ml-G 对应目录坐标「5·6 深度学习」；在“第5章 神经网络”中用于沿前向、损失、反向和参数更新训练非线性表示，需要连接原版范围、数据角色、模型状态与独立证据。
- 阅读材料
检索键 ml-H 对应目录坐标「5·7 阅读材料」；在“第5章 神经网络”中用于把本章结论连接到可追溯的进阶路线与原始资料，需要连接原版范围、数据角色、模型状态与独立证据。