第1章 机器学习基础
把线性模型、分类器、神经网络、梯度下降与反向传播连接成可复算的监督学习基线；用环境合同、更新轨迹和独立评估门交付shape账本、前向值、梯度核对与单步更新差
学习目标
- 能说明“第1章 机器学习基础”如何把线性模型、分类器、神经网络、梯度下降与反向传播连接成可复算的监督学习基线，并区分原版目录、作者代码映射、独立技术来源和本站重写
- 能先预测“分类输出、损失和参数梯度怎样沿同一计算图对齐？”会改变哪一个环境、轨迹、回报、目标、策略或评估状态，再操作三类交互证据
- 能只注入“softmax沿样本轴归一化，数值合法却混淆类别概率”，定位首个偏离“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”的状态，并从同一快照完成恢复
为什么从这个问题开始
“第1章 机器学习基础”围绕“分类输出、损失和参数梯度怎样沿同一计算图对齐？”建立贯穿任务：在固定小批次上训练可手算的分类器。先写下哪个环境、轨迹、回报、目标、策略或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”并交付shape账本、前向值、梯度核对与单步更新差，训练回报、策略价值、搜索统计或应用收益才构成机制证据。
原版书目、272个正式坐标与访问边界
“第1章 机器学习基础”以作者官方代码仓库核对王树森、黎彧君、张志华著《深度强化学习》的第1至19章及主要算法—实现映射，以馆藏书目核对人民邮电出版社、2022年11月、294页和ISBN 9787115600691，再以发行数字版完整目录核对5个部分、19章、233个编号节/小节、附录A、附录B与B.1至B.13，合计272个正式目录层级。
作者仓库验证章节和算法实现确实对应，但仓库页面未提供可据以复用代码、图表或书稿的明确许可；发行数字版用于核对目录范围，不作为复制正文的授权。“第1章 机器学习基础”不翻译、摘编或改写原书正文，也不复制仓库代码；中文讲解、状态轨迹、反例、交互、练习与答案均为独立教学重写。
本页独立核对 1只用于独立核对本页算法、环境接口或实验边界，不能反向证明原书使用本站表述。Gymnasium、PyTorch、PettingZoo等当前API行为按2026-07-30核对并显式视为当前实现，不倒填为2022年原书内容。
原版目录层级与可验证机制
第一部分 基础知识
↡基础知识对应正式目录坐标“第一部分 基础知识”，在“第1章 机器学习基础”中用于把“基础知识”放进监督学习计算图与梯度的环境—轨迹—目标—更新链，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 1/12。 原版目录键 第一部分 基础知识。在“第1章 机器学习基础”的第1个正式坐标中，「第一部分 基础知识」通过把“基础知识”放进监督学习计算图与梯度的环境—轨迹—目标—更新链推进监督学习计算图与梯度；复核者保存第1章 机器学习基础的输入角色、中间状态、策略快照、反例与独立评估，出现只复述“基础知识”名称而没有可观察状态、单一故障和恢复证据就撤回结论。
第1章 机器学习基础
↡机器学习基础对应正式目录坐标“第1章 机器学习基础”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 2/12。 原版目录键 第1章 机器学习基础。围绕“分类输出、损失和参数梯度怎样沿同一计算图对齐？”，“第1章 机器学习基础”在坐标2把「第1章 机器学习基础」落实为明确输入/输出shape、损失、局部导数和参数更新；只有shape、前向值、损失分量、梯度与有限差分可重放且反例排除数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放，本节点才算掌握。
1·1 线性模型
↡线性模型对应正式目录坐标“1.1 线性模型”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 3/12。 原版目录键 1.1 线性模型。“第1章 机器学习基础”的目录节点3「1·1 线性模型」不能停在术语复述：它要明确输入/输出shape、损失、局部导数和参数更新，交付shape、前向值、损失分量、梯度与有限差分，并把数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放设为单一反事实。
1·1·1 线性回归
↡线性回归对应正式目录坐标“1.1.1 线性回归”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 4/12。 原版目录键 1.1.1 线性回归。对“第1章 机器学习基础”而言，「1·1·1 线性回归」在第4次检查中改变可观察状态，因为它负责明确输入/输出shape、损失、局部导数和参数更新；shape、前向值、损失分量、梯度与有限差分必须与“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”对齐，不能接受数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放。
1·1·2 逻辑斯谛回归
↡逻辑斯谛回归对应正式目录坐标“1.1.2 逻辑斯谛回归”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 5/12。 原版目录键 1.1.2 逻辑斯谛回归。在“第1章 机器学习基础”的第5个正式坐标中，「1·1·2 逻辑斯谛回归」通过明确输入/输出shape、损失、局部导数和参数更新推进监督学习计算图与梯度；复核者保存shape、前向值、损失分量、梯度与有限差分，出现数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放就撤回结论。
1·1·3 softmax分类器
↡softmax分类器对应正式目录坐标“1.1.3 softmax分类器”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 6/12。 原版目录键 1.1.3 softmax分类器。围绕“分类输出、损失和参数梯度怎样沿同一计算图对齐？”，“第1章 机器学习基础”在坐标6把「1·1·3 softmax分类器」落实为明确输入/输出shape、损失、局部导数和参数更新；只有shape、前向值、损失分量、梯度与有限差分可重放且反例排除数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放，本节点才算掌握。
1·2 神经网络
↡神经网络对应正式目录坐标“1.2 神经网络”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 7/12。 原版目录键 1.2 神经网络。“第1章 机器学习基础”的目录节点7「1·2 神经网络」不能停在术语复述：它要明确输入/输出shape、损失、局部导数和参数更新，交付shape、前向值、损失分量、梯度与有限差分，并把数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放设为单一反事实。
1·2·1 全连接神经网络
↡全连接神经网络对应正式目录坐标“1.2.1 全连接神经网络”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 8/12。 原版目录键 1.2.1 全连接神经网络。对“第1章 机器学习基础”而言，「1·2·1 全连接神经网络」在第8次检查中改变可观察状态，因为它负责明确输入/输出shape、损失、局部导数和参数更新；shape、前向值、损失分量、梯度与有限差分必须与“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”对齐，不能接受数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放。
1·2·2 卷积神经网络
↡卷积神经网络对应正式目录坐标“1.2.2 卷积神经网络”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 9/12。 原版目录键 1.2.2 卷积神经网络。在“第1章 机器学习基础”的第9个正式坐标中，「1·2·2 卷积神经网络」通过明确输入/输出shape、损失、局部导数和参数更新推进监督学习计算图与梯度；复核者保存shape、前向值、损失分量、梯度与有限差分，出现数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放就撤回结论。
1·3 梯度下降和反向传播
↡梯度下降和反向传播对应正式目录坐标“1.3 梯度下降和反向传播”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 10/12。 原版目录键 1.3 梯度下降和反向传播。围绕“分类输出、损失和参数梯度怎样沿同一计算图对齐？”，“第1章 机器学习基础”在坐标10把「1·3 梯度下降和反向传播」落实为明确输入/输出shape、损失、局部导数和参数更新；只有shape、前向值、损失分量、梯度与有限差分可重放且反例排除数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放，本节点才算掌握。
1·3·1 梯度下降
↡梯度下降对应正式目录坐标“1.3.1 梯度下降”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 11/12。 原版目录键 1.3.1 梯度下降。“第1章 机器学习基础”的目录节点11「1·3·1 梯度下降」不能停在术语复述：它要明确输入/输出shape、损失、局部导数和参数更新，交付shape、前向值、损失分量、梯度与有限差分，并把数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放设为单一反事实。
1·3·2 反向传播
↡反向传播对应正式目录坐标“1.3.2 反向传播”，在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，并受环境、轨迹、策略快照、随机性、评估与版本边界约束。正式坐标 12/12。 原版目录键 1.3.2 反向传播。对“第1章 机器学习基础”而言，「1·3·2 反向传播」在第12次检查中改变可观察状态，因为它负责明确输入/输出shape、损失、局部导数和参数更新；shape、前向值、损失分量、梯度与有限差分必须与“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”对齐，不能接受数值可运行却混淆样本轴、动作轴、类别轴或梯度缩放。
先预测，再操作三个章专属实验
1. 环境与轨迹合同
为“第1章 机器学习基础”选择正式目录坐标，在参考合同与单一反事实间切换，逐角色核对输入、状态变化、证据与即时裁决。
环境—轨迹合同
第1章 机器学习基础
选择正式目录坐标，冻结环境角色，再定位参考轨迹与单一反事实的首个分岔。
合同 1/4
第1章 机器学习基础 · 环境与角色
- 输入角色
- 在固定小批次上训练可手算的分类器
- 状态变化
- 冻结监督学习计算图与梯度所需的环境版本、观测/状态、动作、奖励和数据角色
- 应留证据
- 第1章 机器学习基础的环境合同、策略快照与基线轨迹
- 即时裁决
- 第1章 机器学习基础的角色、时间索引、shape、终止和可见性没有错位
第1章 机器学习基础的可重放协议
| 阶段 | 允许动作 | 必留证据 | 拒绝条件 |
|---|---|---|---|
| 第1章 机器学习基础 · 环境与角色 | 冻结监督学习计算图与梯度所需的环境版本、观测/状态、动作、奖励和数据角色 | 第1章 机器学习基础的环境合同、策略快照与基线轨迹 | 未满足“第1章 机器学习基础的角色、时间索引、shape、终止和可见性没有错位” |
| 第1章 机器学习基础 · 回报与目标 | 按把线性模型、分类器、神经网络、梯度下降与反向传播连接成可复算的监督学习基线构造回报、目标、估计量或搜索统计 | 第1章 机器学习基础的逐步回报、目标分量与中间状态 | 未满足“第1章 机器学习基础的目标可由同一轨迹、公式和随机状态复算” |
| 第1章 机器学习基础 · 更新与策略 | 执行一次受控更新并记录策略、价值、梯度或联合决策的变化 | 第1章 机器学习基础的更新前后差、首个分岔和恢复路径 | 未满足“第1章 机器学习基础没有把代理损失、单次回报或训练内统计当作最终结论” |
| 第1章 机器学习基础 · 独立评估 | 重放基线、单故障、恢复和边界案例 | 第1章 机器学习基础的接受、回退或拒绝理由 | 未满足“第1章 机器学习基础满足“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”” |
unit: "drl-01"
question: "分类输出、损失和参数梯度怎样沿同一计算图对齐？"
scenario: "在固定小批次上训练可手算的分类器"
invariant: "样本轴、类别轴、标签、损失缩放与梯度方向始终一致"
fault: "softmax沿样本轴归一化，数值合法却混淆类别概率"
evidence: "shape账本、前向值、梯度核对与单步更新差"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact“第1章 机器学习基础”要求从同一环境、轨迹、策略/对手版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、合同模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。
本页回顾
掌握“第1章 机器学习基础”不是背算法名或抄训练循环，而是围绕“分类输出、损失和参数梯度怎样沿同一计算图对齐？”重建环境、轨迹、回报、目标、更新、策略/对手快照与独立评估，并用“样本轴、类别轴、标签、损失缩放与梯度方向始终一致”拒绝“softmax沿样本轴归一化，数值合法却混淆类别概率”。最终交付为shape账本、前向值、梯度核对与单步更新差。
练习与答案
练习
- 问题 1：实验合同。 “第1章 机器学习基础”为什么必须先冻结环境、轨迹、策略/对手版本、预算、随机性和评估口径？
- 问题 2：目录逐项覆盖。 怎样证明“第1章 机器学习基础”的正式目录坐标已经进入机制、交互和练习？
- 问题 3：故障恢复。 怎样证明“softmax沿样本轴归一化，数值合法却混淆类别概率”已经被修正？
小结
- 机器学习基础是强化学习地基
- 监督与无监督方法回顾
- 函数逼近用神经网络
- 优化方法服务后续章节
- 基础扎实再进强化
名词解释
名词解释
本章出现的专业名词，用大白话再讲一遍。
- 基础知识
检索键 drl-A 对应正式目录坐标「第一部分 基础知识」；在“第1章 机器学习基础”中用于把“基础知识”放进监督学习计算图与梯度的环境—轨迹—目标—更新链，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 机器学习基础
检索键 drl-B 对应正式目录坐标「第1章 机器学习基础」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 线性模型
检索键 drl-C 对应正式目录坐标「1·1 线性模型」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 线性回归
检索键 drl-D 对应正式目录坐标「1·1·1 线性回归」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 逻辑斯谛回归
检索键 drl-E 对应正式目录坐标「1·1·2 逻辑斯谛回归」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- softmax分类器
检索键 drl-F 对应正式目录坐标「1·1·3 softmax分类器」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 神经网络
检索键 drl-G 对应正式目录坐标「1·2 神经网络」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 全连接神经网络
检索键 drl-H 对应正式目录坐标「1·2·1 全连接神经网络」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 卷积神经网络
检索键 drl-I 对应正式目录坐标「1·2·2 卷积神经网络」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 梯度下降和反向传播
检索键 drl-J 对应正式目录坐标「1·3 梯度下降和反向传播」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 梯度下降
检索键 drl-K 对应正式目录坐标「1·3·1 梯度下降」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。
- 反向传播
检索键 drl-L 对应正式目录坐标「1·3·2 反向传播」；在“第1章 机器学习基础”中用于明确输入/输出shape、损失、局部导数和参数更新，需要连接结构范围、轨迹状态、更新证据、独立评估与不适用边界。