第6章训练更大的模型

把扩大尺度法则、涌现、加速器、数据/流水线/张量并行和低精度训练连接到预算与误差合同；用上下文合同、计算轨迹和独立证据门交付规模账本、预算分解、并行时间线、数值探针与失败曲线

学习目标

能说明“第6章训练更大的模型”如何把扩大尺度法则、涌现、加速器、数据/流水线/张量并行和低精度训练连接到预算与误差合同，并区分2024年原书目录、原始研究、当前实现和本站重写
能先预测“模型、数据、计算和精度规模怎样在同一预算口径下比较？”会改变哪一个数据、表示、目标、计算、输出或评估状态，再操作三类交互证据
能只注入“只按参数量外推性能，忽略训练词元不足、通信与低精度误差”，定位首个偏离“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”的状态，并从同一快照完成恢复

为什么从这个问题开始

“第6章训练更大的模型”围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”建立贯穿任务：为固定训练预算设计参数量、词元量、并行和精度方案。先写下哪个数据、表示、目标、计算、输出或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”并交付规模账本、预算分解、并行时间线、数值探针与失败曲线，困惑度、基准、偏好、检索、伤害或环境指标才构成机制证据。

原书书目、153个正式坐标与访问边界

“第6章训练更大的模型”以发行数字版核对熊涛著《大语言模型：基础与前沿》的前言、12章和参考文献，以馆藏书目核对人民邮电出版社、2024年4月、260页和ISBN 9787115634887，再以公开目录交叉核对全部节/小节。正式分母为前言1个、章标题12个、编号节/小节139个和参考文献1个，合计153个目录层级。

本书是熊涛原创中文专著，不是外文书的中译本；因此不存在可假定的英文“原版”供逐句对照。发行数字版可阅读不等于允许复制或改编，“第6章训练更大的模型”不复制、翻译或改写原书正文、图表和案例，只把目录与书目元数据作为范围坐标；中文讲解、计算轨迹、反例、交互、练习与答案均为独立教学重写。

本页独立核对 1、本页独立核对 2只用于独立核对本页技术事实和实验边界，不能反向证明原书采用本站表述。2024年以后出现的模型、框架、政策或基准必须带当前时间标签，不能倒填为原书内容。

原书目录层级与可验证机制

第6章训练更大的模型

正式坐标 1/18。 原书目录键 第6章训练更大的模型。在“第6章训练更大的模型”的第1个正式坐标中，「第6章训练更大的模型」通过把“训练更大的模型”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链推进扩展规律、并行、精度与计算预算；复核者保存第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估，出现只复述“训练更大的模型”名称而没有可观察状态、单一故障和恢复证据就撤回结论。

6·1 扩大尺度法则

正式坐标 2/18。 原书目录键 6.1 扩大尺度法则。围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”，“第6章训练更大的模型”在坐标2把「6·1 扩大尺度法则」落实为把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；只有规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线可重放且反例排除只按参数量外推能力并忽略数据、计算、通信和数值误差，本节点才算掌握。

6·1·1 预训练Transformer扩大尺度的启示

正式坐标 3/18。 原书目录键 6.1.1 预训练Transformer扩大尺度的启示。“第6章训练更大的模型”的目录节点3「6·1·1 预训练Transformer扩大尺度的启示」不能停在术语解释：它要追踪注意力shape、掩码、位置、缓存、近似和解码状态，交付shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差，并把掩码、位置或缓存版本错位但输出仍看似合理设为单一反事实。

6·1·2 预训练和微调Transformer带来的新启示

正式坐标 4/18。 原书目录键 6.1.2 预训练和微调Transformer带来的新启示。对“第6章训练更大的模型”而言，「6·1·2 预训练和微调Transformer带来的新启示」在第4次检查中改变可观察状态，因为它负责追踪注意力shape、掩码、位置、缓存、近似和解码状态；shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差必须与“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”对齐，不能接受掩码、位置或缓存版本错位但输出仍看似合理。

6·1·3 k比特推理扩大尺度法则

正式坐标 5/18。 原书目录键 6.1.3 k比特推理扩大尺度法则。在“第6章训练更大的模型”的第5个正式坐标中，「6·1·3 k比特推理扩大尺度法则」通过追踪注意力shape、掩码、位置、缓存、近似和解码状态推进扩展规律、并行、精度与计算预算；复核者保存shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差，出现掩码、位置或缓存版本错位但输出仍看似合理就撤回结论。

6·1·4 挑战与机遇

正式坐标 6/18。 原书目录键 6.1.4 挑战与机遇。围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”，“第6章训练更大的模型”在坐标6把「6·1·4 挑战与机遇」落实为把“挑战与机遇”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链；只有第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估可重放且反例排除只复述“挑战与机遇”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。

6·2 涌现能力

正式坐标 7/18。 原书目录键 6.2 涌现能力。“第6章训练更大的模型”的目录节点7「6·2 涌现能力」不能停在术语解释：它要把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，交付规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线，并把只按参数量外推能力并忽略数据、计算、通信和数值误差设为单一反事实。

6·3 人工智能加速器

正式坐标 8/18。 原书目录键 6.3 人工智能加速器。对“第6章训练更大的模型”而言，「6·3 人工智能加速器」在第8次检查中改变可观察状态，因为它负责把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线必须与“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”对齐，不能接受只按参数量外推能力并忽略数据、计算、通信和数值误差。

6·4 并行

正式坐标 9/18。 原书目录键 6.4 并行。在“第6章训练更大的模型”的第9个正式坐标中，「6·4 并行」通过把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算推进扩展规律、并行、精度与计算预算；复核者保存规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线，出现只按参数量外推能力并忽略数据、计算、通信和数值误差就撤回结论。

6·4·1 数据并行

正式坐标 10/18。 原书目录键 6.4.1 数据并行。围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”，“第6章训练更大的模型”在坐标10把「6·4·1 数据并行」落实为把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；只有规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线可重放且反例排除只按参数量外推能力并忽略数据、计算、通信和数值误差，本节点才算掌握。

6·4·2 流水线并行

正式坐标 11/18。 原书目录键 6.4.2 流水线并行。“第6章训练更大的模型”的目录节点11「6·4·2 流水线并行」不能停在术语解释：它要把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，交付规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线，并把只按参数量外推能力并忽略数据、计算、通信和数值误差设为单一反事实。

6·4·3 张量/模型并行

正式坐标 12/18。 原书目录键 6.4.3 张量/模型并行。对“第6章训练更大的模型”而言，「6·4·3 张量/模型并行」在第12次检查中改变可观察状态，因为它负责把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线必须与“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”对齐，不能接受只按参数量外推能力并忽略数据、计算、通信和数值误差。

6·4·4 专家混合

正式坐标 13/18。 原书目录键 6.4.4 专家混合。在“第6章训练更大的模型”的第13个正式坐标中，「6·4·4 专家混合」通过把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算推进扩展规律、并行、精度与计算预算；复核者保存规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线，出现只按参数量外推能力并忽略数据、计算、通信和数值误差就撤回结论。

6·5 混合训练和低精度训练

正式坐标 14/18。 原书目录键 6.5 混合训练和低精度训练。围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”，“第6章训练更大的模型”在坐标14把「6·5 混合训练和低精度训练」落实为把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；只有规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线可重放且反例排除只按参数量外推能力并忽略数据、计算、通信和数值误差，本节点才算掌握。

6·5·1 单位缩放

正式坐标 15/18。 原书目录键 6.5.1 单位缩放。“第6章训练更大的模型”的目录节点15「6·5·1 单位缩放」不能停在术语解释：它要把“单位缩放”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链，交付第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估，并把只复述“单位缩放”名称而没有可观察状态、单一故障和恢复证据设为单一反事实。

6·5·2 FP8与INT8

正式坐标 16/18。 原书目录键 6.5.2 FP8与INT8。对“第6章训练更大的模型”而言，「6·5·2 FP8与INT8」在第16次检查中改变可观察状态，因为它负责把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算；规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线必须与“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”对齐，不能接受只按参数量外推能力并忽略数据、计算、通信和数值误差。

6·6 其他节省内存的设计

正式坐标 17/18。 原书目录键 6.6 其他节省内存的设计。在“第6章训练更大的模型”的第17个正式坐标中，「6·6 其他节省内存的设计」通过把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算推进扩展规律、并行、精度与计算预算；复核者保存规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线，出现只按参数量外推能力并忽略数据、计算、通信和数值误差就撤回结论。

6·7 小结

正式坐标 18/18。 原书目录键 6.7 小结。围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”，“第6章训练更大的模型”在坐标18把「6·7 小结」落实为把本章主张、原始来源、版本、复核结论和未解决缺口双向连接；只有主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单可重放且反例排除二手来源或总结段被当作原始实验与普遍结论，本节点才算掌握。

先预测，再操作三个章专属实验

分步1 / 3

1. 语料、上下文与输出合同

为“第6章训练更大的模型”选择正式目录坐标，在参考合同与单一反例间切换，逐阶段核对输入、操作、输出证据和裁决。

语料—上下文—输出合同

第6章训练更大的模型

选择正式目录坐标，再比较参考合同与单一反例如何改变同一条模型链。

正式目录坐标

阶段 1/4

第6章训练更大的模型 · 数据与输入

输入: 为固定训练预算设计参数量、词元量、并行和精度方案
操作: 冻结扩展规律、并行、精度与计算预算所需的数据角色、版本、切分、模板和shape
输出证据: 第6章训练更大的模型的输入合同、版本表与基线快照
裁决: 第6章训练更大的模型的来源、许可、角色、单位、shape和可见性没有越界

第6章训练更大的模型的可重放协议

阶段	允许动作	必留证据	拒绝条件
第6章训练更大的模型 · 数据与输入	冻结扩展规律、并行、精度与计算预算所需的数据角色、版本、切分、模板和shape	第6章训练更大的模型的输入合同、版本表与基线快照	未满足“第6章训练更大的模型的来源、许可、角色、单位、shape和可见性没有越界”
第6章训练更大的模型 · 目标与计算	执行把扩大尺度法则、涌现、加速器、数据/流水线/张量并行和低精度训练连接到预算与误差合同的最小计算并保存中间状态	第6章训练更大的模型的目标分量、计算轨迹与单故障分岔	未满足“第6章训练更大的模型每一步可由同一输入、公式、版本和随机状态复算”
第6章训练更大的模型 · 输出与解码	比较输出、路由、检索、策略或资源估计的更新前后状态	第6章训练更大的模型的候选差、引用/策略/资源谱系与恢复路径	未满足“第6章训练更大的模型没有把代理目标、精选输出或训练内统计当作最终结论”
第6章训练更大的模型 · 独立评估	重放预测、单故障、恢复和不适用边界	第6章训练更大的模型的接受、回退或拒绝理由	未满足“第6章训练更大的模型满足“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录””

unit: "llm-06"
question: "模型、数据、计算和精度规模怎样在同一预算口径下比较？"
scenario: "为固定训练预算设计参数量、词元量、并行和精度方案"
invariant: "参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录"
fault: "只按参数量外推性能，忽略训练词元不足、通信与低精度误差"
evidence: "规模账本、预算分解、并行时间线、数值探针与失败曲线"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact

“第6章训练更大的模型”要求从同一数据、模型、模板、版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。

本页回顾

掌握“第6章训练更大的模型”不是背模型名或复制提示，而是围绕“模型、数据、计算和精度规模怎样在同一预算口径下比较？”重建数据、表示、目标、计算、输出、资源和独立评估，并用“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”拒绝“只按参数量外推性能，忽略训练词元不足、通信与低精度误差”。最终交付为规模账本、预算分解、并行时间线、数值探针与失败曲线。

练习与答案

练习

问题 1：实验合同。 “第6章训练更大的模型”为什么必须先冻结数据、模型、模板、版本、预算、随机性和评估口径？

问题 2：目录逐项覆盖。 怎样证明“第6章训练更大的模型”的正式目录坐标已经进入机制、交互和练习？

“第6章训练更大的模型”的目录项「第6章训练更大的模型」：以“把“训练更大的模型”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链”解释作用，用“第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估”提供复核。 2. “第6章训练更大的模型”的目录项「6·1 扩大尺度法则」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·1·1 预训练Transformer扩大尺度的启示」：以“追踪注意力shape、掩码、位置、缓存、近似和解码状态”解释作用，用“shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差”提供复核。
“第6章训练更大的模型”的目录项「6·1·2 预训练和微调Transformer带来的新启示」：以“追踪注意力shape、掩码、位置、缓存、近似和解码状态”解释作用，用“shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差”提供复核。
“第6章训练更大的模型”的目录项「6·1·3 k比特推理扩大尺度法则」：以“追踪注意力shape、掩码、位置、缓存、近似和解码状态”解释作用，用“shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差”提供复核。
“第6章训练更大的模型”的目录项「6·1·4 挑战与机遇」：以“把“挑战与机遇”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链”解释作用，用“第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估”提供复核。 7. “第6章训练更大的模型”的目录项「6·2 涌现能力」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·3 人工智能加速器」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·4 并行」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·4·1 数据并行」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·4·2 流水线并行」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·4·3 张量/模型并行」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·4·4 专家混合」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·5 混合训练和低精度训练」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·5·1 单位缩放」：以“把“单位缩放”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链”解释作用，用“第6章训练更大的模型的输入角色、中间状态、输出、反例与独立评估”提供复核。 16. “第6章训练更大的模型”的目录项「6·5·2 FP8与INT8」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·6 其他节省内存的设计」：以“把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算”解释作用，用“规模账本、FLOPs、并行时间线、通信、数值探针和学习曲线”提供复核。
“第6章训练更大的模型”的目录项「6·7 小结」：以“把本章主张、原始来源、版本、复核结论和未解决缺口双向连接”解释作用，用“主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单”提供复核。

问题 3：故障恢复。 怎样证明“只按参数量外推性能，忽略训练词元不足、通信与低精度误差”已经被修正？

为“第6章训练更大的模型”复用同一数据、模型、模板、版本、预算和随机流，重放参考路径后只注入该故障；记录首个偏离，撤销故障再运行。只有上下文合同、计算轨迹、独立评估和规模账本、预算分解、并行时间线、数值探针与失败曲线重新满足“参数、训练词元、FLOPs、硬件、通信、精度、损失口径和失败运行完整记录”，修正才可提交。

名词解释

本章出现的专业名词，用大白话再讲一遍。

训练更大的模型: 检索键 llm-A 对应正式目录坐标「第6章训练更大的模型」；在“第6章训练更大的模型”中用于把“训练更大的模型”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链，需要连接原书范围、计算状态、独立证据和不适用边界。
扩大尺度法则: 检索键 llm-B 对应正式目录坐标「6·1 扩大尺度法则」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
预训练Transformer扩大尺度的启示: 检索键 llm-C 对应正式目录坐标「6·1·1 预训练Transformer扩大尺度的启示」；在“第6章训练更大的模型”中用于追踪注意力shape、掩码、位置、缓存、近似和解码状态，需要连接原书范围、计算状态、独立证据和不适用边界。
预训练和微调Transformer带来的新启示: 检索键 llm-D 对应正式目录坐标「6·1·2 预训练和微调Transformer带来的新启示」；在“第6章训练更大的模型”中用于追踪注意力shape、掩码、位置、缓存、近似和解码状态，需要连接原书范围、计算状态、独立证据和不适用边界。
k比特推理扩大尺度法则: 检索键 llm-E 对应正式目录坐标「6·1·3 k比特推理扩大尺度法则」；在“第6章训练更大的模型”中用于追踪注意力shape、掩码、位置、缓存、近似和解码状态，需要连接原书范围、计算状态、独立证据和不适用边界。
挑战与机遇: 检索键 llm-F 对应正式目录坐标「6·1·4 挑战与机遇」；在“第6章训练更大的模型”中用于把“挑战与机遇”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链，需要连接原书范围、计算状态、独立证据和不适用边界。
涌现能力: 检索键 llm-G 对应正式目录坐标「6·2 涌现能力」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
人工智能加速器: 检索键 llm-H 对应正式目录坐标「6·3 人工智能加速器」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
并行: 检索键 llm-I 对应正式目录坐标「6·4 并行」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
数据并行: 检索键 llm-J 对应正式目录坐标「6·4·1 数据并行」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
流水线并行: 检索键 llm-K 对应正式目录坐标「6·4·2 流水线并行」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
张量/模型并行: 检索键 llm-L 对应正式目录坐标「6·4·3 张量/模型并行」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
专家混合: 检索键 llm-M 对应正式目录坐标「6·4·4 专家混合」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
混合训练和低精度训练: 检索键 llm-N 对应正式目录坐标「6·5 混合训练和低精度训练」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
单位缩放: 检索键 llm-O 对应正式目录坐标「6·5·1 单位缩放」；在“第6章训练更大的模型”中用于把“单位缩放”放进扩展规律、并行、精度与计算预算的数据—目标—计算—输出链，需要连接原书范围、计算状态、独立证据和不适用边界。
FP8与INT8: 检索键 llm-P 对应正式目录坐标「6·5·2 FP8与INT8」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
其他节省内存的设计: 检索键 llm-Q 对应正式目录坐标「6·6 其他节省内存的设计」；在“第6章训练更大的模型”中用于把参数、词元、计算、硬件、并行、精度和失败运行放进同一预算，需要连接原书范围、计算状态、独立证据和不适用边界。
小结: 检索键 llm-R 对应正式目录坐标「6·7 小结」；在“第6章训练更大的模型”中用于把本章主张、原始来源、版本、复核结论和未解决缺口双向连接，需要连接原书范围、计算状态、独立证据和不适用边界。

第6章 训练更大的模型

学习目标

为什么从这个问题开始

原书书目、153个正式坐标与访问边界

原书目录层级与可验证机制

第6章 训练更大的模型

6·1 扩大尺度法则

6·1·1 预训练Transformer扩大尺度的启示

6·1·2 预训练和微调Transformer带来的新启示

6·1·3 k比特推理扩大尺度法则

6·1·4 挑战与机遇

6·2 涌现能力

6·3 人工智能加速器

6·4 并行

6·4·1 数据并行

6·4·2 流水线并行

6·4·3 张量/模型并行

6·4·4 专家混合

6·5 混合训练和低精度训练

6·5·1 单位缩放

6·5·2 FP8与INT8

6·6 其他节省内存的设计

6·7 小结

先预测，再操作三个章专属实验

1. 语料、上下文与输出合同

第6章 训练更大的模型

第6章 训练更大的模型 · 数据与输入

第6章 训练更大的模型的可重放协议

本页回顾

练习与答案

练习

名词解释

名词解释

讨论

第6章训练更大的模型

第6章训练更大的模型

第6章训练更大的模型

第6章训练更大的模型 · 数据与输入

第6章训练更大的模型的可重放协议