第2章语言模型和分词

从概率分解、统计/神经语言模型、困惑度和多种分词策略建立输入表示合同；用上下文合同、计算轨迹和独立证据门交付分词轨迹、概率账本、压缩率与可比性说明

学习目标

能说明“第2章语言模型和分词”如何从概率分解、统计/神经语言模型、困惑度和多种分词策略建立输入表示合同，并区分2024年原书目录、原始研究、当前实现和本站重写
能先预测“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”会改变哪一个数据、表示、目标、计算、输出或评估状态，再操作三类交互证据
能只注入“比较模型困惑度时忽略不同分词器造成的每词元单位差异”，定位首个偏离“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”的状态，并从同一快照完成恢复

为什么从这个问题开始

“第2章语言模型和分词”围绕“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”建立贯穿任务：让同一多语言样本经过字符、子词与无分词器表示。先写下哪个数据、表示、目标、计算、输出或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”并交付分词轨迹、概率账本、压缩率与可比性说明，困惑度、基准、偏好、检索、伤害或环境指标才构成机制证据。

原书书目、153个正式坐标与访问边界

“第2章语言模型和分词”以发行数字版核对熊涛著《大语言模型：基础与前沿》的前言、12章和参考文献，以馆藏书目核对人民邮电出版社、2024年4月、260页和ISBN 9787115634887，再以公开目录交叉核对全部节/小节。正式分母为前言1个、章标题12个、编号节/小节139个和参考文献1个，合计153个目录层级。

本书是熊涛原创中文专著，不是外文书的中译本；因此不存在可假定的英文“原版”供逐句对照。发行数字版可阅读不等于允许复制或改编，“第2章语言模型和分词”不复制、翻译或改写原书正文、图表和案例，只把目录与书目元数据作为范围坐标；中文讲解、计算轨迹、反例、交互、练习与答案均为独立教学重写。

本页独立核对 1只用于独立核对本页技术事实和实验边界，不能反向证明原书采用本站表述。2024年以后出现的模型、框架、政策或基准必须带当前时间标签，不能倒填为原书内容。

原书目录层级与可验证机制

第2章语言模型和分词

正式坐标 1/12。 原书目录键 第2章语言模型和分词。在“第2章语言模型和分词”的第1个正式坐标中，「第2章语言模型和分词」通过对齐文本规范化、词元边界、概率分解、序列长度和评估单位推进语言概率、词元边界与评估单位；复核者保存分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，出现忽略不同分词器导致的概率单位与成本差异就撤回结论。

2·1 语言建模的挑战

正式坐标 2/12。 原书目录键 2.1 语言建模的挑战。围绕“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”，“第2章语言模型和分词”在坐标2把「2·1 语言建模的挑战」落实为把“语言建模的挑战”放进语言概率、词元边界与评估单位的数据—目标—计算—输出链；只有第2章语言模型和分词的输入角色、中间状态、输出、反例与独立评估可重放且反例排除只复述“语言建模的挑战”名称而没有可观察状态、单一故障和恢复证据，本节点才算掌握。

2·2 统计语言建模

正式坐标 3/12。 原书目录键 2.2 统计语言建模。“第2章语言模型和分词”的目录节点3「2·2 统计语言建模」不能停在术语解释：它要对齐文本规范化、词元边界、概率分解、序列长度和评估单位，交付分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，并把忽略不同分词器导致的概率单位与成本差异设为单一反事实。

2·3 神经语言模型

正式坐标 4/12。 原书目录键 2.3 神经语言模型。对“第2章语言模型和分词”而言，「2·3 神经语言模型」在第4次检查中改变可观察状态，因为它负责对齐文本规范化、词元边界、概率分解、序列长度和评估单位；分词轨迹、词表覆盖、概率账本、序列长度和可比性说明必须与“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”对齐，不能接受忽略不同分词器导致的概率单位与成本差异。

2·4 评估语言模型

正式坐标 5/12。 原书目录键 2.4 评估语言模型。在“第2章语言模型和分词”的第5个正式坐标中，「2·4 评估语言模型」通过对齐文本规范化、词元边界、概率分解、序列长度和评估单位推进语言概率、词元边界与评估单位；复核者保存分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，出现忽略不同分词器导致的概率单位与成本差异就撤回结论。

2·5 分词

正式坐标 6/12。 原书目录键 2.5 分词。围绕“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”，“第2章语言模型和分词”在坐标6把「2·5 分词」落实为对齐文本规范化、词元边界、概率分解、序列长度和评估单位；只有分词轨迹、词表覆盖、概率账本、序列长度和可比性说明可重放且反例排除忽略不同分词器导致的概率单位与成本差异，本节点才算掌握。

2·5·1 按空格分割

正式坐标 7/12。 原书目录键 2.5.1 按空格分割。“第2章语言模型和分词”的目录节点7「2·5·1 按空格分割」不能停在术语解释：它要对齐文本规范化、词元边界、概率分解、序列长度和评估单位，交付分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，并把忽略不同分词器导致的概率单位与成本差异设为单一反事实。

2·5·2 字符分词

正式坐标 8/12。 原书目录键 2.5.2 字符分词。对“第2章语言模型和分词”而言，「2·5·2 字符分词」在第8次检查中改变可观察状态，因为它负责对齐文本规范化、词元边界、概率分解、序列长度和评估单位；分词轨迹、词表覆盖、概率账本、序列长度和可比性说明必须与“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”对齐，不能接受忽略不同分词器导致的概率单位与成本差异。

2·5·3 子词分词

正式坐标 9/12。 原书目录键 2.5.3 子词分词。在“第2章语言模型和分词”的第9个正式坐标中，「2·5·3 子词分词」通过对齐文本规范化、词元边界、概率分解、序列长度和评估单位推进语言概率、词元边界与评估单位；复核者保存分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，出现忽略不同分词器导致的概率单位与成本差异就撤回结论。

2·5·4 无分词器

正式坐标 10/12。 原书目录键 2.5.4 无分词器。围绕“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”，“第2章语言模型和分词”在坐标10把「2·5·4 无分词器」落实为对齐文本规范化、词元边界、概率分解、序列长度和评估单位；只有分词轨迹、词表覆盖、概率账本、序列长度和可比性说明可重放且反例排除忽略不同分词器导致的概率单位与成本差异，本节点才算掌握。

2·5·5 可学习的分词

正式坐标 11/12。 原书目录键 2.5.5 可学习的分词。“第2章语言模型和分词”的目录节点11「2·5·5 可学习的分词」不能停在术语解释：它要对齐文本规范化、词元边界、概率分解、序列长度和评估单位，交付分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，并把忽略不同分词器导致的概率单位与成本差异设为单一反事实。

2·6 小结

正式坐标 12/12。 原书目录键 2.6 小结。对“第2章语言模型和分词”而言，「2·6 小结」在第12次检查中改变可观察状态，因为它负责把本章主张、原始来源、版本、复核结论和未解决缺口双向连接；主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单必须与“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”对齐，不能接受二手来源或总结段被当作原始实验与普遍结论。

先预测，再操作三个章专属实验

分步1 / 3

1. 语料、上下文与输出合同

为“第2章语言模型和分词”选择正式目录坐标，在参考合同与单一反例间切换，逐阶段核对输入、操作、输出证据和裁决。

语料—上下文—输出合同

第2章语言模型和分词

选择正式目录坐标，再比较参考合同与单一反例如何改变同一条模型链。

正式目录坐标

阶段 1/4

第2章语言模型和分词 · 数据与输入

输入: 让同一多语言样本经过字符、子词与无分词器表示
操作: 冻结语言概率、词元边界与评估单位所需的数据角色、版本、切分、模板和shape
输出证据: 第2章语言模型和分词的输入合同、版本表与基线快照
裁决: 第2章语言模型和分词的来源、许可、角色、单位、shape和可见性没有越界

第2章语言模型和分词的可重放协议

阶段	允许动作	必留证据	拒绝条件
第2章语言模型和分词 · 数据与输入	冻结语言概率、词元边界与评估单位所需的数据角色、版本、切分、模板和shape	第2章语言模型和分词的输入合同、版本表与基线快照	未满足“第2章语言模型和分词的来源、许可、角色、单位、shape和可见性没有越界”
第2章语言模型和分词 · 目标与计算	执行从概率分解、统计/神经语言模型、困惑度和多种分词策略建立输入表示合同的最小计算并保存中间状态	第2章语言模型和分词的目标分量、计算轨迹与单故障分岔	未满足“第2章语言模型和分词每一步可由同一输入、公式、版本和随机状态复算”
第2章语言模型和分词 · 输出与解码	比较输出、路由、检索、策略或资源估计的更新前后状态	第2章语言模型和分词的候选差、引用/策略/资源谱系与恢复路径	未满足“第2章语言模型和分词没有把代理目标、精选输出或训练内统计当作最终结论”
第2章语言模型和分词 · 独立评估	重放预测、单故障、恢复和不适用边界	第2章语言模型和分词的接受、回退或拒绝理由	未满足“第2章语言模型和分词满足“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定””

unit: "llm-02"
question: "分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？"
scenario: "让同一多语言样本经过字符、子词与无分词器表示"
invariant: "文本规范化、词表、未知符号、序列长度、概率单位和评估集固定"
fault: "比较模型困惑度时忽略不同分词器造成的每词元单位差异"
evidence: "分词轨迹、概率账本、压缩率与可比性说明"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact

“第2章语言模型和分词”要求从同一数据、模型、模板、版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。

本页回顾

掌握“第2章语言模型和分词”不是背模型名或复制提示，而是围绕“分词方案怎样改变序列长度、概率分解、词表覆盖和公平比较？”重建数据、表示、目标、计算、输出、资源和独立评估，并用“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”拒绝“比较模型困惑度时忽略不同分词器造成的每词元单位差异”。最终交付为分词轨迹、概率账本、压缩率与可比性说明。

练习与答案

练习

问题 1：实验合同。 “第2章语言模型和分词”为什么必须先冻结数据、模型、模板、版本、预算、随机性和评估口径？

问题 2：目录逐项覆盖。 怎样证明“第2章语言模型和分词”的正式目录坐标已经进入机制、交互和练习？

“第2章语言模型和分词”的目录项「第2章语言模型和分词」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·1 语言建模的挑战」：以“把“语言建模的挑战”放进语言概率、词元边界与评估单位的数据—目标—计算—输出链”解释作用，用“第2章语言模型和分词的输入角色、中间状态、输出、反例与独立评估”提供复核。 3. “第2章语言模型和分词”的目录项「2·2 统计语言建模」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·3 神经语言模型」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·4 评估语言模型」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5 分词」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5·1 按空格分割」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5·2 字符分词」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5·3 子词分词」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5·4 无分词器」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·5·5 可学习的分词」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第2章语言模型和分词”的目录项「2·6 小结」：以“把本章主张、原始来源、版本、复核结论和未解决缺口双向连接”解释作用，用“主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单”提供复核。

问题 3：故障恢复。 怎样证明“比较模型困惑度时忽略不同分词器造成的每词元单位差异”已经被修正？

为“第2章语言模型和分词”复用同一数据、模型、模板、版本、预算和随机流，重放参考路径后只注入该故障；记录首个偏离，撤销故障再运行。只有上下文合同、计算轨迹、独立评估和分词轨迹、概率账本、压缩率与可比性说明重新满足“文本规范化、词表、未知符号、序列长度、概率单位和评估集固定”，修正才可提交。

名词解释

本章出现的专业名词，用大白话再讲一遍。

语言模型和分词: 检索键 llm-A 对应正式目录坐标「第2章语言模型和分词」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
语言建模的挑战: 检索键 llm-B 对应正式目录坐标「2·1 语言建模的挑战」；在“第2章语言模型和分词”中用于把“语言建模的挑战”放进语言概率、词元边界与评估单位的数据—目标—计算—输出链，需要连接原书范围、计算状态、独立证据和不适用边界。
统计语言建模: 检索键 llm-C 对应正式目录坐标「2·2 统计语言建模」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
神经语言模型: 检索键 llm-D 对应正式目录坐标「2·3 神经语言模型」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
评估语言模型: 检索键 llm-E 对应正式目录坐标「2·4 评估语言模型」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
分词: 检索键 llm-F 对应正式目录坐标「2·5 分词」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
按空格分割: 检索键 llm-G 对应正式目录坐标「2·5·1 按空格分割」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
字符分词: 检索键 llm-H 对应正式目录坐标「2·5·2 字符分词」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
子词分词: 检索键 llm-I 对应正式目录坐标「2·5·3 子词分词」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
无分词器: 检索键 llm-J 对应正式目录坐标「2·5·4 无分词器」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
可学习的分词: 检索键 llm-K 对应正式目录坐标「2·5·5 可学习的分词」；在“第2章语言模型和分词”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
小结: 检索键 llm-L 对应正式目录坐标「2·6 小结」；在“第2章语言模型和分词”中用于把本章主张、原始来源、版本、复核结论和未解决缺口双向连接，需要连接原书范围、计算状态、独立证据和不适用边界。

第2章 语言模型和分词

学习目标

为什么从这个问题开始

原书书目、153个正式坐标与访问边界

原书目录层级与可验证机制

第2章 语言模型和分词

2·1 语言建模的挑战

2·2 统计语言建模

2·3 神经语言模型

2·4 评估语言模型

2·5 分词

2·5·1 按空格分割

2·5·2 字符分词

2·5·3 子词分词

2·5·4 无分词器

2·5·5 可学习的分词

2·6 小结

先预测，再操作三个章专属实验

1. 语料、上下文与输出合同

第2章 语言模型和分词

第2章 语言模型和分词 · 数据与输入

第2章 语言模型和分词的可重放协议

本页回顾

练习与答案

练习

名词解释

名词解释

讨论

第2章语言模型和分词

第2章语言模型和分词

第2章语言模型和分词

第2章语言模型和分词 · 数据与输入

第2章语言模型和分词的可重放协议