第9章对齐语言模型与人类偏好

从人类反馈、KL、REINFORCE/TRPO/PPO、语言/AI/自我反馈与偏好预训练建立对齐证据链；用上下文合同、计算轨迹和独立证据门交付偏好数据卡、奖励差、KL、策略更新、盲评与分歧报告

学习目标

能说明“第9章对齐语言模型与人类偏好”如何从人类反馈、KL、REINFORCE/TRPO/PPO、语言/AI/自我反馈与偏好预训练建立对齐证据链，并区分2024年原书目录、原始研究、当前实现和本站重写
能先预测“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”会改变哪一个数据、表示、目标、计算、输出或评估状态，再操作三类交互证据
能只注入“奖励模型训练数据与最终偏好测试重复，并把奖励上升当作人类偏好提升”，定位首个偏离“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”的状态，并从同一快照完成恢复

为什么从这个问题开始

“第9章对齐语言模型与人类偏好”围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”建立贯穿任务：用冻结偏好对和参考策略复算一次对齐更新。先写下哪个数据、表示、目标、计算、输出或评估状态会最先变化，再运行参考、故障和恢复路径；运行后补理由不算预测。只有守住“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”并交付偏好数据卡、奖励差、KL、策略更新、盲评与分歧报告，困惑度、基准、偏好、检索、伤害或环境指标才构成机制证据。

原书书目、153个正式坐标与访问边界

“第9章对齐语言模型与人类偏好”以发行数字版核对熊涛著《大语言模型：基础与前沿》的前言、12章和参考文献，以馆藏书目核对人民邮电出版社、2024年4月、260页和ISBN 9787115634887，再以公开目录交叉核对全部节/小节。正式分母为前言1个、章标题12个、编号节/小节139个和参考文献1个，合计153个目录层级。

本书是熊涛原创中文专著，不是外文书的中译本；因此不存在可假定的英文“原版”供逐句对照。发行数字版可阅读不等于允许复制或改编，“第9章对齐语言模型与人类偏好”不复制、翻译或改写原书正文、图表和案例，只把目录与书目元数据作为范围坐标；中文讲解、计算轨迹、反例、交互、练习与答案均为独立教学重写。

本页独立核对 1只用于独立核对本页技术事实和实验边界，不能反向证明原书采用本站表述。2024年以后出现的模型、框架、政策或基准必须带当前时间标签，不能倒填为原书内容。

原书目录层级与可验证机制

第9章对齐语言模型与人类偏好

正式坐标 1/14。 原书目录键 第9章对齐语言模型与人类偏好。在“第9章对齐语言模型与人类偏好”的第1个正式坐标中，「第9章对齐语言模型与人类偏好」通过对齐文本规范化、词元边界、概率分解、序列长度和评估单位推进偏好数据、奖励代理与策略约束；复核者保存分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，出现忽略不同分词器导致的概率单位与成本差异就撤回结论。

9·1 基于人类反馈进行微调

正式坐标 2/14。 原书目录键 9.1 基于人类反馈进行微调。围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”，“第9章对齐语言模型与人类偏好”在坐标2把「9·1 基于人类反馈进行微调」落实为冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新；只有提示版本、示范顺序、校准曲线、适配参数和单因素消融可重放且反例排除提示、数据和适配器同时变化造成不可归因比较，本节点才算掌握。

9·1·1 基于人类反馈的强化学习

正式坐标 3/14。 原书目录键 9.1.1 基于人类反馈的强化学习。“第9章对齐语言模型与人类偏好”的目录节点3「9·1·1 基于人类反馈的强化学习」不能停在术语解释：它要区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，交付偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧，并把奖励模型与最终测试泄漏或代理奖励取代真实偏好设为单一反事实。

9·1·2 KL散度：前向与反向

正式坐标 4/14。 原书目录键 9.1.2 KL散度：前向与反向。对“第9章对齐语言模型与人类偏好”而言，「9·1·2 KL散度：前向与反向」在第4次检查中改变可观察状态，因为它负责区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评；偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧必须与“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”对齐，不能接受奖励模型与最终测试泄漏或代理奖励取代真实偏好。

9·1·3 REINFORCE、TRPO和PPO

正式坐标 5/14。 原书目录键 9.1.3 REINFORCE、TRPO和PPO。在“第9章对齐语言模型与人类偏好”的第5个正式坐标中，「9·1·3 REINFORCE、TRPO和PPO」通过区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评推进偏好数据、奖励代理与策略约束；复核者保存偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧，出现奖励模型与最终测试泄漏或代理奖励取代真实偏好就撤回结论。

9·1·4 带有KL惩罚的强化学习：贝叶斯推理观点

正式坐标 6/14。 原书目录键 9.1.4 带有KL惩罚的强化学习：贝叶斯推理观点。围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”，“第9章对齐语言模型与人类偏好”在坐标6把「9·1·4 带有KL惩罚的强化学习：贝叶斯推理观点」落实为追踪注意力shape、掩码、位置、缓存、近似和解码状态；只有shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差可重放且反例排除掩码、位置或缓存版本错位但输出仍看似合理，本节点才算掌握。

9·1·5 通过分布控制生成进行语言模型对齐

正式坐标 7/14。 原书目录键 9.1.5 通过分布控制生成进行语言模型对齐。“第9章对齐语言模型与人类偏好”的目录节点7「9·1·5 通过分布控制生成进行语言模型对齐」不能停在术语解释：它要对齐文本规范化、词元边界、概率分解、序列长度和评估单位，交付分词轨迹、词表覆盖、概率账本、序列长度和可比性说明，并把忽略不同分词器导致的概率单位与成本差异设为单一反事实。

9·1·6 通过f散度最小化统一RLHF和GDC方法

正式坐标 8/14。 原书目录键 9.1.6 通过f散度最小化统一RLHF和GDC方法。对“第9章对齐语言模型与人类偏好”而言，「9·1·6 通过f散度最小化统一RLHF和GDC方法」在第8次检查中改变可观察状态，因为它负责把“通过f散度最小化统一RLHF和GDC方法”放进偏好数据、奖励代理与策略约束的数据—目标—计算—输出链；第9章对齐语言模型与人类偏好的输入角色、中间状态、输出、反例与独立评估必须与“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”对齐，不能接受只复述“通过f散度最小化统一RLHF和GDC方法”名称而没有可观察状态、单一故障和恢复证据。

9·2 基于语言反馈进行微调

正式坐标 9/14。 原书目录键 9.2 基于语言反馈进行微调。在“第9章对齐语言模型与人类偏好”的第9个正式坐标中，「9·2 基于语言反馈进行微调」通过冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新推进偏好数据、奖励代理与策略约束；复核者保存提示版本、示范顺序、校准曲线、适配参数和单因素消融，出现提示、数据和适配器同时变化造成不可归因比较就撤回结论。

9·3 基于监督学习进行微调

正式坐标 10/14。 原书目录键 9.3 基于监督学习进行微调。围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”，“第9章对齐语言模型与人类偏好”在坐标10把「9·3 基于监督学习进行微调」落实为冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新；只有提示版本、示范顺序、校准曲线、适配参数和单因素消融可重放且反例排除提示、数据和适配器同时变化造成不可归因比较，本节点才算掌握。

9·4 基于人工智能反馈的强化学习

正式坐标 11/14。 原书目录键 9.4 基于人工智能反馈的强化学习。“第9章对齐语言模型与人类偏好”的目录节点11「9·4 基于人工智能反馈的强化学习」不能停在术语解释：它要区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，交付偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧，并把奖励模型与最终测试泄漏或代理奖励取代真实偏好设为单一反事实。

9·5 基于自我反馈进行迭代优化

正式坐标 12/14。 原书目录键 9.5 基于自我反馈进行迭代优化。对“第9章对齐语言模型与人类偏好”而言，「9·5 基于自我反馈进行迭代优化」在第12次检查中改变可观察状态，因为它负责区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评；偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧必须与“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”对齐，不能接受奖励模型与最终测试泄漏或代理奖励取代真实偏好。

9·6 基于人类偏好进行预训练

正式坐标 13/14。 原书目录键 9.6 基于人类偏好进行预训练。在“第9章对齐语言模型与人类偏好”的第13个正式坐标中，「9·6 基于人类偏好进行预训练」通过区分训练条件概率、模型架构、logits和推理解码规则推进偏好数据、奖励代理与策略约束；复核者保存目标分解、logit轨迹、候选树、随机种子与停止原因，出现同时更换模型、提示和解码参数后给单一因素归因就撤回结论。

9·7 小结

正式坐标 14/14。 原书目录键 9.7 小结。围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”，“第9章对齐语言模型与人类偏好”在坐标14把「9·7 小结」落实为把本章主张、原始来源、版本、复核结论和未解决缺口双向连接；只有主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单可重放且反例排除二手来源或总结段被当作原始实验与普遍结论，本节点才算掌握。

先预测，再操作三个章专属实验

分步1 / 3

1. 语料、上下文与输出合同

为“第9章对齐语言模型与人类偏好”选择正式目录坐标，在参考合同与单一反例间切换，逐阶段核对输入、操作、输出证据和裁决。

语料—上下文—输出合同

第9章对齐语言模型与人类偏好

选择正式目录坐标，再比较参考合同与单一反例如何改变同一条模型链。

正式目录坐标

阶段 1/4

第9章对齐语言模型与人类偏好 · 数据与输入

输入: 用冻结偏好对和参考策略复算一次对齐更新
操作: 冻结偏好数据、奖励代理与策略约束所需的数据角色、版本、切分、模板和shape
输出证据: 第9章对齐语言模型与人类偏好的输入合同、版本表与基线快照
裁决: 第9章对齐语言模型与人类偏好的来源、许可、角色、单位、shape和可见性没有越界

第9章对齐语言模型与人类偏好的可重放协议

阶段	允许动作	必留证据	拒绝条件
第9章对齐语言模型与人类偏好 · 数据与输入	冻结偏好数据、奖励代理与策略约束所需的数据角色、版本、切分、模板和shape	第9章对齐语言模型与人类偏好的输入合同、版本表与基线快照	未满足“第9章对齐语言模型与人类偏好的来源、许可、角色、单位、shape和可见性没有越界”
第9章对齐语言模型与人类偏好 · 目标与计算	执行从人类反馈、KL、REINFORCE/TRPO/PPO、语言/AI/自我反馈与偏好预训练建立对齐证据链的最小计算并保存中间状态	第9章对齐语言模型与人类偏好的目标分量、计算轨迹与单故障分岔	未满足“第9章对齐语言模型与人类偏好每一步可由同一输入、公式、版本和随机状态复算”
第9章对齐语言模型与人类偏好 · 输出与解码	比较输出、路由、检索、策略或资源估计的更新前后状态	第9章对齐语言模型与人类偏好的候选差、引用/策略/资源谱系与恢复路径	未满足“第9章对齐语言模型与人类偏好没有把代理目标、精选输出或训练内统计当作最终结论”
第9章对齐语言模型与人类偏好 · 独立评估	重放预测、单故障、恢复和不适用边界	第9章对齐语言模型与人类偏好的接受、回退或拒绝理由	未满足“第9章对齐语言模型与人类偏好满足“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立””

unit: "llm-09"
question: "偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？"
scenario: "用冻结偏好对和参考策略复算一次对齐更新"
invariant: "标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立"
fault: "奖励模型训练数据与最终偏好测试重复，并把奖励上升当作人类偏好提升"
evidence: "偏好数据卡、奖励差、KL、策略更新、盲评与分歧报告"
reset: restore_concept_mode_stage_trace_step_case_gates_and_artifact

“第9章对齐语言模型与人类偏好”要求从同一数据、模型、模板、版本、预算和随机状态重放参考、故障与恢复路径。重置后若目录选择、模式、阶段、轨迹步骤、案例、证据门或交付包没有回到基线，本次比较已经混入状态泄漏。

本页回顾

掌握“第9章对齐语言模型与人类偏好”不是背模型名或复制提示，而是围绕“偏好数据、奖励模型、参考策略和优化目标怎样避免相互污染？”重建数据、表示、目标、计算、输出、资源和独立评估，并用“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”拒绝“奖励模型训练数据与最终偏好测试重复，并把奖励上升当作人类偏好提升”。最终交付为偏好数据卡、奖励差、KL、策略更新、盲评与分歧报告。

练习与答案

练习

问题 1：实验合同。 “第9章对齐语言模型与人类偏好”为什么必须先冻结数据、模型、模板、版本、预算、随机性和评估口径？

问题 2：目录逐项覆盖。 怎样证明“第9章对齐语言模型与人类偏好”的正式目录坐标已经进入机制、交互和练习？

“第9章对齐语言模型与人类偏好”的目录项「第9章对齐语言模型与人类偏好」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1 基于人类反馈进行微调」：以“冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新”解释作用，用“提示版本、示范顺序、校准曲线、适配参数和单因素消融”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·1 基于人类反馈的强化学习」：以“区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评”解释作用，用“偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·2 KL散度：前向与反向」：以“区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评”解释作用，用“偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·3 REINFORCE、TRPO和PPO」：以“区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评”解释作用，用“偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·4 带有KL惩罚的强化学习：贝叶斯推理观点」：以“追踪注意力shape、掩码、位置、缓存、近似和解码状态”解释作用，用“shape账本、注意力矩阵、缓存轨迹、延迟、内存与误差”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·5 通过分布控制生成进行语言模型对齐」：以“对齐文本规范化、词元边界、概率分解、序列长度和评估单位”解释作用，用“分词轨迹、词表覆盖、概率账本、序列长度和可比性说明”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·1·6 通过f散度最小化统一RLHF和GDC方法」：以“把“通过f散度最小化统一RLHF和GDC方法”放进偏好数据、奖励代理与策略约束的数据—目标—计算—输出链”解释作用，用“第9章对齐语言模型与人类偏好的输入角色、中间状态、输出、反例与独立评估”提供复核。 9. “第9章对齐语言模型与人类偏好”的目录项「9·2 基于语言反馈进行微调」：以“冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新”解释作用，用“提示版本、示范顺序、校准曲线、适配参数和单因素消融”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·3 基于监督学习进行微调」：以“冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新”解释作用，用“提示版本、示范顺序、校准曲线、适配参数和单因素消融”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·4 基于人工智能反馈的强化学习」：以“区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评”解释作用，用“偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·5 基于自我反馈进行迭代优化」：以“区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评”解释作用，用“偏好数据卡、奖励差、KL、策略版本、盲评与标注分歧”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·6 基于人类偏好进行预训练」：以“区分训练条件概率、模型架构、logits和推理解码规则”解释作用，用“目标分解、logit轨迹、候选树、随机种子与停止原因”提供复核。
“第9章对齐语言模型与人类偏好”的目录项「9·7 小结」：以“把本章主张、原始来源、版本、复核结论和未解决缺口双向连接”解释作用，用“主张—来源矩阵、版本记录、支持/不支持裁决和缺口清单”提供复核。

问题 3：故障恢复。 怎样证明“奖励模型训练数据与最终偏好测试重复，并把奖励上升当作人类偏好提升”已经被修正？

为“第9章对齐语言模型与人类偏好”复用同一数据、模型、模板、版本、预算和随机流，重放参考路径后只注入该故障；记录首个偏离，撤销故障再运行。只有上下文合同、计算轨迹、独立评估和偏好数据卡、奖励差、KL、策略更新、盲评与分歧报告重新满足“标注者与切分、偏好对、奖励模型、参考策略、KL方向、策略版本和评估独立”，修正才可提交。

名词解释

本章出现的专业名词，用大白话再讲一遍。

对齐语言模型与人类偏好: 检索键 llm-A 对应正式目录坐标「第9章对齐语言模型与人类偏好」；在“第9章对齐语言模型与人类偏好”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
基于人类反馈进行微调: 检索键 llm-B 对应正式目录坐标「9·1 基于人类反馈进行微调」；在“第9章对齐语言模型与人类偏好”中用于冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新，需要连接原书范围、计算状态、独立证据和不适用边界。
基于人类反馈的强化学习: 检索键 llm-C 对应正式目录坐标「9·1·1 基于人类反馈的强化学习」；在“第9章对齐语言模型与人类偏好”中用于区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，需要连接原书范围、计算状态、独立证据和不适用边界。
KL散度: 检索键 llm-D 对应正式目录坐标「9·1·2 KL散度：前向与反向」；在“第9章对齐语言模型与人类偏好”中用于区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，需要连接原书范围、计算状态、独立证据和不适用边界。
REINFORCE、TRPO和PPO: 检索键 llm-E 对应正式目录坐标「9·1·3 REINFORCE、TRPO和PPO」；在“第9章对齐语言模型与人类偏好”中用于区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，需要连接原书范围、计算状态、独立证据和不适用边界。
带有KL惩罚的强化学习: 检索键 llm-F 对应正式目录坐标「9·1·4 带有KL惩罚的强化学习：贝叶斯推理观点」；在“第9章对齐语言模型与人类偏好”中用于追踪注意力shape、掩码、位置、缓存、近似和解码状态，需要连接原书范围、计算状态、独立证据和不适用边界。
通过分布控制生成进行语言模型对齐: 检索键 llm-G 对应正式目录坐标「9·1·5 通过分布控制生成进行语言模型对齐」；在“第9章对齐语言模型与人类偏好”中用于对齐文本规范化、词元边界、概率分解、序列长度和评估单位，需要连接原书范围、计算状态、独立证据和不适用边界。
通过f散度最小化统一RLHF和GDC方法: 检索键 llm-H 对应正式目录坐标「9·1·6 通过f散度最小化统一RLHF和GDC方法」；在“第9章对齐语言模型与人类偏好”中用于把“通过f散度最小化统一RLHF和GDC方法”放进偏好数据、奖励代理与策略约束的数据—目标—计算—输出链，需要连接原书范围、计算状态、独立证据和不适用边界。
基于语言反馈进行微调: 检索键 llm-I 对应正式目录坐标「9·2 基于语言反馈进行微调」；在“第9章对齐语言模型与人类偏好”中用于冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新，需要连接原书范围、计算状态、独立证据和不适用边界。
基于监督学习进行微调: 检索键 llm-J 对应正式目录坐标「9·3 基于监督学习进行微调」；在“第9章对齐语言模型与人类偏好”中用于冻结基座、提示、示范、切分与预算，区分上下文状态和参数更新，需要连接原书范围、计算状态、独立证据和不适用边界。
基于人工智能反馈的强化学习: 检索键 llm-K 对应正式目录坐标「9·4 基于人工智能反馈的强化学习」；在“第9章对齐语言模型与人类偏好”中用于区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，需要连接原书范围、计算状态、独立证据和不适用边界。
基于自我反馈进行迭代优化: 检索键 llm-L 对应正式目录坐标「9·5 基于自我反馈进行迭代优化」；在“第9章对齐语言模型与人类偏好”中用于区分偏好数据、奖励代理、参考策略、KL约束、策略更新和盲评，需要连接原书范围、计算状态、独立证据和不适用边界。
基于人类偏好进行预训练: 检索键 llm-M 对应正式目录坐标「9·6 基于人类偏好进行预训练」；在“第9章对齐语言模型与人类偏好”中用于区分训练条件概率、模型架构、logits和推理解码规则，需要连接原书范围、计算状态、独立证据和不适用边界。
小结: 检索键 llm-N 对应正式目录坐标「9·7 小结」；在“第9章对齐语言模型与人类偏好”中用于把本章主张、原始来源、版本、复核结论和未解决缺口双向连接，需要连接原书范围、计算状态、独立证据和不适用边界。

第9章 对齐语言模型与人类偏好

学习目标

为什么从这个问题开始

原书书目、153个正式坐标与访问边界

原书目录层级与可验证机制

第9章 对齐语言模型与人类偏好

9·1 基于人类反馈进行微调

9·1·1 基于人类反馈的强化学习

9·1·2 KL散度：前向与反向

9·1·3 REINFORCE、TRPO和PPO

9·1·4 带有KL惩罚的强化学习：贝叶斯推理观点

9·1·5 通过分布控制生成进行语言模型对齐

9·1·6 通过f散度最小化统一RLHF和GDC方法

9·2 基于语言反馈进行微调

9·3 基于监督学习进行微调

9·4 基于人工智能反馈的强化学习

9·5 基于自我反馈进行迭代优化

9·6 基于人类偏好进行预训练

9·7 小结

先预测，再操作三个章专属实验

1. 语料、上下文与输出合同

第9章 对齐语言模型与人类偏好

第9章 对齐语言模型与人类偏好 · 数据与输入

第9章 对齐语言模型与人类偏好的可重放协议

本页回顾

练习与答案

练习

名词解释

名词解释

讨论

第9章对齐语言模型与人类偏好

第9章对齐语言模型与人类偏好

第9章对齐语言模型与人类偏好

第9章对齐语言模型与人类偏好 · 数据与输入

第9章对齐语言模型与人类偏好的可重放协议