GPU Gems 1 · Chapter 39. Volume Rendering Techniques

GPU Gems 1 第 39 章讨论的不是 Vulkan 对象生命周期，而是如何利用可编程 GPU 和 3D 纹理显示三维数据。流体、云、火焰、烟雾、雾和医学扫描都不天然适合用一组薄薄的多边形表达；它们更像空间中连续变化的样本。所谓 volume rendering，就是沿观察者的视线取得这些样本，把数据值解释为颜色和不透明度，再累积成一张图。

1. 直接体渲染：不先提取表面

direct volume rendering 把体数据看成一个连续场的离散近似。与等值面提取不同，它可以同时保留内部的弱结构、透明层和多个材料区域；代价是每条视线需要许多样本，性能受光栅化、纹理带宽和合成次数共同限制。

最简单的光学模型假定体内粒子同时发光和吸收。数据值本身不必直接成为灰度：一个分类步骤可以把标量范围映射到颜色和不透明度，让用户强调骨骼、软组织、密度峰值或某个模拟变量。复杂模型还可以加入局部光照、体积阴影和散射，但交互式实现通常从发射-吸收模型开始。

一个可维护的 renderer 可以拆成三个阶段：

1. Initialize：加载体数据，准备 3D texture、查找表、fragment shader 和必要的梯度/缩略数据。
2. Update：相机或传递函数改变时，重算代理几何、更新采样率相关的透明度修正和 shader 参数。
3. Draw：按正确深度顺序绘制代理切片，让每个 fragment 从体纹理采样并执行合成。

这个拆分把不频繁变化的资源留在 GPU 上，也让性能问题有明确归属：初始化慢不一定影响交互帧，Draw 阶段的 fragment 数量却会直接影响每帧成本。

2. 从三维数组到体素采样

体数据通常以统一的三维数组表示，显存中可以放成一个 3D texture，或在不支持 3D texture 的历史硬件上拆成多组 2D slices。一个 <Term def="体数据中的单个 volume element，对应三维数组中的一个位置并带有一个或多个数据值">voxel</Term> 类似二维图像的 pixel 或纹理的 texel，但它有三个空间坐标。采样位置落在体素之间时，需要从邻居重建数据，最常见的是三线性插值。

数据准备阶段要先面对几个现实问题：原始尺寸可能太大，格式可能不适合 GPU，边界可能需要 padding，值域可能需要归一化。可以离线重采样，也可以在应用中生成梯度、直方图或缩略体。把值和归一化梯度打包到同一 RGBA texture 有时能减少 lookup，但会增加格式设计和精度验证的压力。

volume array → resample / pad → 3D texture
                                  ├─ scalar value
                                  ├─ gradient or normal
                                  └─ optional empty-space metadata

三线性插值便宜且通用，却会平滑尖锐边界；边界重复填充值能让中心差分有邻居，但也可能在视觉上扩大边缘。科学可视化若依赖细小结构，应把重采样误差和渲染误差分开测量，而不要只调 shader 颜色。

3. 传递函数：决定数据如何被看见

transfer function 是体渲染的分类器。最简单的是一维查找表：横轴是标量值，输出颜色和 alpha。若单一标量无法区分边界，可以把梯度幅值也作为第二个维度，用二维查找表突出“值发生快速变化”的材料边界。

传递函数的设计比换一张 colormap 更重要。高不透明度能让结构显现，但会遮住后面的信息；低不透明度能让多个层叠起来，却可能让图像过淡。直方图能告诉我们哪些值出现频繁，但不能告诉我们这些值在空间中的位置，所以应把 histogram 与切片、局部拾取或三维预览结合使用。

float value = texture(volumeTex, texCoord).r;
vec4 optical = texture(transferTex, vec2(value, 0.5));
vec3 premultipliedColor = optical.rgb * optical.a;

颜色通常要预乘 alpha，因为颜色项既代表发射，也要受到沿射线的吸收。采样率变化时，单个样本代表的射线段长度也变化；若仍使用原来的 alpha，总体强度会随切片数改变。opacity correction 应根据新采样距离重算或更新查找表，而不是用一个固定常数掩盖变化。

4. 代理几何与视线方向

view-aligned slicing 不绘制体的真实表面，而是生成一组穿过包围盒的代理多边形。对每个切片，顶点携带数据空间纹理坐标；fragment shader 在切片内部得到一个或多个采样位置，再把分类后的光学属性交给混合硬件或显式合成。

切片的构造需要：把包围盒顶点变换到视空间，找到观察方向上的最小和最大深度，按采样距离生成平面，与包围盒边相交得到多边形，再把多边形三角化。视角变化会改变交点、平面数量和纹理坐标，但不会改变 3D 体数据本身。切片过少会产生 banding 和 image popping；切片过多则会让 rasterizer 和 fragment shader 成为瓶颈。

若观察方向固定为体数据的 z 轴，可以直接用平行的矩形切片作为起点；交互应用必须处理任意相机方向。现代实现也可以把这套采样逻辑改成 ray marching 或 compute shader，但“沿射线取样并累积”的数据流仍然相同。

5. 合成：把样本变成一条光线的颜色

front-to-back compositing 是最适合交互式体渲染的顺序之一：从相机开始，当前样本的颜色只会贡献给还没有被前方吸收的部分。当累计不透明度接近 1 时，可以提前终止这条光线，避免处理后面已经不可见的样本。

如果每个样本的颜色为 C_i、不透明度为 a_i，累计颜色和 alpha 的概念更新为：

C_next = C_acc + (1 - A_acc) * C_i
A_next = A_acc + (1 - A_acc) * a_i

这里的 C_i 应是预乘 alpha 的颜色。硬件 alpha blending 可以直接实现这组“over”操作；如果要和不透明几何混合，通常先绘制不透明物体、保留深度，再让体切片的深度测试裁掉位于几何内部的片段。back-to-front 则从远处开始，适合另一种混合状态，但必须始终让切片顺序和公式匹配。

不要把“样本很多”误认为“结果一定更好”。如果样本距离小于数据变化尺度，增加样本只是重复纹理读取；如果采样距离过大，薄结构会穿过相邻切片。实验时应同时观察透明度修正、空区域跳过和质量指标，而不是只提高 slice count。

6. 梯度光照、阴影与程序细节

gradient lighting 用相邻体素差分估计局部梯度，把梯度归一化后当作法线，接入 Blinn–Phong 等局部模型。它能让边界更立体，但均匀区域的梯度很小，噪声也可能被放大；可以设置梯度阈值，或在预处理阶段保存更稳定的梯度。

局部光照不包含远距离的体积散射。更真实的效果可以在光源方向上再做一次半角切片或光照传播，把光线穿过体的衰减近似写入二维或三维缓冲。它会带来额外切片、纹理读取和合成成本，因此应该只在视觉目标确实需要时启用。

低分辨率体数据很难表达云、烟、火焰和毛发中的高频细节。原书还讨论了小噪声体：在不同尺度采样噪声，扰动光学属性或数据坐标，让粗糙的宏观体看起来更丰富。程序噪声不是凭空创造真实细节，过强的扰动会破坏医学数据的可解释性；在科学可视化和艺术特效之间要使用不同的默认值。

7. 性能：真正的瓶颈在片段和带宽

纹理体渲染容易把 rasterizer 推到瓶颈：少量大多边形会产生许多 fragment，透明代理几何又难以充分利用早期深度剔除。片段 shader 的复杂度、依赖纹理读取、3D texture cache 命中率和合成时的颜色缓冲读写都会影响结果。

优先检查以下旋钮：

1. 样本距离：降低相对采样率能直接减少切片和 fragment，但要同步做 opacity correction。
2. 代理几何：只生成与包围盒真正相交的多边形；不要用覆盖整个视口的大四边形代替精确切片。
3. 空区域跳过：用直方图、低分辨率 occupancy 或包围盒元数据跳过透明区域，减少无效片段。
4. 纹理格式：在可接受精度的前提下选择更小格式，必要时压缩或把多个字段打包进 RGBA。
5. shader 结构：把常用分类放进查找表，谨慎增加依赖纹理读取和复杂程序噪声。
6. 数据驻留：体数据、传递函数和中间缓冲尽量留在 GPU，避免每次交互都发生 CPU readback。

实验从视线对齐切片开始，再切换到半角方向、梯度光照和程序细节。先把样本数设为较低值，观察速度；再逐个打开空区域跳过、光照和噪声，记录画质与 lookup budget。真实发布前还应在目标设备上采集 GPU 时间，而不是把示意成本当作硬件测量。

8. 复用清单：从体数据到可发布渲染器

1. 数据契约：记录体数据尺寸、值域、边界 padding、格式和 3D texture 坐标约定。
2. 分类契约：写清传递函数输入、颜色是否预乘 alpha、采样率变化时怎样做透明度修正。
3. 几何契约：确认代理切片与包围盒相交、切片方向正确、顶点纹理坐标在数据空间中连续。
4. 合成契约：选择 front-to-back 或 back-to-front，保证切片排序、blend factor 和深度测试匹配。
5. 质量证据：用已知结构、窄薄层、透明区域和移动相机测试重建、边界、排序与 popping。
6. 性能证据：分别记录切片数、fragment 数、3D texture lookup、带宽、早期深度收益与交互延迟。

小结

• 直接体渲染沿视线采样三维数据，直接生成颜色和不透明度，不必先把内部结构提取成三角表面。
• 3D texture 保存体素；传递函数把值或值-梯度组合分类为光学属性；opacity correction 让采样率变化不至于改变整体强度。
• 视线对齐切片用代理几何驱动 GPU 光栅化，合成顺序和 over 公式必须匹配；front-to-back 还能在累计不透明度足够高时提前停止。
• 梯度光照、体积阴影和程序噪声可以增加立体感与细节，但会提高纹理读取、切片和片段成本，也可能放大数据噪声。
• 发布级体渲染要同时验证体素重建、传递函数、切片排序、边界与空区域跳过，并用目标 GPU profiler 分解真实瓶颈。