GPU Gems 3 · Chapter 15. Playable Universal Capture

先问：为什么真人表情进了游戏仍然会“像贴纸”

想象演员做一个很轻的微笑：眉毛、眼皮、嘴角和脸颊会同时变化，皮肤上的阴影也会跟着移动。只把一张照片贴到会动的头模上，照片里的细节不会随这些变化一起走。

本章解决的是：怎样把真人表演的细小变化带进实时角色，又不把每一帧巨大的彩色图像全部塞进内存。没有这条路径，角色只能在“细节很少的手工动画”和“真实但无法交互的录像”之间二选一。

1. 让真实表演负责最难手工画出的细节

面部真实感难，不只是因为网格要精细，而是因为血管、肌肉、油脂、皱纹和自阴影会在一次表情中同时变化。Playable Universal Capture 的核心取舍是：让真实世界的物理过程负责产生这些细节，运行时只重放已经捕获的结果。

红外摄像机负责稳定追踪脸上的反光标记，三台同步的高清彩色摄像机记录颜色和光照变化。标记的三维运动驱动面部骨骼；随后把多视角图像重新投影、融合到每一帧的 UV 纹理。嘴唇内轮廓等无法布置标记的区域，再由少量额外骨骼和动画师补齐。

2. PCA：把动画帧投影到少数变化方向

把每一帧的 RGB 纹理按 UV 展开成一列，很多列组成动画矩阵。相邻帧的脸部变化高度相关：眉毛、眼睛和嘴角并不会每次都独立改变。因此可以先减去平均脸，再寻找“最能解释变化”的方向，而不是为每个像素、每一帧都保存一份完整图像。

SVD 给出三类运行时需要的东西：组件纹理保存空间基向量，奇异值告诉我们哪些组件更重要，权重描述当前帧如何组合这些组件。保留前 C 个组件会产生误差，但误差是可控的：C 越大，细节越多，存储和像素着色器点积也越贵。

3. GPU 解压：每个可见像素只做自己的点积

运行时不必把完整动画矩阵恢复到 CPU。组件纹理存储基向量，当前帧的 RGB 权重由 CPU 或动画系统更新；像素着色器读取当前 UV 的组件值，映射回原来的范围后做点积和累加。这项工作天然适合 GPU：每个可见像素都在执行同一套小计算，不可见区域也不会付出解压成本。

下面是与原书实现对应的 WebGL2 风格伪代码。组件被打包在纹理中，权重按当前帧更新；它不是完整引擎源码，但把“读组件 → 做 RGB 点积 → 加回均值”的逻辑放在同一处。

vec3 decompressPca(vec2 uv, int componentCount) {
  vec3 color = meanTexture(uv).rgb;
  for (int i = 0; i < MAX_COMPONENTS; ++i) {
    if (i >= componentCount) break;
    vec3 component = samplePackedComponent(uv, i);
    color += component * frameWeights[i];
  }
  return color;
}

如果把组件纹理按 RGBA 打包，单次纹理读取可以携带多个组件；如果画面只显示脸的一部分，像素着色器还会自然地跳过不可见区域。代价是纹理读取和点积次数会随着 C 增长，所以组件数必须和屏幕占比、目标硬件一起决定。

4. Variable PCA：把质量预算给人眼最敏感的区域

标准 PCA 对每个像素一视同仁，但观众不会这样看脸：眼睛的轻微错误比头发上的同等误差更容易被察觉。variable PCA 为眼睛、嘴唇、牙齿和脸部轮廓指定不同的组件数量，同时把这些区域打包进固定的纹理布局。这样可以在不把整张脸都升级到最高 C 的情况下，提升感知质量。

区域布局也改变了解压代码：shader 需要知道当前 UV 属于哪个 window，再选择对应的组件起点和数量。它牺牲了一点分支和打包复杂度，换来更有效的质量/内存曲线。远处角色可以降低整张 irradiance 或动态纹理的分辨率，近景角色则保留眼睛和嘴唇的高预算。

5. 从一段表演到可交互的表演图

压缩的好处不只在文件大小：线性组合可以先发生在权重空间。两个相邻表情的 PCA 权重混合后再解压，等价于先分别解压再对像素颜色做线性混合，却少了重复的整脸计算。把中性、微笑、眨眼、说话等片段连接成 motion graph，运行时就可以根据输入在片段之间平滑过渡。

但这不是任意片段都能无缝拼接。骨骼姿态、嘴唇内轮廓和颜色纹理要共享相同的 UV 与坐标约定；如果一个片段的标定、曝光或几何绑定不同，压缩空间中的线性混合也只会更快地混合出错误。正式资产应在进入图之前做标定、重采样和边界审查。

6. 三步把捕获结果落到实时播放

本章小结

• 多摄像机采集把真人微小表情和动态颜色带进 UV 资产
• PCA 用少数高方差方向近似大量相关动画帧
• GPU 解压让每个可见像素只承担自己的组件点积
• variable PCA 把组件预算给眼睛、嘴唇等高感知区域
• motion graph 可以先混合压缩权重，再实时重建表情

vec3 color = meanTexture(uv).rgb;
for (int i = 0; i < MAX_COMPONENTS; ++i) {
  color += samplePackedComponent(uv, i) * frameWeights[i];
}