首先说一下走样:一般分为时域走样(如旋转车轮)和空域走样(锯齿),但在 TAA 技术是采用时域相关叠加混合技术来解决空域走样的问题。
简单看一下空域抗锯齿 (Spatial Anti-Aliasing, SAA)相关技术,最普及的莫过于 MSAA,被各大渲染引擎采用,但是 MSAA 并不适用于延迟渲染 (Deferred Rendering),随之出现了很多基于形态学的后处理抗锯齿技术,如 MLAA,FXAA,SMAA 等(具体看参见图形_反走样技术总结相关介绍),虽然他们表现良好且支持延迟渲染,但是都会面临时间稳定性不强的问题,TAA 刚好解决了这一点。
而近年来游戏引擎及RT相关技术中最常用的反走样方法是基于时间的反走样方法,它的假设是:整个场景很少发生大幅度的镜头/物体运动,帧与帧之间具有比较明显的连续性,上一帧某个物体的微小表面在下几帧中仍会出现(只是位置发生了较小移动)。我们知道,走样是因为采样不足,之前文章介绍过的方法是把采样点散布在二维空间里,这些可以统称为空间反走样方法(Spatial Anti-Aliasing),而基于时间的反走样则是把采样点散布在帧序列(时间)里,这样单帧渲染的压力就明显减小。

图片来源:知乎杨鼎超
理论上基于时间的反走样在场景运动不大的情况下效果和性能都显著好于其他各方案。
首先我们来看一下TAA在渲染管线中的实现如下图所示:

看完原理,我们来直观看一下这些AA技术的体现:

总体来说TAA分为 重投影 (Reverse Reprojection)、采样点累加(Accumulation)、数据验证(Rejection and Rectification) 三个主要点进行实现。
一、重投影 (Reverse Reprojection)
MSAA 是通过添加次像素点,来实现抗锯齿效果,需要消耗额外的内存。
TAA的原理和 SSAA 大致相同,都是每个像素点有多个采样点。但是不同与 SSAA 的方式,TAA (Temporal Anti-Aliasing) 综合历史帧的数据来实现抗锯齿,这样会将每个像素点的多次采样均摊到多个帧中,相对的开销要小得多。
因为每个像素需要的样本被分摊在了时间轴上,因此实际上每帧我们都只需渲染一个新的样本,然后将它和其他历史样本混合即可。考虑这样的情况:当整个场景完全不动的时候,每次我们获取的子样本位置都一样,那不论经过多少次混合,最终混合后的像素仍然是走样的,为此,我们需要在光栅化G-Buffer的阶段,在Projection Matrix之后再加上一个Jittered Matrix。这个Jitttered Matrix会根据一个样本分布的pattern对当前采样位置进行一个微小的偏移,保证每帧样本分布的位置都略微有所不同。这样经过混合即可产生反走样的效果。通常来说规则的采样点pattern效果不会太好,UE4使用的是Halton Sequence[High Quality Temporal Supersampling][Halton sequence - Wikipedia]。关于抖动采样的一个具体实现,这里有一篇介绍[Temporal Anti-Aliasing - Mali GPU and Vulkan]。
但是我们需要先知道的是,一般场景分为:静态场景与动态场景。对于静态物体,我们使用反投影的方法找到它的历史像素采样坐标;对于动态物体,我们使用反投影结合Motion Vector Buffer来获取历史像素坐标。
1.1 静态场景
首先来看处理静态场景的情况。在前面讲到 MSAA 时我们知道,实现抗锯齿要在一个像素中的多个位置进行采样。在 MSAA 中,我们在一帧中,在每个像素中放置了多个次像素采样点。在 TAA 中,我们实现的方式,就是在每帧采样时,将采样的点进行偏移,实现抖动 (jitter)。
采样点抖动的偏移,一般也叫偏移采样点 (Jittering Samples),和 MSAA 的次像素采样点放置是相同的,都需要使用低差异的采样序列,来实现更好的抗锯齿效果。
一般的采样点分布可能是均匀的:

但是这种均匀分布有时并不好,所以需要一种 Low-discrepancy 的点序列,如 Halton 或者 Sobol 分布。
使用 Low-discrepancy 点序列的好处在于:
-
任意子序列都是随机分布的,所以可以很快收敛
-
可避免均匀分布时,由于物体特定的运动使采样点无效的情况
所以TAA算法都会直接使用 Halton 序列,采样的点位置如下所示:

要对采样点进行偏移,我们只需要稍微修改下我们的透视投影矩阵。这部分比较简单,只需要将偏移的XY分量分别写入到投影矩阵的[2, 0] 和 [2, 1]即可。这样,当左边的向量值乘以新的投影矩阵时,最终得到裁剪空间的坐标也会相应偏移。稍微需要注意下的就是需要将偏移的值转化到裁剪空间中。

在代码中,这一步大致是这样的:
// 先将Halton序列的值转化为 -0.5~0.5范围的偏移;再除以屏幕长度,得到UV下的偏移值;最后乘以2,是转化到裁剪空间中的偏移值
ProjectionMatrix.m02 += (HaltonSequence[Index].x - 0.5f) / ScreenWidth * 2;
ProjectionMatrix.m12 += (HaltonSequence[Index].y - 0.5f) / ScreenHeight * 2;
当场景静止时,因为每一帧的投影矩阵都被微小偏移,所以我们可以直接混合某一点前几帧的值来实现抗锯齿。

但场景通常都是运动的,涉及到物体自身的运动和摄像机的运动,所以我们需要知道物体上的一点对应于上一帧的哪个位置。
1.2 动态场景
为了获取历史样本,我们需要一个称为reproject的过程,即反向投影 (Reverse Reprojection) 技术,也称之为重投影。
基本思想是:将当前帧渲染好后,存储在一张离屏帧缓冲里面,在渲染下一帧时,先将某个点反向投影,看是否可以在上一帧的帧缓冲里面找到(此处判断是否找到:根据物体ID、深度等信息),如果找到那么使用,否则认为此点在上一帧被遮挡,其值不能使用。
首先要考虑的是镜头的移动,镜头移动后,原来投射到某个像素上的物体,现在很可能不在原来的位置上了。假设物体是不动的,我们就可以使用当前帧的深度信息,反算出世界坐标,使用上一帧的投影矩阵,在混合计算时做一次重投影 Reprojection/重投影。

而反向投影技术在 TAA 实际使用时:对每一帧的几何体都变换投影两次,一次使用上一帧的变换矩阵,一次使用当前的变换矩阵,以此计算出几何体每一点的速度,存储在速度缓冲 Velocity Buffer (Motion Vector) 里面,供后续使用,对于被遮挡的点也进行标记。

Velocity Buffer 的精度十分重要,所以需要高的缓冲深度,而为了节省 Velocity Buffer 的带宽。

一些引擎 (如UE4) 只对运动物体计算速度,而对静止物体则在像素混合时再计算上一帧的位置。具体而言:借助 Stencil Texture,在 Velocity Buffer 中只存储运动物体相应的速度,而对静止物体,则在 TAA pass 阶段,再根据摄像机投影变换矩阵进行计算:

通俗点来说就是:首先根据当前像素的uv和depth以及当前相机的View Projection Matrix去反推出当像素的世界坐标,然后根据上一帧的View Projection Matrix计算出当前像素点在上一帧图像上的uv作为采样坐标。但只有这些还不够,原因是这里我们只考虑了相机的移动。如果物体本身也发生了移动呢?这里就需要另一个G-Buffer的辅助信息:Motion Vector Buffer。它是一般是一张RG16F的贴图(精度要求),通常用于提供运动模糊计算需要的信息。

此处有两个点需要注意:
-
当前这一点像素对应于上一帧的点不一定刚好在像素中心,所以获取上一帧颜色时,需要进行重采样,通常是借助 GPU 的双线性插值自动完成
-
由于速度缓冲和画面具有相同分辨率,所以速度缓冲本身就存在锯齿,这有可能会在几何体边缘引入新的锯齿现象,一个简单的方法是对速度缓冲里面所有的前景物体进行一次膨胀 (dilate) 操作。
经过反向投影操作,我们就能得到当前点在前几帧中的对应位置,下面来进行混合。
此外在实际的计算中,我们往往不会使用当前像素点位置对应的Motion Vector的值,而是在取该位置的领域中运动最剧烈的向量作为实际的Motion Vector(比如3×3的领域里的最大Motion Vector)。这样做的原因是,如果只考虑当前像素自身的运动,那么在运动物体(前景)和不运动物体(背景)交界处的背景像素就会因为没有运动而无法产生较好的反走样效果。

Motion Vector的选取,注意电线杆(前景)和天空(背景)的边缘处发生的变化
二、采样点累加(Accumulation)
2.1 帧混合原理
理论上,我们需要用当前帧和前面几帧的结果混合得到抗锯齿图像,即把所有历史像素和当前像素进行加权平均。:

676



被折叠的 条评论
为什么被折叠?



