Temporal Anti-Aliasing(时域抗锯齿TAA)

VIPTemporal Anti-Aliasing(时域抗锯齿TAA)
首先说一下走样:一般分为时域走样(如旋转车轮)和空域走样(锯齿),但在 TAA 技术是采用时域相关叠加混合技术来解决空域走样的问题。简单看一下空域抗锯齿 (Spatial Anti-Aliasing, SAA)相关技术,最普及的莫过于 MSAA,被各大渲染引擎采用,但是 MSAA 并不适用于延迟渲染 (Deferred Rendering),随之出现了很多基于形态学的后处理抗锯齿技术,如 MLAA,FXAA,SMAA 等(具体看参见图形_反走样技术总结相关介绍),虽然他们表现良好且支持延迟渲染,但是都会面
开通可读全文 ·1.4w 人阅读
最低0.47元/天 解锁文章

首先说一下走样:一般分为时域走样(如旋转车轮)和空域走样(锯齿),但在 TAA 技术是采用时域相关叠加混合技术来解决空域走样的问题。

简单看一下空域抗锯齿 (Spatial Anti-Aliasing, SAA)相关技术,最普及的莫过于 MSAA,被各大渲染引擎采用,但是 MSAA 并不适用于延迟渲染 (Deferred Rendering),随之出现了很多基于形态学的后处理抗锯齿技术,如 MLAA,FXAA,SMAA 等(具体看参见图形_反走样技术总结相关介绍),虽然他们表现良好且支持延迟渲染,但是都会面临时间稳定性不强的问题,TAA 刚好解决了这一点。

而近年来游戏引擎及RT相关技术中最常用的反走样方法是基于时间的反走样方法,它的假设是:整个场景很少发生大幅度的镜头/物体运动,帧与帧之间具有比较明显的连续性,上一帧某个物体的微小表面在下几帧中仍会出现(只是位置发生了较小移动)。我们知道,走样是因为采样不足,之前文章介绍过的方法是把采样点散布在二维空间里,这些可以统称为空间反走样方法(Spatial Anti-Aliasing),而基于时间的反走样则是把采样点散布在帧序列(时间)里,这样单帧渲染的压力就明显减小。

在这里插入图片描述
图片来源:知乎杨鼎超

理论上基于时间的反走样在场景运动不大的情况下效果和性能都显著好于其他各方案。

首先我们来看一下TAA在渲染管线中的实现如下图所示:
在这里插入图片描述
看完原理,我们来直观看一下这些AA技术的体现:
在这里插入图片描述

总体来说TAA分为 重投影 (Reverse Reprojection)、采样点累加(Accumulation)、数据验证(Rejection and Rectification) 三个主要点进行实现。

一、重投影 (Reverse Reprojection)

MSAA 是通过添加次像素点,来实现抗锯齿效果,需要消耗额外的内存。

TAA的原理和 SSAA 大致相同,都是每个像素点有多个采样点。但是不同与 SSAA 的方式,TAA (Temporal Anti-Aliasing) 综合历史帧的数据来实现抗锯齿,这样会将每个像素点的多次采样均摊到多个帧中,相对的开销要小得多。

因为每个像素需要的样本被分摊在了时间轴上,因此实际上每帧我们都只需渲染一个新的样本,然后将它和其他历史样本混合即可。考虑这样的情况:当整个场景完全不动的时候,每次我们获取的子样本位置都一样,那不论经过多少次混合,最终混合后的像素仍然是走样的,为此,我们需要在光栅化G-Buffer的阶段,在Projection Matrix之后再加上一个Jittered Matrix。这个Jitttered Matrix会根据一个样本分布的pattern对当前采样位置进行一个微小的偏移,保证每帧样本分布的位置都略微有所不同。这样经过混合即可产生反走样的效果。通常来说规则的采样点pattern效果不会太好,UE4使用的是Halton Sequence[High Quality Temporal Supersampling][Halton sequence - Wikipedia]。关于抖动采样的一个具体实现,这里有一篇介绍[Temporal Anti-Aliasing - Mali GPU and Vulkan]。

但是我们需要先知道的是,一般场景分为:静态场景与动态场景。对于静态物体,我们使用反投影的方法找到它的历史像素采样坐标;对于动态物体,我们使用反投影结合Motion Vector Buffer来获取历史像素坐标。

1.1 静态场景

首先来看处理静态场景的情况。在前面讲到 MSAA 时我们知道,实现抗锯齿要在一个像素中的多个位置进行采样。在 MSAA 中,我们在一帧中,在每个像素中放置了多个次像素采样点。在 TAA 中,我们实现的方式,就是在每帧采样时,将采样的点进行偏移,实现抖动 (jitter)。

采样点抖动的偏移,一般也叫偏移采样点 (Jittering Samples),和 MSAA 的次像素采样点放置是相同的,都需要使用低差异的采样序列,来实现更好的抗锯齿效果。

一般的采样点分布可能是均匀的:
在这里插入图片描述
但是这种均匀分布有时并不好,所以需要一种 Low-discrepancy 的点序列,如 Halton 或者 Sobol 分布。

使用 Low-discrepancy 点序列的好处在于:

  1. 任意子序列都是随机分布的,所以可以很快收敛

  2. 可避免均匀分布时,由于物体特定的运动使采样点无效的情况

所以TAA算法都会直接使用 Halton 序列,采样的点位置如下所示:
在这里插入图片描述

要对采样点进行偏移,我们只需要稍微修改下我们的透视投影矩阵。这部分比较简单,只需要将偏移的XY分量分别写入到投影矩阵的[2, 0] 和 [2, 1]即可。这样,当左边的向量值乘以新的投影矩阵时,最终得到裁剪空间的坐标也会相应偏移。稍微需要注意下的就是需要将偏移的值转化到裁剪空间中。
在这里插入图片描述
在代码中,这一步大致是这样的:

// 先将Halton序列的值转化为 -0.5~0.5范围的偏移;再除以屏幕长度,得到UV下的偏移值;最后乘以2,是转化到裁剪空间中的偏移值
ProjectionMatrix.m02 += (HaltonSequence[Index].x - 0.5f) / ScreenWidth * 2;
ProjectionMatrix.m12 += (HaltonSequence[Index].y - 0.5f) / ScreenHeight * 2;

当场景静止时,因为每一帧的投影矩阵都被微小偏移,所以我们可以直接混合某一点前几帧的值来实现抗锯齿。

在这里插入图片描述

但场景通常都是运动的,涉及到物体自身的运动和摄像机的运动,所以我们需要知道物体上的一点对应于上一帧的哪个位置。

1.2 动态场景

为了获取历史样本,我们需要一个称为reproject的过程,即反向投影 (Reverse Reprojection) 技术,也称之为重投影。

基本思想是:将当前帧渲染好后,存储在一张离屏帧缓冲里面,在渲染下一帧时,先将某个点反向投影,看是否可以在上一帧的帧缓冲里面找到(此处判断是否找到:根据物体ID、深度等信息),如果找到那么使用,否则认为此点在上一帧被遮挡,其值不能使用。

首先要考虑的是镜头的移动,镜头移动后,原来投射到某个像素上的物体,现在很可能不在原来的位置上了。假设物体是不动的,我们就可以使用当前帧的深度信息,反算出世界坐标,使用上一帧的投影矩阵,在混合计算时做一次重投影 Reprojection/重投影。

在这里插入图片描述

而反向投影技术在 TAA 实际使用时:对每一帧的几何体都变换投影两次,一次使用上一帧的变换矩阵,一次使用当前的变换矩阵,以此计算出几何体每一点的速度,存储在速度缓冲 Velocity Buffer (Motion Vector) 里面,供后续使用,对于被遮挡的点也进行标记。
在这里插入图片描述
Velocity Buffer 的精度十分重要,所以需要高的缓冲深度,而为了节省 Velocity Buffer 的带宽。

在这里插入图片描述
一些引擎 (如UE4) 只对运动物体计算速度,而对静止物体则在像素混合时再计算上一帧的位置。具体而言:借助 Stencil Texture,在 Velocity Buffer 中只存储运动物体相应的速度,而对静止物体,则在 TAA pass 阶段,再根据摄像机投影变换矩阵进行计算:
在这里插入图片描述

通俗点来说就是:首先根据当前像素的uv和depth以及当前相机的View Projection Matrix去反推出当像素的世界坐标,然后根据上一帧的View Projection Matrix计算出当前像素点在上一帧图像上的uv作为采样坐标。但只有这些还不够,原因是这里我们只考虑了相机的移动。如果物体本身也发生了移动呢?这里就需要另一个G-Buffer的辅助信息:Motion Vector Buffer。它是一般是一张RG16F的贴图(精度要求),通常用于提供运动模糊计算需要的信息。
在这里插入图片描述

此处有两个点需要注意:

  1. 当前这一点像素对应于上一帧的点不一定刚好在像素中心,所以获取上一帧颜色时,需要进行重采样,通常是借助 GPU 的双线性插值自动完成

  2. 由于速度缓冲和画面具有相同分辨率,所以速度缓冲本身就存在锯齿,这有可能会在几何体边缘引入新的锯齿现象,一个简单的方法是对速度缓冲里面所有的前景物体进行一次膨胀 (dilate) 操作。

经过反向投影操作,我们就能得到当前点在前几帧中的对应位置,下面来进行混合。

此外在实际的计算中,我们往往不会使用当前像素点位置对应的Motion Vector的值,而是在取该位置的领域中运动最剧烈的向量作为实际的Motion Vector(比如3×3的领域里的最大Motion Vector)。这样做的原因是,如果只考虑当前像素自身的运动,那么在运动物体(前景)和不运动物体(背景)交界处的背景像素就会因为没有运动而无法产生较好的反走样效果。
在这里插入图片描述

Motion Vector的选取,注意电线杆(前景)和天空(背景)的边缘处发生的变化

二、采样点累加(Accumulation)

2.1 帧混合原理

理论上,我们需要用当前帧和前面几帧的结果混合得到抗锯齿图像,即把所有历史像素和当前像素进行加权平均。:
在这里插入图片描述

VIP 有关TAA抗锯齿的简单介绍和在UE4中解决一些简单的抗锯齿问题 具体来说,当图像中的几何形状或颜色值发生变化时,比如线条或物体的边缘,像素值可能会从一种颜色值突然变为另一种颜色值,这时候如果像素的尺寸足够大,锯齿效应就不明显了,但如果像素尺寸变小,比如在高分辨率的显示器上,锯齿效应就会变得明显。这是由于计算机图形学是基于离散化的表示方法,将连续的几何形状或颜色值转换为离散的像素值,导致图像的细节表现不充分,从而出现锯齿。3.高效:这是TAA最大的特点,相比于一些传统的抗锯齿技术,如超采样和多重采样等,TAA的计算开销较小,同时也能够在实时渲染中达到较好的效果。 开通可读全文·3.7k 阅读·0 点赞·1 收藏 阅读全文

相关推荐

Temporal Anti-Aliasing实战解析:从原理到Unity引擎实现

本文深入解析Temporal Anti-Aliasing(TAA)技术,从基本原理到Unity引擎实现,详细介绍了抖动采样、运动向量计算等核心工作原理,并提供了解决鬼影、透明物体处理等常见问题的实战技巧。通过性能优化与质量调优,帮助开发者高效实现高质量的抗锯齿效果。

weixin_30955617的博客 676

Temporal Anti-Aliasing(TAA)实战解析:从原理到工程优化

本文深入解析Temporal Anti-Aliasing(TAA)技术,从核心原理到工程优化实践。通过对比传统抗锯齿方案,详细拆解TAA的时空采样策略、运动向量处理及帧混合技术,并提供鬼影消除、性能优化等实战技巧,帮助开发者高效实现高质量实时渲染效果。

tensor9flow的博客 314

Unity抗锯齿实战选型:MSAA、FXAA、TAA性能与画质深度对比

抗锯齿(Anti-Aliasing)是计算机图形学中用于消除渲染图像边缘锯齿状瑕疵的核心技术。其基本原理是通过对像素进行超采样或后处理混合,平滑高对比度边缘。这项技术对于提升实时渲染的视觉保真度至关重要,直接影响游戏、虚拟现实等应用的沉浸感与画面品质。从经典的MSAA到高效的FXAA,再到主流的TAA,每种方案在性能开销、画质表现与兼容性上各有侧重。本文基于Unity引擎的实战测试数据,深入剖析了这三种主流抗锯齿方案在移动端、PC等不同硬件平台下的性能表现与视觉差异,并提供了结合项目类型与性能预算的精准选型

weixin_33770878的博客 376

Unity3D抗锯齿技术全解析:从MSAA到TAA的实战配置与性能优化

在实时图形渲染中,锯齿(Jaggies)是由于屏幕像素离散化采样连续几何边缘而产生的视觉瑕疵。抗锯齿(Anti-Aliasing)技术通过多重采样、后处理滤波或时间累积等原理,平滑边缘以提升图像质量。其技术价值在于平衡视觉保真度与渲染性能,是游戏开发、虚拟现实和三维可视化等领域的基础课题。应用场景涵盖从PC/主机高性能渲染到移动端性能敏感项目。本文聚焦Unity3D引擎,深入探讨MSAA、FXAA、SMAA和TAA等主流方案的实现原理,并结合Unity Terrain等典型用例,提供跨渲染管线的参数调优与多

weixin_34284188的博客 398

Unity抗锯齿技术深度解析:从MSAA到TAA的原理、性能与实战应用

抗锯齿(Anti-Aliasing)是计算机图形学中解决图像边缘锯齿问题的核心技术,其本质是通过采样或滤波技术来平滑离散像素显示的连续图形边缘。从原理上可分为基于硬件多重采样的MSAA和基于屏幕后处理的FXAA、SMAA、TAA等方案,每种技术都有其特定的实现机制与性能开销。在技术价值上,抗锯齿能显著提升视觉质量,减少边缘闪烁与摩尔纹,是高品质实时渲染的基石。应用场景覆盖PC、主机及移动端游戏开发,需根据目标平台性能、渲染管线及画质要求进行选型。本文聚焦Unity引擎中的抗锯齿实战,深入剖析MSAA的硬件特

weixin_30470643的博客 448

Unity URP抗锯齿技术全解析:FXAA、SMAA、TAA原理对比与实战选型

抗锯齿(Anti-Aliasing)是计算机图形学中解决图像边缘锯齿问题的核心技术,其本质是通过算法对离散像素采样进行优化,以平滑连续几何边缘的视觉表现。从原理上可分为空间域与时间域两大类:空间域算法(如FXAA、SMAA)基于单帧图像进行边缘检测与混合,而时间域算法(如TAA)则利用多帧历史信息实现更优的动态稳定性。在Unity URP(通用渲染管线)架构下,抗锯齿作为后处理效果实现,需根据渲染路径(前向/延迟)进行适配——延迟渲染路径依赖后处理方案,前向渲染则可结合硬件MSAA。对于工程实践,FXAA以

chuange6363的博客 434

Unity抗锯齿优化实战:从MSAA到TAA的性能与画质平衡指南

在实时图形渲染中,锯齿现象源于信号处理的欠采样问题,表现为像素化边缘。抗锯齿技术通过多重采样、后处理滤波或时间累积等原理,在连续图像与离散像素网格间重建平滑视觉。其技术价值在于提升视觉保真度、减少动态闪烁,并直接影响用户体验与性能开销。应用场景涵盖游戏开发、虚拟现实、建筑可视化等所有实时3D渲染领域。本文聚焦Unity引擎,深入解析MSAA、FXAA、SMAA、TAA等核心算法的实现机制,并针对移动端与WebGL平台,提供基于性能分析的优化策略,解决如“unity webgl初始化很久”等常见性能瓶颈,帮助

weixin_30608503的博客 412

Unity抗锯齿技术全解析:从MSAA到TAA的实战选型与性能优化

抗锯齿是计算机图形学中解决像素离散化导致边缘锯齿问题的关键技术。其核心原理是通过多重采样、后处理滤波或时域累积等方法,对图像边缘进行平滑处理。这项技术的价值在于显著提升视觉保真度,是游戏、数字孪生、仿真可视化等实时渲染应用不可或缺的一环。不同的抗锯齿技术,如硬件支持的MSAA、后处理的FXAA/SMAA以及时域的TAA,在效果、性能开销和适用场景上各有侧重。例如,MSAA对几何边缘平滑自然但开销固定,而FXAA能以极低开销处理全屏锯齿但可能引入模糊。在Unity引擎中,开发者需要根据项目所使用的渲染管线、目

aodiyi6351的博客 420

UE5抗锯齿实战:如何用TAA解决闪烁问题(附参数优化指南)

本文深入探讨了UE5中TAA(时间性抗锯齿)技术如何有效解决画面闪烁问题,并提供了详细的参数优化指南。通过基础参数配置、高级优化技巧以及材质层面的策略,帮助开发者显著提升视觉质量。文章还介绍了诊断工具链,助力快速定位并解决顽固闪烁问题。

solidity8miner的博客 429

Unity 时间抗锯齿(Temporal Antialiasing, TAA)技术解析

时间抗锯齿(TAA)是一种通过积累多帧渲染数据来提升画面平滑度的实时抗锯齿技术。相比传统方案,TAA通过帧间抖动采样、运动向量追踪和多帧数据融合等步骤,在低性能开销下有效减少锯齿和闪烁。其核心优势在于对动态场景的稳定处理,但需平衡抗锯齿效果与可能产生的模糊或拖尾问题。TAA特别适合3D实时渲染场景,已成为现代游戏和虚拟仿真的主流抗锯齿方案,但需要精细调校参数以优化效果。

will_csdn_go的博客 2525

unity hdrp的TAA

入口 当hdrp开启了后处理后会执行PostProcessSystem.cs的Render,然后如果开启了taa则执行taaEnabled中的内容 获取历史和申请当前颜色rt,获取历史移动速度和当前移动速度rt GrabTemporalAntialiasingHistoryTextures主要收集历史颜色rt和申请当前颜色rt的。 GrabVelocityMagnitudeHistoryTextures主要是收集历史速度变化rt和当前速度变化rt的。 TAA核心 DoTempo.

llsansun的博客 9954

【Unity的URP渲染管线下实现扩展后处理Volume组件_TemporalAntiAliasing(TAA)_案例分享(附带下载链接)】

设置完毕参数后,在电脑上显示一切正常,但打包出来在电视上就会报错。

暴走约伯的博客 1000

树莓派教程(基于python编程)--入门篇

一:格式化SD卡 SD卡插入读卡器连接电脑,使用SDFormatter对SD卡进行格式化 (重装烧录也要进行着SD卡格式化操作) 二:下载官方镜像 http://downloads.raspberrypi.org/raspbian_latest 三:烧录SD卡 使用Win32DiskImager将镜像烧录到格式化后的SD卡 SD卡盘根目录(/boot)下新建一个命名为ssh的...

qq_42109746的博客 6万+

intel-VROC raid卡驱动 centos7.9

u盘进入系统,按e,在出现下面在quiet前面输入inst.dd initcall_blacklist=vmd_drv_init 后按Ctrl和x,开始引导。进入系统,按e,在出现下面在quiet前面输入inst.dd inicll_blacklist=vmd_drv_init 后按Ctrl和x,开始引导。驱动完成后,在输入 c 回车, 引导过程开始,进入安装界面。输入1 ,选择这个ISO驱动文件里的rpm包。输入1 ,选择这个ISO驱动文件里的rpm包。vi编辑 /etc/default/grub。

dacming的博客 4548

Multisim14.2新建项目教程

这里用一个案例,具体说明电路仿真分析的基本流程。等。本案例的电路目的:对一个交流小信号进行采样、放大,将交流小信号转换成脉冲信号。然后用一个简单的数字计数器对脉冲信号的周期进行计数,并用七段数码管和发光二极管显示计数过程。启动Multisim 14.2软件,在“工作区”出现一个名为“设计1”的空白图纸,选择“文件”→“另存为(a)…”,出现一个标准的Windows保存文件对话框。按导航定位到要保存文件的位置,输入“×××”作为文件名,然后单击“保存”按钮。注意。

Skiko的博客 4041

使用TMS320F28335控制四位共阳数码管

简要阐述利用F28335控制四位共阳数码管的整个过程,包括原理、思路、部分代码以及调试过程。

liujunhaozuishuai的博客 2662

从零开始:使用Mask2Former训练你的专属图像分割数据集

本文详细介绍了如何使用Mask2Former训练自定义图像分割数据集,从环境配置、数据集准备到模型训练与优化。通过实战技巧和问题排查指南,帮助开发者高效完成从零开始的图像分割任务,特别适合需要处理自定义数据集的AI研究人员和工程师。

weixin_30566063的博客 656

华为od 面试八股文_C语言_01_含答案

华为od 面试八股文_C语言_01_含答案

MISAYAONE的博客 3240

智能测试策略优化:平衡覆盖率、时间和资源

在软件开发过程中,测试是确保软件质量的关键环节。然而,测试工作往往面临着诸多挑战,其中如何在保证测试覆盖率的前提下,合理分配时间和资源是一个核心问题。本文章的目的在于探讨智能测试策略的优化方法,帮助软件测试团队在有限的时间和资源条件下,实现尽可能高的测试覆盖率。文章的范围涵盖了智能测试策略的核心概念、算法原理、数学模型、实际应用案例以及相关工具和资源等方面。本文将按照以下结构进行组织:首先介绍智能测试策略优化的背景和相关概念,包括核心术语和缩略词的定义;

AIGC应用创新大全的博客 623

【云原生技术】helm中Chart.yaml、values.yaml、_helpers.tpl 各自的写法与作用

Chart.yaml、values.yaml、_helpers.tpl 各自的写法与作用 在一个标准的 Helm Chart 中,通常会包含以下关键文件: - **Chart.yaml** - **values.yaml** - **templates/`_helpers.tpl`** - 以及若干模板文件(`deployment.yaml`、`service.yaml` 等) 下面分别介绍这几个文件的作用、常见字段及其含义。

weixin_46453070的博客 758

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: Global Illumination_Voxel Area Lighting (VXAL)
下一篇: Global Illumination_Linearly Transformed Cosines (LTC)
沉默的舞台剧
博客等级 码龄10年 1539粉丝 233原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址