在第一篇文章 時(shí)空藍(lán)色噪聲實(shí)時(shí)渲染，第 1 部分 中，我們將時(shí)間軸和重要性采樣引入藍(lán)色噪波紋理。在這篇文章中，我們將深入了解，展示一些擴(kuò)展，并解釋一些最佳實(shí)踐。

藍(lán)色噪音是如何工作的，為什么？

藍(lán)色噪波紋理中的相鄰像素彼此具有非常不同的值，包括環(huán)繞相鄰像素，就像紋理是平鋪的一樣。假設(shè)您有一個(gè)渲染像素的函數(shù)

，在 x 中的小變化導(dǎo)致 y 中的小變化， x 中的大變化導(dǎo)致 y 中的大變化。

當(dāng)為 x 輸入非常不同的鄰居值時(shí)，也會(huì)為 y 輸出非常不同的鄰居值，從而使渲染結(jié)果具有藍(lán)色噪波錯(cuò)誤模式。除非像素渲染函數(shù)是散列函數(shù)，否則此假設(shè)通常適用于幾何體邊或著色不連續(xù)。

還值得注意的是，時(shí)空藍(lán)色噪聲中的每個(gè)像素都是隨時(shí)間推移的漸進(jìn)藍(lán)色噪聲序列，但從序列中的任何一點(diǎn)開(kāi)始都是漸進(jìn)的。這可以在查看 DFT 時(shí)看到，并記住傅里葉變換假設(shè)被變換序列的無(wú)限重復(fù)。

藍(lán)色噪波中沒(méi)有會(huì)扭曲頻率內(nèi)容的接縫。這意味著，當(dāng)使用 TAA 時(shí)，每個(gè)像素在不同的時(shí)間線上拋出其歷史記錄，當(dāng)拒絕歷史記錄時(shí)，每個(gè)像素立即處于良好的漸進(jìn)采樣序列上，而不是處于較差的序列上，直到序列重新啟動(dòng)，這在其他采樣策略中很常見(jiàn)。這樣，時(shí)空藍(lán)色噪聲中的每個(gè)像素都是環(huán)形漸進(jìn)的。

值得一提的是，在 TAA 下運(yùn)動(dòng)的像素失去了時(shí)間上的好處，我們的噪聲就如同純粹的空間藍(lán)色噪聲。然而，在一瞬間仍然是偶數(shù)的像素獲得了時(shí)間穩(wěn)定性和較低的誤差，當(dāng)它們?cè)俅芜\(yùn)動(dòng)時(shí)，這將由 TAA 攜帶。在這些情況下，我們的噪聲并不比空間藍(lán)色噪聲差，因此應(yīng)始終使用它，以在可用的情況下獲得好處，并在其他情況下不會(huì)更差。

圖 1a 所有像素靜止時(shí)光線跟蹤 AO 的收斂速度

圖 1b 所有像素運(yùn)動(dòng)時(shí)光線跟蹤 AO 的收斂速度

藍(lán)色噪聲去噪

由于數(shù)字信號(hào)處理的原因，藍(lán)色噪聲比白色噪聲更容易從圖像中去除。白噪聲在所有頻率中具有隨機(jī)化，而藍(lán)噪聲僅在高頻中具有隨機(jī)化。

模糊（如長(zhǎng)方體濾波器或高斯模糊）是一種低通濾波器，這意味著它可以去除高頻，但可以保持低頻。

當(dāng)白噪聲模糊時(shí)，由于低通濾波器的低頻隨機(jī)化，它會(huì)變成噪聲斑點(diǎn)。

當(dāng)藍(lán)色噪聲模糊時(shí)，高頻噪聲消失，圖像的低頻部分保持不變。

藍(lán)色噪聲在其創(chuàng)建過(guò)程中使用高斯能量函數(shù)，因此經(jīng)過(guò)優(yōu)化，可以通過(guò)高斯模糊去除。如果您使用高斯函數(shù)模糊藍(lán)色噪聲，并且看到噪聲斑點(diǎn)仍然存在，這意味著您必須在模糊中使用較大的 sigma ，因?yàn)樗{(lán)色噪聲通過(guò)濾波器的頻率較低。在去除這些斑點(diǎn)和在去噪圖像中保留更多細(xì)節(jié)之間可能存在一種平衡。這取決于你的喜好。

圖 2 、 3 和 4 顯示了在使用原始噪聲和去噪時(shí)，藍(lán)色噪聲與白色噪聲的比較。

在圖 3 中，兩個(gè)圖像總共只有八種顏色，因?yàn)樗鼈兠總€(gè)顏色通道只有 1 位。藍(lán)色噪聲 – 抖動(dòng)圖像中有更多可識(shí)別和更精細(xì)的細(xì)節(jié)！

要了解為什么藍(lán)色噪聲比白色噪聲去噪效果更好，請(qǐng)?jiān)陬l率空間中查看它們。通過(guò)卷積應(yīng)用高斯模糊，這與頻率空間中的逐像素乘法相同。

如果你用高斯核頻率乘以藍(lán)色噪聲頻率，就什么都不剩了，而且全是黑色的；高斯模糊消除藍(lán)色噪聲。

如果你用高斯核頻率乘以白噪聲頻率，你會(huì)得到高斯核頻率的形狀（低頻），但它們是隨機(jī)的。這些是模糊白噪聲后留下的斑點(diǎn)。

圖 5 顯示了藍(lán)噪聲、白噪聲和高斯模糊核的頻率大小。

圖 5a 藍(lán)色噪音中出現(xiàn)的頻率 圖 5b 白噪聲中存在的頻率 圖 5c 高斯模糊低通濾波器中的頻率。

平鋪藍(lán)色噪音

由于沒(méi)有任何較大的比例（較低的頻率）內(nèi)容，藍(lán)色噪聲平鋪良好。圖 6 顯示了這一點(diǎn)，但也顯示了藍(lán)色噪波平鋪在較低分辨率下變得更加明顯。這一點(diǎn)很重要，因?yàn)樗{(lán)色噪波紋理通常在屏幕上平鋪，并在屏幕空間中使用。如果在使用藍(lán)色噪波時(shí)注意到平鋪，則應(yīng)嘗試使用分辨率更高的藍(lán)色噪波紋理。

圖 6a 128 × 128 藍(lán)色噪波紋理平鋪 4 × 4 次 圖 6b 16 × 16 藍(lán)色噪波紋理平鋪 32 × 32 次

每像素獲取多個(gè)值

有時(shí)，您可能希望每個(gè)像素具有多個(gè)時(shí)空藍(lán)色噪波值，例如在渲染每個(gè)像素的多個(gè)采樣時(shí)。

一種方法是以固定的偏移量讀取紋理。例如，如果在（像素 x ，像素 y ） %textureSize 處讀取第一個(gè)值，則可能在（像素 x + 5 ，像素 y + 7 ） %textureSize 處讀取第二個(gè)值。這本質(zhì)上為您提供了一個(gè)不相關(guān)的時(shí)空藍(lán)色噪波值，就像您有第二個(gè)正在讀取的時(shí)空藍(lán)色噪波紋理一樣。

之所以這樣做，是因?yàn)樗{(lán)色噪波紋理僅在短距離內(nèi)具有相關(guān)性。在長(zhǎng)距離情況下，這些值是不相關(guān)的，如圖 7 所示。

圖 7 。 64 × 64 藍(lán)色噪聲紋理的自相關(guān)。這表明，彼此相距約 7 個(gè)像素的像素可以具有相關(guān)性，而較大的距離是不相關(guān)的。

理想情況下，如果您想要 N 時(shí)空藍(lán)色噪波值，則應(yīng)在彼此最大間隔的 N 偏移處讀取藍(lán)色噪波紋理。這樣做的一個(gè)好方法是有一個(gè)漸進(jìn)的低差異序列，在其中插入隨機(jī)數(shù)索引，它會(huì)為您提供一個(gè)讀取紋理的偏移量。

我們已經(jīng)非常成功地使用 馬丁·羅伯特的 R2 序列 插入索引，在［0 ， 1］中獲得 2D 向量，然后乘以藍(lán)色噪波紋理大小以獲得要讀取的偏移量。

不過(guò)，還有另一種方法可以通過(guò)向每個(gè)像素添加秩 1 晶格來(lái)獲得每個(gè)像素的多個(gè)值。這樣做時(shí)，它類似于晶格上的 Cranley-Patterson 旋轉(zhuǎn)，但使用藍(lán)色噪聲而不是白色噪聲。

對(duì)于標(biāo)量藍(lán)色噪聲，我們使用黃金比率或二的平方根得到了很好的結(jié)果。

對(duì)于非單位 vec2 藍(lán)色噪聲，我們使用 Martin Robert 的 R2 序列得到了很好的結(jié)果。

實(shí)際上，您可以使用相同的方法將 2D 藍(lán)色噪波紋理轉(zhuǎn)換為時(shí)空藍(lán)色噪波，但在該過(guò)程中會(huì)丟失一些質(zhì)量。有關(guān)更多信息，請(qǐng)參閱 SIGGRAPH 2021 年關(guān)于此方法的論文 使用藍(lán)色噪聲誤差分布構(gòu)建屏幕空間采樣器時(shí)的經(jīng)驗(yàn)教訓(xùn)和改進(jìn) 。

這種方法有時(shí)比時(shí)空藍(lán)噪聲收斂得更好，但誤差圖更不穩(wěn)定，使其時(shí)間穩(wěn)定性降低，并破壞藍(lán)噪聲頻譜。圖 8 顯示了頻率損傷，圖 8 顯示了一些收斂行為。有關(guān)收斂特性的更多信息，請(qǐng)參閱本文后面的簡(jiǎn)單函數(shù)收斂部分。

圖 8 。黃金比例動(dòng)畫藍(lán)色噪聲（頂部）和時(shí)空藍(lán)色噪聲（底部）的頻率構(gòu)成。黃金比例動(dòng)畫藍(lán)色噪波在不同幀上具有不均勻的頻率構(gòu)成，這導(dǎo)致渲染在時(shí)間上不如時(shí)空藍(lán)色噪波穩(wěn)定。

圖 9 顯示了將真實(shí)矢量時(shí)空藍(lán)色噪聲與 R2 低差異序列進(jìn)行比較的圖表， R2 低差異序列使用單個(gè)矢量藍(lán)色噪聲紋理進(jìn)行 Cransley-Patterson 旋轉(zhuǎn)。

圖 9 。各種噪聲類型的收斂速度。白噪聲最差，重要采樣時(shí)空藍(lán)噪聲最好。在中間，從 2D 藍(lán)色噪聲開(kāi)始的秩 1 晶格可以比均勻時(shí)空藍(lán)噪聲更好，但也更不穩(wěn)定，并且在空間上破壞噪聲。

這兩種方法是其他方法之前設(shè)置藍(lán)色噪波動(dòng)畫的方式。藍(lán)色噪波紋理在每幀上偏移，這使其在空間上為藍(lán)色噪波，在時(shí)間上為白色噪波，或者在低差異序列中播種藍(lán)色噪波值，使其在空間上為損壞的藍(lán)色噪波，但在時(shí)間上為良好的收斂序列。

通過(guò)曲線反演生成矢量值時(shí)空藍(lán)噪聲

如果你有一個(gè)標(biāo)量時(shí)空藍(lán)色噪聲紋理，你可以把它通過(guò)一個(gè)倒置的莫頓或希爾伯特曲線，使它成為一個(gè)向量值時(shí)空藍(lán)色噪聲紋理。我們用希爾伯特曲線得到了更好的結(jié)果。雖然這些紋理的表現(xiàn)不如其他制造時(shí)空藍(lán)色噪聲的方法，但速度要快得多，甚至可以實(shí)時(shí)完成（圖 10 ）。

這種方法的一個(gè)有趣之處是，我們發(fā)現(xiàn)它可以很好地處理各種抖動(dòng)掩模或其他標(biāo)量值（灰度）噪聲模式：拜耳矩陣 交錯(cuò)梯度噪聲 ，甚至是樣式化的噪聲模式。

在所有這些情況下，當(dāng)在渲染中使用向量時(shí)，會(huì)導(dǎo)致錯(cuò)誤模式，這些錯(cuò)誤模式采用源紋理的特性和外觀。這對(duì)于樣式化的噪波渲染可能很有趣，但也意味著將來(lái)，如果發(fā)現(xiàn)其他標(biāo)量采樣遮罩，則可以使用此方法將它們轉(zhuǎn)換為具有相同屬性的向量值遮罩。

圖 10 。曲線反演可以產(chǎn)生比白噪聲更好的矢量值時(shí)空藍(lán)噪聲，但不如改進(jìn)的 BNDS 算法產(chǎn)生的矢量值藍(lán)噪聲。

分層

只有在下列條件成立時(shí)，向量值時(shí)空藍(lán)色噪聲的能量函數(shù)才能修改為返回非零：

像素來(lái)自相同的切片（相同的 z 值）

交換中涉及的像素的時(shí)間直方圖不會(huì)變差

如果你這樣做，你最終會(huì)得到在空間上呈藍(lán)色，但隨著時(shí)間分層的噪音；分層順序是隨機(jī)的。因?yàn)榉謱硬皇菨u進(jìn)的，所以在采集所有樣本之前，它不會(huì)很好地收斂，但在這一點(diǎn)上效果很好（圖 11 ）。

圖 11 。可以使用改進(jìn)的 BNDS 算法產(chǎn)生在空間上呈藍(lán)色且隨時(shí)間分層的噪聲。收斂圖顯示它是非漸進(jìn)的，但當(dāng)所有樣本都被采集時(shí)，它的性能相當(dāng)好。

高維藍(lán)噪聲

產(chǎn)生時(shí)空藍(lán)色噪聲的算法并不局限于 3D 。雖然到目前為止，我們還沒(méi)有找到這些算法的使用案例，但這些算法可以進(jìn)行簡(jiǎn)單的修改，以產(chǎn)生各種高維的藍(lán)色噪聲。如果時(shí)空藍(lán)色噪聲是 2Dx1D ，因?yàn)樗?XY 上是 2D 藍(lán)色噪聲，在 Z 上是 1D 藍(lán)色噪聲，圖 12 顯示了 4D 藍(lán)色噪聲的頻率大小，分別是 2Dx2D 和 2Dx1Dx1D ，尺寸為 64x64x16x16 。

圖 12 。 2Dx2D 和 2Dx1Dx1D 四維藍(lán)色噪聲在二維平面投影上的頻率構(gòu)成。紋理為 64x64x16x16 。

點(diǎn)集

使用 void 和 cluster 算法生成的藍(lán)色噪波紋理可以閾值化為一個(gè)百分比值。許多像素在閾值化后存活下來(lái)，它們是藍(lán)色噪聲分布的。我們的標(biāo)量值時(shí)空藍(lán)噪聲紋理具有相同的屬性，并產(chǎn)生時(shí)空藍(lán)噪聲點(diǎn)集。圖 13 顯示了標(biāo)量時(shí)空藍(lán)色噪聲紋理的閾值點(diǎn)，以及這些閾值點(diǎn)的頻率振幅。

圖 13 。對(duì)時(shí)空藍(lán)色噪波紋理設(shè)置閾值，以生成時(shí)空藍(lán)色噪波點(diǎn)集。

這些點(diǎn)集使得每一幀的像素都以令人愉悅的空間藍(lán)色噪聲的方式分布，但每一幀也會(huì)得到不同的點(diǎn)集。這意味著，與白噪波或其他動(dòng)畫藍(lán)噪波方法相比，隨著時(shí)間的推移，您可以獲得更多獨(dú)特的像素。圖 14 顯示了圖像的五幀累積樣本，使用重要性圖作為每像素藍(lán)色噪聲閾值。我們的噪波以最快的速度對(duì)最獨(dú)特的像素進(jìn)行采樣，同時(shí)在空間上也提供了一個(gè)漂亮的藍(lán)色噪波圖案。

圖 14 。五幀累積樣本，使用重要性圖對(duì)每幀圖像進(jìn)行隨機(jī)采樣。時(shí)空藍(lán)色噪聲以最快的速度對(duì)最獨(dú)特的像素進(jìn)行采樣，從而在每一幀中提供最大數(shù)量的新信息。

單函數(shù)收斂

在本節(jié)中，我們將討論使用常見(jiàn)噪聲類型的簡(jiǎn)單函數(shù)在蒙特卡羅積分和指數(shù)移動(dòng)平均下的收斂性，以模擬 TAA 。

標(biāo)量蒙特卡羅積分

圖 15 顯示了 Monte Carlo 積分下的收斂速度，就像您在每像素采集多個(gè)樣本時(shí)所做的一樣。 HB LDBN 來(lái)自 一種低偏差取樣器，將蒙特卡羅誤差作為藍(lán)色噪聲分布在屏幕空間中 。雖然低差異序列可以比 STBN 做得更好，但它在時(shí)間上更穩(wěn)定，并且由于在空間上是藍(lán)色噪聲而產(chǎn)生良好的感知誤差。 STBN 偏移量 1 / 3 表明，如果從序列中的任意位置啟動(dòng) STBN ，它仍然保持良好的收斂特性。這表明 STBN 是環(huán)向漸進(jìn)的。

圖 15 。在蒙特卡羅積分下使用各種類型的噪聲進(jìn)行標(biāo)量函數(shù)收斂。時(shí)空藍(lán)噪聲并不總是最佳收斂，但它確實(shí)比白噪聲收斂得更好，并且在時(shí)間上是穩(wěn)定的。

標(biāo)量指數(shù)移動(dòng)平均

圖 16 顯示了指數(shù)移動(dòng)平均下的收斂速度。指數(shù)移動(dòng)平均值以 0.1 的值從上一個(gè)值線性插值到下一個(gè)值。這模擬了無(wú)重投影或鄰域采樣拒絕的 TAA 。

圖 16 。利用指數(shù)移動(dòng)平均下各種類型噪聲的標(biāo)量函數(shù)收斂性來(lái)模擬 TAA 。時(shí)空藍(lán)色噪聲并不總是最佳收斂，但它確實(shí)比白色噪聲收斂得更好，并且在時(shí)間上是穩(wěn)定的，同時(shí)也是環(huán)形漸進(jìn)的，如與紅線幾乎匹配的藍(lán)色脈沖所示。

Vec2 蒙特卡羅積分

圖 17 顯示了蒙特卡羅積分下的收斂速度。標(biāo)量 STBN 使用 R2 紋理偏移方法讀取此 2D 積分的兩個(gè)標(biāo)量值。因此，它在階躍函數(shù)（最終是一個(gè)一維問(wèn)題）和雙線性函數(shù)（最終是一個(gè)軸對(duì)齊問(wèn)題）中的性能優(yōu)于向量 STBN 。重要抽樣有任何錯(cuò)誤的原因都是由于向量和 PDF 值的離散化。

圖 17 。使用 vec2 噪聲的 vec2 函數(shù)的 Monte Carlo 收斂速度

指數(shù)移動(dòng)平均數(shù)

圖 18 顯示了 EMA 下的收斂。指數(shù)移動(dòng)平均值以 0.1 的值從上一個(gè)值線性插值到下一個(gè)值。這模擬了無(wú)重投影或鄰域采樣拒絕的 TAA 。

圖 18 。使用 vec2 噪聲的 vec2 函數(shù)的指數(shù)移動(dòng)平均收斂速度。這將模擬 TAA 下的行為

結(jié)論

雖然藍(lán)色噪聲采樣點(diǎn)近年來(lái)取得了進(jìn)步，但幾十年來(lái)，藍(lán)色噪聲紋理似乎在很大程度上被忽略了。如圖所示，時(shí)空藍(lán)色噪聲紋理對(duì)于實(shí)時(shí)渲染具有幾個(gè)理想的特性，在實(shí)時(shí)渲染中只能提供較低的采樣數(shù)：良好的空間誤差模式、更好的時(shí)間穩(wěn)定性和收斂性，以及環(huán)形漸進(jìn)性，僅舉幾例。

我們認(rèn)為，這些紋理只是開(kāi)始，因?yàn)檫€有其他幾種改進(jìn)采樣紋理的可能性，無(wú)論它們是基于藍(lán)色噪波的、混合的還是完全其他的。

但值得注意的是，還有其他方法可以在樣本數(shù)最低的情況下獲得很好的結(jié)果。例如， NVIDIA RTXDI 也適用于這種情況，但使用不同的方法。

關(guān)于作者

Alan Wolfe 最初是一名自學(xué)成才的游戲編程愛(ài)好者，擁有超過(guò) 20 年的游戲開(kāi)發(fā)經(jīng)驗(yàn)，擁有包括《星際爭(zhēng)霸 2 》、《風(fēng)暴英雄》、《高譚市冒名頂替者》、《線騎士》和《瘋狂扭曲的陰影星球》在內(nèi)的多部游戲。 Alan 對(duì)藍(lán)色噪音和其他隨機(jī)渲染方法有著不健康的迷戀。

Nathan Morrical 是博士。猶他大學(xué)的學(xué)生，來(lái)自NVIDIA OpTix 團(tuán)隊(duì)的實(shí)習(xí)生和皮克斯的 RenderMan 集團(tuán)，以及科學(xué)計(jì)算和成像研究所（ SCI ）的現(xiàn)任成員。他的研究興趣包括高性能光線跟蹤框架和計(jì)算、科學(xué)數(shù)據(jù)可視化、計(jì)算幾何和實(shí)時(shí)光線跟蹤。在加入 SCI 之前， Nate 在愛(ài)達(dá)荷州立大學(xué)獲得了計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，在那里他研究了交互式計(jì)算機(jī)圖形學(xué)和計(jì)算幾何。

Tomas Akenine-Moller 是NVIDIA 杰出的研究科學(xué)家，目前正在休假，他是隆德大學(xué)計(jì)算機(jī)圖形學(xué)教授。托馬斯與人合著 Real-Time Rendering 、 浸入線性代數(shù) 并共同編輯 射線追蹤寶石 I 。

Ravi Ramamoorthi 是 Nvidia 的一名研究顧問(wèn)，他是圣地亞哥加利福尼亞大學(xué)的教授，他擔(dān)任 Ronald L.Graham 計(jì)算機(jī)科學(xué)系的主席，也是 UCSD 視覺(jué)計(jì)算中心的創(chuàng)始主任。

審核編輯：郭婷