目錄

• Precomputed Probe
  • 預放置 probes
    • 四面體鑲嵌（Tetrahedral Tessellations）
    • Indirect Light Cache
    • Volumetric Light Map
  • 烘焙環境光照
    • SH lighting
    • 重建 shading point 環境光照
  • 優缺點
• DDGI（or RTXGI）
  • 動態/預放置 probes
    • DDGI volume
  • 探測態環境光照
    • 計算 radiance
    • 更新 probe 的 irradiance
    • 重建 shading point 環境光照
  • 優缺點
• Screen Space Probe
  • 動態放置 probes
    • uniform placement
    • adaptive placement
  • 探測態環境光照
    • spatial filtering
  • 優缺點
• Light Leaking 問題
  • 標記法
  • shadow-map-like
• 參考

探針（Probe） 或者說 光照探針（Light Probe），簡單理解就是場景中的一個點然后給予這個點去往四面八方收集光斬訓者說探測光照的能力，并把往四面八方的入射光 radiance 記錄下來（其實就是記錄環境光），

在我們對某個 shading point 渲染的時候就可以利用它附近 probes 的環境光資訊粗略估計出它所受到的環境光資訊，

Precomputed Probe

在場景里預先放置若干個 probe，為每個 probe 預計算出靜態的環境光資訊并存盤后（因為只能預先知道靜態的物體和光照），在運行時就可以通過物體周圍 probes 的環境光資訊來插值來得到 shading point 此時受到的環境光，

預放置 probes

基于預計算的 Probe 方案往往意味著需要進行預放置，主流有三類放置方式：Tetrahedral Tessellations，ILC，VLM

四面體鑲嵌（Tetrahedral Tessellations）

在場景中預先放置自定義位置的 probe ，這些 probe 將自動相連成一個個四面體，而為了增加這種 GI 方案的真實感和避免過多的 probe 帶來的存盤開銷，一般應當把 probe 在光照發生明顯變化的地方（如明暗交接處）放密集些，而在光照不怎么變化的地方可以稀疏地放置，

ps：將這些 probe 進行三角化（將空間切分成四面體）需要用到 Delaunay Triangulation 完美三角剖分演算法，

• 手動放置的方式比較費人力
• 運行時，查找 shading point 所處四面體的運算量較高：四面體的分布并不是均勻的，最糟糕沒有優化的情況下需要暴力遍歷每一個四面體判斷 shading point 是否在該四面體里面，無論對 CPU 還是 GPU 運算都不太理想

基于 probe 的方案是需要經常用到這種查詢操作：給定一個世界坐標，查詢出它周圍鄰近的 probes

Indirect Light Cache

Indirect Light Cache, 即 ILC（間接光快取），是 UE4 的方案，它基本上是在靜態物體表面法線向上自動地均勻放置 probe ，這是基于假設受環境光影響最大的地方都是在靠近靜態物體的地方，

實際上，ILC 還包含兩種 probe 放置方式：通過手動放置 Lightmass Importance Volume（重要光照范圍）來限制烘焙光照采樣范圍，或 Lightmass Character Indirect Detail Volume，來增加一段均勻放置 probe 的區域，

• ILC 通過 CPU 尋找物體周圍的 probe：所有的 probe 的資料將保存到八叉樹中以方便物體找到周圍的 probe

Volumetric Light Map

Volumetric Light Map, 即 VLM（體積光照貼圖），也是 UE4 的方案，它使用網格（Grid）采樣點保存 probe 資料，而在靜態物體表面附近，會對網格進一步細分，

• VLM 通過 GPU 來尋找物體周圍的 probe ：所有 probe 的資料將烘焙至貼圖中，不同細分層度的網格將使用 level 不同的貼圖，這樣可以方便地在 GPU 中進行逐像素的三線性插值

• VLM 比 ILC 的 probe 要多更多，從而 VLM 的 GI 效果更佳，但要存盤的資料更多

• VLM 的存盤結構決定了可以通過 GPU 演算法來尋找 probe，這比傳統的 CPU 演算法性能更加可觀（即是 VLM probe 數量要多得多）

• VLM 更適合將 probe 應用到體積霧效果中，這是因為 ILC 往往不在幾乎沒什么物體的空間放置 probe

UE 4.18 以后使用 VLM 代替了 ILC 方法作為 UE4 默認的 probe 方案，

ILC vs. VLM 效果圖：

烘焙環境光照

基于預計算的 Probe 方案在收集環境光照的時候，也采取預計算（烘焙）的方式，這意味著只能對靜態環境光（靜態光源、靜態物體組建成的靜態場景）進行收集，

SH lighting

在離線階段，每個 probe 會通過比較高質量但耗時的渲染方式（一般可以使用 path tracing 等方式）來收集靜態環境光，說白話也就是在 probe 上往四面八方去探測光照，同時，探測到的靜態環境光照資訊將以 SH Lighting 的方式（而不是環境貼圖）的形式記錄到該 probe 中，

由于場景中有很多個 probe，要是每個 probe 都存盤一張環境貼圖的存盤和帶寬開銷會非常大，因此往往采用 SH lighting 方式（每個 probe 僅需要存盤十幾個 SH 系數）會更加可行，

重建 shading point 環境光照

有了預先放置好的 probes ，又有它們各自預先烘焙的環境光資訊（SH 系數），那么我們就可以在運行時對 shading point 著色：

1. 根據 shading point 的世界坐標找到其鄰近的 probes
2. 對這些 probes 的 SH 系數以距離為權重進行混合，得到 shading point 的 SH 系數（比較粗糙的環境光資訊）
3. 根據 SH 系數就可以重建 shading point 的環境光照資訊

優缺點

優點：

• 預計算能夠節省大量的計算來實作還可以的 GI 效果

缺點：

• 由于是預計算，因此不支持動態環境光
• 對于大場景需要很多的存盤空間，并需要設計一定復雜程度的空間結構來管理查詢

DDGI（or RTXGI）

Dynamic Diffuse Global Illumination（DDGI），則提供了一種支持動態環境光的 probe 方案，

NVIDIA 的 DDGI 實作版本則一般稱之為 RTXGI 技術，因此基本上說起 RTXGI 就是相當于在說 DDGI

動態/預放置 probes

DDGI volume

DDGI volume：一個立方體積區域，里面均勻放置著 probes（類似于 grid），在 DDGI Volume 內的物體就能被間接光照亮，實作 GI 效果，雖然 volume 也需要手動放置，但是粒度更大，比起手動放置 probe 作業量要少得多，

不過，與前面預放置的固定 probes 不同：

• volume 既可以預先固定在某個位置（靜態放置），也可以動態改變位置（動態放置）
• 動態放置 volume：需要實時探測幾何資訊 + 光照資訊
• 靜態放置 volume：需要實時探測光照資訊，而對于幾何資訊則可以選擇預計算或者實時探測

在實踐中：

• 對于靜態放置：會先放置一個大號的靜態 volume 囊括整個場景（常用于表現室外間接光），然后再在場景中各個房間都放置一個靜態 volume（更加高清晰度表現室內間接光）

• 對于動態放置：往往會多個大小不一的 volumes 系結到 camera 上，這樣就可以跟隨 camera 移動對視野內的一定范圍的物體應用間接光照，并且具有質量上的 LOD 效果（近處采用高精度 volume，遠處采用低精度 volume）

• 在嵌套多層的 volume 之間會做一個線性淡出從而避免明顯的邊界

探測態環境光照

DDGI probe 采取 ray tracing 的方式去實時探測動態環境光照，并且使用了 八面體映射（octahedral mapping） 技術來快取收集到的環境光照：將球面方向映射成一張 2D texture，一個 texel 對應一個立體角方向，texel 的值即代表了其對應立體角方向的值，

RTXGI 實作中，ray tracing 就需要使用到硬體光追 API（需要 RTX 系列顯卡）

DDGI probe 的資料組成：

• 6×6 irradiance texture：存盤每個 texel 方向的 irradiance \(E(\omega)\)
• 14×14 moment texture：存盤每個 texel 方向的深度 \(r(w)\) 及深度的平方 \(r^2(w)\)，以便進行 variance depth test

variance depth test 在下文 light leaking 問題中再詳細介紹，

計算 radiance

1. probe 均勻向球面上射出若干個 rays，并記錄每個 hit point 的 position，normal，albedo 并將結果存入分別存入三張 texture

如果采取預計算的 volume ，那么這一步操作就會提前到預計算階段并保存好，從而運行時讓每個 probe 無需射出 ray，直接訪問保存好的那三張 texture

接著我們需要計算每個 hit point 的著色結果，這樣才能計算出對應 ray 的 radiance

2. one-bounce lighting：通過 position，normal，albedo, rayDir 進行 hit point 的直接光照著色

\[L_{one} = \sum_{lights} (L_{light} * f * \cos \theta) \]

3. multi-bounce lighting：通過 position，normal 并利用周圍 probes 的上幀 irradiance texture 來重建 hit point 的環境光照，并進行間接光照著色

\[L_{multi} = \frac{E(position, normal)* albedo}{\pi} \]

間接光照著色必須使用 diffuse BRDF，即乘 albedo 除 PI，因為 irradiance 丟失了入射角相關的光照強度資訊，無法使用 specular/glossy BRDF，

4. 將結果寫入進 radiance texture

\[L(rayDir) = L_{one} + L_{multi} \]

更新 probe 的 irradiance

1. 使用 radiance texture 來更新 probe 中的 irradiance texture

\[E(texelDir) = \frac{\sum_{\text {rays}} L(rayDir)\cdot \max (0, \cos \theta )}{\sum_{\text {rays}}\max (0, \cos \theta )} \]

2. 使用 position texture 來更新 probe 中的 moment texture

\[\begin{aligned} r(texelDir) &=\frac{\sum d(rayDir) \cos ^s \theta_i}{\sum \cos ^s \theta_i} \\ r^2(texelDir) &=\frac{\sum d(rayDir)^2 \cos ^s \theta_i}{\sum \cos ^s \theta_i} \end{aligned} \]

position texture 代表了某個方向的光線交點的世界空間坐標位置，通過變換可以計算成該方向的最近 depth，這將在后面用于 probe 的 depth test，去解決一些漏光問題，

3. temporal filtering：

\[E_{new}(texelDir)=\operatorname{lerp}(E_{old}(texelDir),E(texelDir), historyWeight ) \]

重建 shading point 環境光照

在最后我們需要對 shading point 進行著色的時候，就可以通過更新好 irradiance 的 probes 來重建 shading point 的環境光照：

1. 根據 shading point 的世界坐標找到其鄰近的 8 個 probes

2. 對每個相鄰的 probe：

   • 計算出 shading point 到 probe 的 \(dir\)

   • 測驗 \(dir\) 是否與 \(n\) 面向同一側：若 \(dot(dir, n)\le 0\)，則跳過該 probe

   • 根據 \(dir\) 索引到 texture 中對應的 texel ，得到 \(E(dir)\) , \(r(dir)\) 和 \(r^2(dir)\)

   • 計算 shadow 系數：根據 \(r(dir)\) 和 \(r^2(dir)\) 來對 shading point 進行類似 shadow map 的測驗

   • 該 shading point 受到的環境光照 irradiance 即為 \(E(dir)*shadow\)

3. 對這些通過測驗的 probes 算得的 irradiance，以距離為權重進行混合便能得到 shading point 的環境光照

重建環境光照實際上在 DDGI 的流程走了兩次，一次在計算 ray radiance 那塊需要計算 hit points 的著色，另一次便是在這里需要計算 shading points 的著色，

優缺點

優點：

• 支持動態環境光
• 在預計算模式下，還能避免運行時 ray tracing 的開銷
• 若將 volume 系結在 camera 上，則存盤空間的開銷增長與場景大小無關

缺點：

• 硬體 ray tracing 的開銷可能仍然很大
• 在預計算模式下，對于大量動態物體的場景可能會很容易穿幫，因為幾何資訊只包含靜態物體
• 不能放置太多 probe，因為每個 probe 需要更多存盤空間了（textures 相比于 SH 系數）

有關于優化和改進 DDGI 的方案，可以詳見于 動態漫反射全域光照Dynamic Diffuse Global Illumination | 知乎 [宇亓]，這方面個人覺得宇亓的文章會更加全面，

Screen Space Probe

動態放置 probes

uniform placement

Uniform：在螢屏上均勻放置 probe；一般使用 2d texture 存放 uniform probes，

adaptive placement

Adaptive：在 uniform probes 之間，每隔一小段距離嘗試進行插值測驗，對插值失敗的地方額外放置 probe；一般使用動態陣列存放 adaptive probes，

所謂插值測驗，一般是指根據 uniform probes 的世界坐標進行插值得出當前螢屏點的插值世界坐標，如果與當前螢屏點的實際世界坐標相差太大，那就意味著該位置出現幾何上的突變，從而導致插值失敗，

UE5 Lumen 就是采取了 screen space probe 的方案，

探測態環境光照

基本流程和 DDGI 差不多，只不過由于 screen space probe 是貼在表面上的，因此它只需要探測表面法線為中心的半球面（而不是探測整個球面），

并且，它在八面體映射（octahedral mapping） 的基礎上再做一步轉換就能映射到僅含四個面的 texture 上（即存盤空間可以節省一半），

spatial filtering

由于 screen space probe 是貼在螢屏上的，因此也可以充分利用螢屏資訊（一般是G-Buffer）來作為 probe 層級 spatial filtering 的指導，

優缺點

相比于空間中均勻放置 probe 的方案，screen space probe 具有

優點：

• 對性能友好：基于螢屏的方案所需要的 probes 數量明顯要少很多
• probe 的利用率更高：貼合在物體表面上的 probes 離物體表面的距離更近，因此上 irradiance 的表示更加貼切和準確；而在空間中均勻放置的 probes 可能會有一些壓根沒怎么用到，利用率更低

缺點：

• 能量損失更嚴重：ray 命中的地方很可能不存在 screen space probe，即丟失了螢屏可見幾何表面以外的光照資訊，因此，一般來說 screen space probe 會搭配別的 GI 方法補上這塊的空缺，
• 很難支持體積渲染：丟失了空間中非物體表面的 irradiance 資訊，幾乎不能支持體積渲染

Light Leaking 問題

不過 probe 經常會遇到錯誤的 Light Leaking （漏光）問題：受到幾何上不應該存在光照關系的 probe 影響，常見于墻壁遮擋的內外側，

例如，下面的一個 probe 生成在室內，我們預期室外的墻體是亮黃色的，室內的墻體是暗灰色的：

結果由于 probe 方法沒有考慮遮擋，而是直接且錯誤地進行了對相鄰的 probe 插值，從而室外本該明亮的一側變暗，室內本該黑暗的一側發生 light leaking：

標記法

這個方法很直觀，就是給 probe 額外一個標記屬性：是否在室內（例如1為在室內，0為在室外）；這樣我們要拿 shading point 周圍的 probes 來插值時，根據 shading point 在室內外的情況來選擇用哪種標記屬性的 probes 來進行計算，

雖然粗暴直接，但是開銷低廉，實際效果很 work，很多游戲工業界都會采用的方法（例如原神），在一些方案中，這些標記也可以由自動化生成，而無需人工生成，

shadow-map-like

一些 probe 方案將半球方向上每個 texel 方向的深度存入到基于八面體映射的 depth texture 上，

那么在重建 shading point 環境光照時，我們就可以使用類似 shadow map 的思想來檢測 shading point 到該 probe 的光路會不會被遮擋，從而計算出該 probe 對 shading point 的貢獻：

\[d_x = x_{probe} - x \\dir = normalize(x-probe) \]

\(x_{probe}\) 為 probe 的位置，\(x\) 為 shading point 的位置，

\[shadow = d_x > d(dir)?0:1 \]

也可以，可使用類似 VSSM 的思想，基于切克比夫不等式（Chebyshev’s Inequality） 去做光滑的遮擋測驗（避免硬邊緣） ：

\[\mu = r(dir)\\ \sigma = r^2({dir})-r(dir)*r(dir) \]

\[shadow = P(X>d_x) \approx \frac{\sigma^{2}}{\sigma^{2}+(d_x-\mu)^{2}} \]

參考

• [1] Radiance Caching for Real-Time Global Illumination | SIGGRAPH 2021 Advances in Real-Time Rendering in Games course
• [2] RTXGI: SCALABLE RAY TRACED GLOBAL ILLUMINATION IN REAL TIME | 2020
• [3] Dynamic Diffuse Global Illumination with Ray-Traced Irradiance Fields | 2019
• [4] 虛幻引擎學習之路：渲染模塊之全域光照明
• [5] 動態漫反射全域光照Dynamic Diffuse Global Illumination | 知乎 [宇亓]
• [6] UE5 Lumen 原始碼決議（六）Importance Sampling 篇 | 知乎 從越
• [7] Probe-Based Global Illumination | 知乎 MaxwellGeng
• [8] 游戲中的全域光照(四) 漫反射GI | 知乎 TC130

作者：KillerAery 出處：http://www.cnblogs.com/KillerAery/

本文著作權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利，

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/520645.html

標籤：其他

上一篇：模擬退火學習筆記

下一篇：PXE一鍵部署和kickstart無人值守安裝