1. 簡介

從單張影像估計場景光照是電腦視覺中一個基礎但病態的問題，對於擴增實境和基於影像的渲染等應用至關重要。傳統方法依賴已知物件（光照探測器）或額外數據（深度、多視角），限制了實用性。近期基於學習的方法，例如 Gardner 等人 [8] 的方法，能預測全域光照，但無法捕捉室內光照的空間變化特性，即靠近光源和遮蔽會造成顯著的局部變化。商業 AR 系統（例如 ARKit）提供基本的光照估計，但缺乏用於逼真重打光的精細度。

本文提出一種即時方法，可從單張 RGB 影像估計空間變化的室內光照。給定一張影像和一個二維像素位置，卷積神經網路能在 20 毫秒內預測該特定位置光照的五階球諧函數表示，從而能在場景中任意位置實現逼真的虛擬物件插入。

核心洞見

  • 局部優於全域：室內光照並非均勻；單一的全域估計會導致不真實的 AR 渲染。
  • 效率是關鍵：對於互動式 AR 應用，即時效能（<20ms）是不可妥協的。
  • 無需幾何資訊：該方法從影像中隱式推斷局部光照可見性與遮蔽，無需深度輸入。
  • 實用的表示法：使用低維度的球諧函數（36個係數）能實現快速預測，並可直接整合到標準渲染管線中。

2. 方法論

核心概念是訓練一個 CNN，使其能根據二維影像位置回歸球諧函數係數。

2.1 網路架構

網路接收兩個輸入：輸入的 RGB 影像和一個正規化到 $[-1, 1]$ 的二維座標 $(u, v)$。影像通過一個特徵編碼器（例如基於 ResNet）。二維座標則透過全連接層處理，產生位置編碼。影像特徵和位置編碼在緊湊的解碼器預測 RGB 通道的最終 SH 係數之前進行融合，通常是透過串聯或注意力機制。此設計明確地將光照預測條件化於空間位置。

2.2 球諧函數表示法

某點的光照使用五階球諧函數表示。SH 提供了一種緊湊、基於頻率的球面函數表示法。法向量為 $\mathbf{n}$ 的表面點上的輻照度 $E$ 近似為：

$E(\mathbf{n}) \approx \sum_{l=0}^{L} \sum_{m=-l}^{l} c_{l}^{m} Y_{l}^{m}(\mathbf{n})$

其中 $L=5$，$Y_{l}^{m}$ 是 SH 基底函數，$c_{l}^{m}$ 是網路預測的係數（每個色彩通道 9 個係數，RGB 共 27 個）。這種低維度輸出是實現即時推論的關鍵。

3. 實驗與結果

推論時間

< 20 毫秒

於 Nvidia GTX 970M

SH 階數

五階

共 27 個係數

使用者偏好

~75%

相較於最先進方法 [8]

3.1 量化評估

該方法在合成與真實資料集上進行評估。評估指標包括預測與真實環境貼圖之間的角度誤差，以及渲染物件上的均方根誤差。所提出的空間變化方法在效能上持續超越 Gardner 等人 [8] 的全域光照估計方法，尤其是在遠離影像中心、光照不同的位置。

3.2 使用者研究

進行了一項感知使用者研究，參與者比較使用不同方法的光照進行重打光的虛擬物件。結果顯示，與使用 [8] 的全域估計相比，使用者明顯偏好（約 75%）使用所提出的空間變化光照生成的渲染結果，這證實了局部光照效果的感知重要性。

3.3 即時效能

該網路在筆記型電腦等級的 GPU（Nvidia GTX 970M）上實現了低於 20 毫秒的推論時間。此效能使得即時 AR 應用成為可能，當虛擬物件或攝影機移動時，光照可以立即更新。

4. 技術分析與核心洞見

核心洞見：本文的根本突破不僅僅是另一個光照估計模型；它是一次從場景中心到點中心光照範式的策略性轉變。雖然像 Gardner 等人（常與用於病態問題的 CycleGAN 風格影像到影像轉換原理進行基準比較）的先前研究將影像視為整體以輸出一個全域光源，但本研究認識到，對於 AR 而言，唯一重要的是在插入的特定點的光照。這是一個深刻的轉變，符合即時圖形的需求，在即時圖形中，著色器是逐片段計算光照，而非逐場景計算。

邏輯流程：邏輯優雅而簡單：1) 承認空間變化是室內環境中的首要問題（由 Kajiya 的渲染方程式等權威來源的基本輻射度量學原理支持）。2) 選擇一種表示法（SH），既能表達低頻室內光照，又天然相容於即時渲染器（例如透過 PRT 或在著色器中直接評估 SH）。3) 設計一個明確將位置作為輸入的網路，強迫它學習從局部影像上下文到局部 SH 參數的映射。訓練資料（可能來自已知光照的合成或捕捉 3D 場景）教導網路將視覺線索（陰影、色彩滲透、鏡面高光）與局部光照條件相關聯。

優點與缺點：主要優點是其實用性。<20ms 的執行時間和 SH 輸出使其成為現有 AR 引擎的「即插即用」解決方案，與輸出完整 HDR 環境貼圖的方法形成鮮明對比。其無需幾何資訊的特性是一個巧妙的解決方案，使用 CNN 作為複雜光線追蹤的代理。然而，缺點也很顯著。首先，它本質上是對訓練資料光照的插值。它無法在完全未觀察到的區域（例如，關閉的櫥櫃內部）虛構光照。其次，五階 SH 雖然快速，但無法捕捉高頻光照細節，例如來自小光源的銳利陰影——這是 SH 近似法的已知限制。第三，其效能與訓練集的多元性相關；在高度新穎的環境中可能會失敗。

可行洞見：對於研究人員，前進的道路很明確：1) 混合模型：將預測的粗略 SH 與輕量級神經輻射場或一組學習到的虛擬點光源結合，以恢復高頻效果。2) 不確定性估計：網路應輸出其預測的置信度度量，這對於安全關鍵的 AR 應用至關重要。3) 動態場景：目前的方法是靜態的。下一個前沿是針對動態場景和移動光源的時間一致性光照估計，或許可以透過整合光流或循環神經網路來實現。對於實務工作者，此方法已準備好試點整合到行動 AR 應用程式中，以顯著提升相較於當前 SDK 產品的真實感。

5. 分析框架範例

情境：評估該方法在邊緣案例中的穩健性。
輸入：一張房間影像，其中一個角落陰影很深，遠離任何窗戶或光源。一個虛擬物件將被放置在該黑暗角落。
框架應用：

  1. 上下文查詢：網路接收影像和陰影角落的 (u,v) 座標。
  2. 特徵分析：編碼器提取指示低亮度、缺乏直接光路以及可能來自相鄰牆壁的色彩偏差（環境光）的特徵。
  3. 預測：融合後的特徵引導解碼器預測代表低強度、漫射且可能帶有色彩偏差的光照環境的 SH 係數。
  4. 驗證：渲染的虛擬物件應呈現昏暗照明，帶有柔和的陰影和柔和的色彩，與角落的視覺上下文相符。如果物件看起來像房間中央的物件一樣明亮，則表示失敗，表明網路忽略了空間條件化。
此範例測試了空間變化這一核心主張。一個全域方法 [8] 在此會失敗，它會將房間的「平均」光照應用到角落物件上。

6. 未來應用與方向

  • 進階 AR/VR：超越物件插入，用於逼真的虛擬人像遠端呈現，虛擬人物必須與其看似所處的局部環境光照一致。
  • 計算攝影：驅動具有空間感知能力的照片編輯工具（例如，「重打光這個人」與「重打光那個物件」不同）。
  • 機器人與自主系統：為機器人提供快速、無需幾何資訊的場景光照理解，以改善材質感知和規劃。
  • 神經渲染：作為逆向渲染任務的快速光照先驗，或用於初始化更複雜但更慢的模型（如 NeRF）。
  • 未來研究：擴展到室外場景、建模動態光照變化，並與隱式幾何（例如來自單目深度估計器）結合，以實現更準確的可見性推理。

7. 參考文獻

  1. Kajiya, J. T. (1986). The rendering equation. ACM SIGGRAPH Computer Graphics.
  2. Gardner, M., et al. (2017). Learning to Predict Indoor Illumination from a Single Image. ACM TOG.
  3. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN). ICCV.
  4. Ramamoorthi, R., & Hanrahan, P. (2001). An efficient representation for irradiance environment maps. ACM SIGGRAPH.
  5. Apple Inc. (2017, 2018). ARKit Documentation and WWDC Sessions.
  6. Mildenhall, B., et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.
  7. Garon, M., Sunkavalli, K., Hadap, S., Carr, N., & Lalonde, J. (2019). Fast Spatially-Varying Indoor Lighting Estimation. arXiv:1906.03799.