1. 簡介

從單張影像估計場景光照係電腦視覺中一個基礎但病態嘅問題，對於擴增實境（AR）同基於影像嘅渲染等應用至關重要。傳統方法依賴已知物件（光照探測器）或額外數據（深度、多視角），限制咗實用性。近期基於學習嘅方法，例如 Gardner 等人 [8] 嘅方法，可以預測全局光照，但無法捕捉室內光照嘅空間變化特性，即接近光源同遮擋會造成顯著嘅局部變化。商業AR系統（例如 ARKit）提供基本嘅光照估計，但缺乏逼真重光照所需嘅精細度。

本文提出一種實時方法，從單張RGB影像估計空間變化嘅室內光照。給定一張影像同一個2D像素位置，一個卷積神經網絡（CNN）可以在20毫秒內預測該特定位置光照嘅5階球諧函數（SH）表示，從而實現虛擬物件在場景中任何位置嘅逼真插入。

核心見解

  • 局部優於全局：室內光照並非均勻；單一嘅全局估計會導致AR渲染效果唔真實。
  • 效率至關重要：對於互動式AR應用，實時性能（<20ms）係必要條件。
  • 無需幾何信息：該方法從影像中隱式推斷局部光線可見性同遮擋，無需深度輸入。
  • 實用表示法：使用低維度球諧函數（36個係數）可以實現快速預測，並直接整合到標準渲染流程中。

2. 方法論

核心思路係訓練一個CNN，以2D影像位置為條件，回歸球諧函數係數。

2.1 網絡架構

網絡有兩個輸入：輸入嘅RGB影像同一個歸一化到 $[-1, 1]$ 嘅2D坐標 $(u, v)$。影像通過一個特徵編碼器（例如基於ResNet）。2D坐標通過全連接層處理，產生位置編碼。影像特徵同位置編碼會融合（通常通過拼接或注意力機制），然後由一個緊湊嘅解碼器預測RGB通道嘅最終SH係數。呢個設計明確咗將光照預測條件化於空間位置。

2.2 球諧函數表示法

一點嘅光照使用5階球諧函數表示。SH提供咗球面上函數嘅一種緊湊、基於頻率嘅表示。法線為 $\mathbf{n}$ 嘅表面點嘅輻照度 $E$ 近似為：

$E(\mathbf{n}) \approx \sum_{l=0}^{L} \sum_{m=-l}^{l} c_{l}^{m} Y_{l}^{m}(\mathbf{n})$

其中 $L=5$，$Y_{l}^{m}$ 係SH基函數，$c_{l}^{m}$ 係網絡預測嘅係數（每個顏色通道9個係數，RGB共27個）。呢個低維度輸出係實現實時推斷嘅關鍵。

3. 實驗與結果

推斷時間

< 20 ms

於 Nvidia GTX 970M

SH階數

5階

共27個係數

用戶偏好

~75%

相比最先進方法 [8]

3.1 量化評估

該方法喺合成同真實數據集上進行評估。評估指標包括預測環境貼圖同真實環境貼圖之間嘅角度誤差，以及渲染物件上嘅均方根誤差。所提出嘅空間變化方法持續優於 Gardner 等人 [8] 嘅全局光照估計方法，特別係喺遠離影像中心、光照差異較大嘅位置。

3.2 用戶研究

進行咗一項感知用戶研究，參與者比較使用唔同方法嘅光照進行重光照嘅虛擬物件。結果顯示，相比使用 [8] 嘅全局估計，參與者明顯偏好（約75%）使用所提出嘅空間變化光照生成嘅渲染圖像，證實咗局部光照效果對感知嘅重要性。

3.3 實時性能

該網絡喺筆記本電腦級別嘅GPU（Nvidia GTX 970M）上實現咗少於20毫秒嘅推斷時間。呢個性能使得實時AR應用成為可能，當虛擬物件或相機移動時，光照可以即時更新。

4. 技術分析與核心見解

核心見解：本文嘅根本突破唔只係另一個光照估計模型；而係一次從場景中心到點中心光照範式嘅戰略性轉變。以往嘅工作，例如 Gardner 等人嘅方法（通常針對病態問題，以類似CycleGAN嘅圖像到圖像翻譯原則為基準），將影像視為一個整體來輸出一個全局光照。而呢項工作認識到，對於AR而言，唯一重要嘅光照係插入點嘅特定光照。呢個係一個深刻嘅轉變，符合實時圖形嘅需求，喺實時圖形中，著色器係按片段計算光照，而唔係按場景計算。

邏輯流程：邏輯非常簡潔：1) 承認空間變化係室內環境中嘅首要問題（得到如 Kajiya 嘅渲染方程等權威來源嘅基本輻射度量學原理支持）。2) 選擇一種既能夠表達低頻室內光照，又天生兼容實時渲染器（例如通過PRT或喺著色器中直接評估SH）嘅表示法（SH）。3) 設計一個明確將位置作為輸入嘅網絡，迫使佢學習從局部影像上下文到局部SH參數嘅映射。訓練數據（可能來自已知光照嘅合成或捕獲嘅3D場景）教會網絡將視覺線索（陰影、顏色滲透、鏡面高光）同局部光照條件相關聯。

優點與缺點：主要優點係其實用性。<20ms嘅運行時間同SH輸出使其成為現有AR引擎嘅「即插即用」解決方案，與輸出完整HDR環境貼圖嘅方法形成鮮明對比。其無需幾何信息嘅特性係一個巧妙嘅解決方法，將CNN用作複雜光線追蹤嘅代理。然而，缺點亦相當顯著。首先，佢本質上係對訓練數據中光照嘅一種插值。佢無法推測完全未觀察到區域（例如，關閉嘅櫥櫃內部）嘅光照。其次，5階SH雖然快速，但無法捕捉高頻光照細節，例如細小光源產生嘅銳利陰影——呢個係SH近似嘅已知限制。第三，其性能取決於訓練集嘅多樣性；喺極度新穎嘅環境中可能會失效。

可行見解：對於研究人員，前進方向清晰：1) 混合模型：將預測嘅粗略SH與輕量級神經輻射場（NeRF）或一組學習到嘅虛擬點光源結合，以恢復高頻效果。2) 不確定性估計：網絡應該輸出其預測嘅置信度度量，對於安全關鍵嘅AR應用至關重要。3) 動態場景：目前方法係靜態嘅。下一個前沿係針對動態場景同移動光源嘅時間一致性光照估計，或許可以通過整合光流或循環網絡實現。對於實踐者，呢個方法已準備好試點整合到移動AR應用中，以顯著提升相對於當前SDK產品嘅真實感。

5. 分析框架示例

場景：評估該方法喺邊緣情況嘅穩健性。
輸入：一張房間影像，其中一個角落遠離任何窗戶或光源，處於深度陰影中。需要將一個虛擬物件放置喺該陰暗角落。
框架應用：

  1. 上下文查詢：網絡接收影像同陰暗角落嘅 (u,v) 坐標。
  2. 特徵分析：編碼器提取指示低亮度、缺乏直接光路以及可能來自相鄰牆壁（環境光）嘅顏色偏差嘅特徵。
  3. 預測：融合後嘅特徵引導解碼器預測代表低強度、漫射且可能帶有顏色偏差嘅光照環境嘅SH係數。
  4. 驗證：渲染出嘅虛擬物件應該顯得光線昏暗，帶有柔和陰影同暗淡顏色，與角落嘅視覺上下文匹配。如果物件顯得同房間中心嘅物件一樣明亮，則表示失敗，說明網絡忽略咗空間條件化。
呢個示例測試咗空間變化嘅核心主張。一個全局方法 [8] 會喺呢度失敗，將房間嘅「平均」光照應用於角落物件。

6. 未來應用與方向

  • 高級AR/VR：超越物件插入，用於逼真嘅虛擬化身遠程呈現，虛擬人物必須與佢哋看似所處嘅局部環境光照一致。
  • 計算攝影：驅動具有空間感知能力嘅照片編輯工具（例如，「重光照呢個人」同「重光照嗰個物件」唔同）。
  • 機器人與自主系統：為機器人提供快速、無需幾何信息嘅場景光照理解，以改善材質感知同規劃。
  • 神經渲染：作為逆向渲染任務嘅快速光照先驗，或用於初始化更複雜但更慢嘅模型（如NeRF）。
  • 未來研究：擴展到室外場景、模擬動態光照變化，以及與隱式幾何（例如來自單目深度估計器）結合，以實現更準確嘅可見性推理。

7. 參考文獻

  1. Kajiya, J. T. (1986). The rendering equation. ACM SIGGRAPH Computer Graphics.
  2. Gardner, M., et al. (2017). Learning to Predict Indoor Illumination from a Single Image. ACM TOG.
  3. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN). ICCV.
  4. Ramamoorthi, R., & Hanrahan, P. (2001). An efficient representation for irradiance environment maps. ACM SIGGRAPH.
  5. Apple Inc. (2017, 2018). ARKit Documentation and WWDC Sessions.
  6. Mildenhall, B., et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.
  7. Garon, M., Sunkavalli, K., Hadap, S., Carr, N., & Lalonde, J. (2019). Fast Spatially-Varying Indoor Lighting Estimation. arXiv:1906.03799.