LED：夜間光增強深度估計 - 技術分析與產業觀點

1. 引言與問題陳述

基於攝影機的夜間深度估計，對於自動駕駛而言，仍然是一個關鍵且尚未解決的挑戰。在白天資料上訓練的模型，在低光源條件下表現不佳；雖然光達能提供精確的深度資訊，但其高昂成本以及對惡劣天候（例如：霧、雨導致光束反射與雜訊）的敏感性，限制了其廣泛採用。視覺基礎模型儘管在龐大資料集上訓練，但在屬於長尾分布的夜間影像上仍不可靠。缺乏大規模、已標註的夜間資料集，進一步阻礙了監督式學習方法的發展。本文介紹了光增強深度估計，這是一種新穎的方法，利用現代車輛高解析度頭燈所投射的圖案，顯著提升夜間深度估計的準確度，為光達提供了一個具成本效益的替代方案。

2. LED方法：核心概念

LED的靈感來自主動式立體視覺。它並非僅依賴被動的環境光，而是主動地使用來自高解析度頭燈的已知結構化圖案來照亮場景。這個投射的圖案作為一種視覺線索，提供了在黑暗、低對比度的夜間場景中原本缺乏的額外紋理與特徵。

2.1. 圖案投射原理

核心概念是將車輛的頭燈視為一個受控的光源。透過投射特定圖案（例如：網格或偽隨機點圖案），場景的表面幾何會調變此圖案。在捕捉到的RGB影像中，已知圖案的變形為深度估計提供了直接線索，類似於結構光系統的運作方式，但作用距離更長，且整合於標準的汽車硬體中。

2.2. 系統架構與整合

LED被設計為一個模組化的增強功能。它可以整合到各種現有的深度估計架構中（編碼器-解碼器、Adabins、DepthFormer、Depth Anything V2）。該方法以圖案照亮的RGB影像作為輸入。網路學習將投射圖案的變形與深度相關聯，在訓練過程中有效地將主動照明用作監督訊號。值得注意的是，效能提升不僅限於直接照亮的區域，這表明模型對場景的理解得到了整體性的增強。

3. 夜間合成駕駛資料集

為了解決資料稀缺的問題，作者發布了夜間合成駕駛資料集。這是一個大規模、照片級真實感的合成資料集，包含49,990張影像，並具有全面的標註：

• 密集深度圖： 用於監督式訓練的精確真實深度。
• 多重照明條件： 每個場景在不同照明下渲染：標準遠光燈和高解析度頭燈的圖案照明。
• 額外標籤： 可能包含語義分割、實例分割，以及可能的光流，以促進多任務學習。

使用合成資料，正如CARLA和NVIDIA DRIVE Sim等模擬器所倡導的，對於在罕見或危險條件下開發和測試感知系統至關重要。該資料集已公開，以促進進一步研究。

4. 實驗結果與效能

LED方法在所有方面都展現了顯著的效能提升。

4.1. 量化指標

在合成和真實資料集上的實驗顯示，標準深度估計指標有大幅提升，例如：

• 絕對相對誤差： 顯著降低，表明整體準確度更高。
• 平方相對誤差： 有所改善，特別是對於較大的深度值。
• 均方根誤差： 明顯下降。
• 閾值準確度： 預測深度在真實深度某個閾值（例如：1.25、1.25²、1.25³）內的像素百分比增加。

在所有測試的架構中，改善效果一致，證明了LED作為即插即用增強功能的通用性。

4.2. 質性分析與視覺化

視覺結果（如PDF中圖1所示）清楚地顯示：

• 更清晰的物體邊界： 汽車、行人、電線桿周圍的深度不連續性在使用LED後定義得更好。
• 減少偽影： 均勻黑暗區域（例如：路面、暗牆）中的模糊和雜訊被最小化。
• 改善遠距離估計： 對於距離車輛較遠的物體，深度預測更可靠且一致。
• 整體性改善： 在與圖案相鄰但未被直接照亮的區域，深度估計也得到了增強，展示了泛化的場景理解能力。

5. 技術細節與數學公式

此增強功能可以框架為學習一個校正函數。令 $I_{rgb}$ 為標準RGB影像，$I_{pattern}$ 為帶有投射頭燈圖案的影像。一個標準的深度估計器 $f_\theta$ 預測深度 $D_{base} = f_\theta(I_{rgb})$。LED增強的估計器 $g_\phi$ 則以圖案照亮的影像為輸入，預測更優的深度：$D_{LED} = g_\phi(I_{pattern})$。

核心的學習目標，特別是在具有真實深度 $D_{gt}$ 的監督式設定中，是最小化一個損失函數，例如BerHu損失或尺度不變對數損失：

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

其中 $\alpha$ 調節懲罰項。網路 $g_\phi$ 隱含地學習解碼 $I_{pattern}$ 中的幾何變形。該圖案有效地提供了一組密集的對應關係，將不適定的單目深度估計問題簡化為一個約束性更強的問題。

6. 分析框架與案例範例

框架：多感測器融合與主動感知評估

情境： 一輛自動駕駛汽車在夜間行駛於無照明的郊區道路。一名穿著深色衣服的行人走到主光束外側的道路上。

基準線： 在白天資料上訓練的單目深度網路表現掙扎。行人區域缺乏紋理，導致深度估計嚴重不準確、過於遙遠，或完全無法檢測到與道路的深度不連續性。這可能導致關鍵的規劃錯誤。

LED增強系統： 高解析度頭燈投射圖案。即使行人不在最亮的區域，人物邊緣周圍的散射光和圖案變形也提供了關鍵線索。

1. 線索提取： LED網路檢測到行人形體上及其腳邊路面上細微的圖案變形。
2. 深度推論： 這些變形被映射到一個準確得多的深度估計，正確地將行人定位在危險的近距離。
3. 輸出： 可靠的深度圖被傳遞給感知堆疊，觸發適當的緊急煞車操作。

這個案例突顯了LED在處理被動視覺失效的邊緣案例時的價值，有效地將一個具成本效益的攝影機轉變為一個更穩健的主動感測器系統。

7. 應用展望與未來方向

近期應用：

• L2+/L3級自動駕駛： 增強夜間高速公路領航和城市導航系統的安全性與操作設計領域擴展。
• 先進駕駛輔助系統： 改善夜間自動緊急煞車和行人偵測的效能。
• 機器人與無人機： 在黑暗的工業或戶外環境中操作的機器人導航。

未來研究方向：

• 動態圖案最佳化： 根據場景內容（例如：距離、天氣）即時學習或調整投射圖案，以獲得最大的資訊增益。
• 多任務學習： 從圖案照亮的序列中聯合估計深度、語義分割和運動。
• 惡劣天候整合： 將LED與處理霧、雨、雪的技術結合，這些天氣同樣會散射和扭曲投射光。
• 車聯網通訊： 在多輛車之間協調圖案，以避免干擾並實現協同感知。
• 自監督LED： 開發不需要密集深度標籤的訓練範式，或許可以利用立體或多視角設定中跨影格的圖案一致性。

8. 參考文獻

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv preprint arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Exploiting long-range correlation and local information for accurate monocular depth estimation. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., et al. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. CVPR.
8. Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. 原始專家分析