LED：夜間光增強深度估算 - 技術分析與行業視角

1. 引言與問題陳述

對於自動駕駛嚟講，基於相機嘅夜間深度估算仍然係一個關鍵嘅未解決難題。喺日光數據上訓練嘅模型喺低光環境下會失效，而雖然LiDAR能夠提供精確深度，但其高成本同對惡劣天氣（例如霧、雨導致光束反射同噪音）嘅敏感性限制咗廣泛應用。視覺基礎模型即使喺龐大數據集上訓練，對於代表長尾分佈嘅夜間圖像亦不可靠。缺乏大規模、有標註嘅夜間數據集進一步阻礙咗監督式學習方法。本文介紹光增強深度（LED），一種創新方法，利用現代車輛高清（HD）頭燈投射嘅圖案，顯著提升夜間深度估算準確度，為LiDAR提供一個具成本效益嘅替代方案。

2. LED方法：核心概念

LED從主動立體視覺中汲取靈感。佢唔單止依賴被動環境光，仲主動使用高清頭燈發出已知嘅結構化圖案照亮場景。呢個投射圖案作為視覺線索，提供額外嘅紋理同特徵，而呢啲特徵喺黑暗、低對比度嘅夜間場景中本來係冇嘅。

2.1. 圖案投射原理

核心概念係將車輛頭燈視為可控光源。通過投射特定圖案（例如網格或偽隨機點圖案），場景嘅表面幾何會調製呢個圖案。已知圖案喺捕捉到嘅RGB圖像中嘅變形，為深度估算提供直接線索，類似於結構光系統嘅工作原理，但距離更遠，並且整合到標準汽車硬件中。

2.2. 系統架構與整合

LED被設計為模組化增強功能。佢可以整合到各種現有深度估算架構（編碼器-解碼器、Adabins、DepthFormer、Depth Anything V2）中。該方法以圖案照亮嘅RGB圖像作為輸入。網絡學習將投射圖案嘅變形與深度相關聯，有效地將主動照明用作訓練期間嘅監督信號。值得注意嘅係，性能提升延伸至直接照亮區域以外，表明模型對場景理解有整體性增強。

3. 夜間合成駕駛數據集

為咗解決數據稀缺問題，作者發佈咗夜間合成駕駛數據集。呢個係一個大規模、照片級真實感嘅合成數據集，包含49,990張圖像，並附有全面標註：

• 密集深度圖：用於監督訓練嘅準確真實深度。
• 多種照明條件：每個場景喺不同照明下渲染：標準遠光燈同高清頭燈圖案照明。
• 額外標籤：可能包括語義分割、實例分割，同可能嘅光流，以促進多任務學習。

使用合成數據，正如CARLA同NVIDIA DRIVE Sim等模擬器所倡導嘅，對於喺罕見或危險條件下開發同測試感知系統至關重要。該數據集已公開，以促進進一步研究。

4. 實驗結果與性能表現

LED方法喺各方面都展示出顯著嘅性能提升。

4.1. 量化指標

喺合成同真實數據集上嘅實驗顯示，標準深度估算指標有大幅提升，例如：

• 絕對相對誤差（Abs Rel）：顯著降低，表明整體準確度更高。
• 平方相對誤差（Sq Rel）：有所改善，尤其對於較大深度值。
• 均方根誤差（RMSE）：明顯下降。
• 閾值準確度（$\delta$）：預測深度喺真實深度某個閾值（例如1.25、1.25²、1.25³）內嘅像素百分比增加。

呢種改善喺所有測試過嘅架構中保持一致，證明LED作為即插即用增強功能嘅多功能性。

4.2. 定性分析與視覺化

視覺結果（如PDF中圖1所示）清楚顯示：

• 更清晰嘅物體邊界：汽車、行人同柱周圍嘅深度不連續性喺LED下定義得更好。
• 減少偽影：均勻黑暗區域（例如路面、暗牆）中嘅拖影同噪音被最小化。
• 改善遠距離估算：對於距離車輛較遠物體嘅深度預測更可靠同一致。
• 整體性改善：喺圖案相鄰但未被直接照亮嘅區域，深度估算得到增強，展示咗泛化嘅場景理解能力。

5. 技術細節與數學公式

呢種增強可以理解為學習一個校正函數。設$I_{rgb}$為標準RGB圖像，$I_{pattern}$為帶有投射頭燈圖案嘅圖像。標準深度估算器$f_\theta$預測深度$D_{base} = f_\theta(I_{rgb})$。LED增強估算器$g_\phi$以圖案照亮圖像為輸入，預測更優嘅深度：$D_{LED} = g_\phi(I_{pattern})$。

核心學習目標，特別係喺具有真實深度$D_{gt}$嘅監督設定下，係最小化損失，例如BerHu損失或尺度不變對數損失：

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

其中$\alpha$調節懲罰項。網絡$g_\phi$隱式地學習解碼$I_{pattern}$中嘅幾何變形。圖案有效地提供咗一組密集嘅對應關係，將不適定嘅單目深度估算問題簡化為一個約束更強嘅問題。

6. 分析框架與案例示例

框架：多傳感器融合與主動感知評估

場景：一輛自動駕駛汽車喺夜晚行駛喺一條無照明嘅郊區道路上。一個著深色衫嘅行人喺主光束外踏入路面。

基線（僅相機）：喺日光數據上訓練嘅單目深度網絡表現掙扎。行人區域缺乏紋理，導致深度估算極不準確、過於遙遠，或者完全無法檢測到與路面嘅深度不連續性。呢個可能導致關鍵嘅規劃錯誤。

LED增強系統：高清頭燈投射圖案。即使行人唔喺最光嘅位置，人物邊緣周圍嘅散射光同圖案變形提供咗關鍵線索。

1. 線索提取：LED網絡檢測到行人形體上同腳邊路面上嘅細微圖案變形。
2. 深度推斷：呢啲變形被映射到一個準確得多嘅深度估算，正確地將行人定位喺危險嘅近距離。
3. 輸出：一個可靠嘅深度圖被傳遞到感知堆疊，觸發適當嘅緊急制動操作。

呢個案例突顯咗LED喺處理被動視覺失效嘅邊緣情況時嘅價值，有效地將一個具成本效益嘅相機變成一個更穩健嘅主動傳感器系統。

7. 應用前景與未來方向

即時應用：

• L2+/L3級自動駕駛：為夜間高速公路領航同城市導航系統增強安全性同擴展操作設計域（ODD）。
• 高級駕駛輔助系統（ADAS）：改善夜間自動緊急制動（AEB）同行人檢測嘅性能。
• 機械人與無人機：喺黑暗工業或戶外環境中操作嘅機械人導航。

未來研究方向：

• 動態圖案優化：根據場景內容（例如距離、天氣）實時學習或調整投射圖案，以獲取最大信息增益。
• 多任務學習：從圖案照亮嘅序列中聯合估算深度、語義分割同運動。
• 惡劣天氣整合：將LED與處理霧、雨、雪嘅技術結合，呢啲天氣同樣會散射同扭曲投射光。
• 車聯網（V2X）通信：協調多輛車之間嘅圖案以避免干擾，並實現協同感知。
• 自監督LED：開發唔需要密集深度標籤嘅訓練範式，可能利用立體或多視角設置中跨幀嘅圖案一致性。

8. 參考文獻

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv preprint arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Exploiting long-range correlation and local information for accurate monocular depth estimation. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., et al. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. CVPR.
8. Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. 專家原創分析