LED：夜间光增强深度估计 - 技术分析与行业展望

1. 引言与问题陈述

基于摄像头的夜间深度估计仍是自动驾驶领域一个亟待解决的关键挑战。在白天数据上训练的模型在低光照条件下失效，而激光雷达虽然能提供精确深度，但其高昂成本以及对恶劣天气（如雾、雨导致光束反射和噪声）的敏感性限制了其广泛应用。视觉基础模型尽管在庞大数据集上训练，但在属于长尾分布的夜间图像上仍不可靠。缺乏大规模、带标注的夜间数据集进一步阻碍了监督学习方法的发展。本文介绍了光增强深度估计（LED），这是一种新颖的方法，利用现代车辆高清（HD）前照灯投射的图案，在夜间显著提升深度估计精度，为激光雷达提供了一种经济高效的替代方案。

2. LED方法：核心概念

LED的灵感来源于主动立体视觉。它并非仅依赖被动的环境光，而是利用高清前照灯发出的已知结构化图案主动照亮场景。这种投射的图案作为一种视觉线索，提供了在黑暗、低对比度的夜间场景中原本缺失的额外纹理和特征。

2.1. 图案投射原理

其核心思想是将车辆前照灯视为可控光源。通过投射特定图案（例如网格或伪随机点阵），场景的表面几何形状会调制此图案。在捕获的RGB图像中，已知图案的形变直接为深度估计提供了线索，类似于结构光系统的工作原理，但作用距离更远，且集成于标准汽车硬件中。

2.2. 系统架构与集成

LED被设计为一种模块化增强方案。它可以集成到各种现有的深度估计架构中（编码器-解码器、Adabins、DepthFormer、Depth Anything V2）。该方法以图案照亮的RGB图像作为输入。网络学习将投射图案的形变与深度关联起来，在训练过程中有效地将主动照明用作监督信号。值得注意的是，性能提升不仅限于直接照亮的区域，这表明模型对场景的理解得到了整体性增强。

3. 夜间合成驾驶数据集

为解决数据稀缺问题，作者发布了夜间合成驾驶数据集。这是一个大规模、照片级真实感的合成数据集，包含49,990张图像，并带有全面的标注：

• 稠密深度图：用于监督训练的精确真实深度。
• 多光照条件：每个场景在不同光照下渲染：标准远光灯和高清前照灯图案照明。
• 额外标签：可能包括语义分割、实例分割，可能还有光流，以促进多任务学习。

正如CARLA和NVIDIA DRIVE Sim等模拟器所倡导的，使用合成数据对于在罕见或危险条件下开发和测试感知系统至关重要。该数据集已公开，以促进进一步研究。

4. 实验结果与性能

LED方法在所有方面都展现出显著的性能提升。

4.1. 量化指标

在合成和真实数据集上的实验表明，标准深度估计指标均有大幅提升，例如：

• 绝对相对误差（Abs Rel）：显著降低，表明整体精度更高。
• 平方相对误差（Sq Rel）：得到改善，尤其是对于较大的深度值。
• 均方根误差（RMSE）：明显下降。
• 阈值精度（$\delta$）：预测深度在真实深度阈值（例如1.25、1.25²、1.25³）内的像素百分比增加。

在所有测试架构中，改进都是一致的，证明了LED作为一种即插即用增强方案的通用性。

4.2. 定性分析与可视化

可视化结果（如PDF中图1所示）清晰地显示：

• 更清晰的物体边界：汽车、行人和电线杆周围的深度不连续性在使用LED后定义得更好。
• 减少伪影：均匀黑暗区域（如路面、暗墙）中的涂抹和噪声被最小化。
• 改进的远距离估计：对距离车辆较远物体的深度预测更可靠、更一致。
• 整体性改进：在与图案相邻但未被直接照亮的区域，深度估计也得到了增强，展示了泛化的场景理解能力。

5. 技术细节与数学公式

这种增强可以表述为学习一个校正函数。令 $I_{rgb}$ 为标准RGB图像，$I_{pattern}$ 为带有投射前照灯图案的图像。标准深度估计器 $f_\theta$ 预测深度 $D_{base} = f_\theta(I_{rgb})$。LED增强的估计器 $g_\phi$ 以图案照亮的图像为输入，预测更优的深度：$D_{LED} = g_\phi(I_{pattern})$。

核心学习目标，尤其是在有真实深度 $D_{gt}$ 的监督设置下，是最小化一个损失函数，例如BerHu损失或尺度不变对数损失：

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

其中 $\alpha$ 调节惩罚项。网络 $g_\phi$ 隐式地学习解码 $I_{pattern}$ 中的几何形变。该图案有效地提供了一组稠密的对应关系，将不适定的单目深度估计问题简化为一个约束更强的问题。

6. 分析框架与案例示例

框架：多传感器融合与主动感知评估

场景：一辆自动驾驶汽车在夜间无照明的郊区道路上行驶。一名身着深色衣服的行人走到主光束边缘外的道路上。

基线（仅摄像头）：在白天数据上训练的单目深度网络表现不佳。行人区域缺乏纹理，导致深度估计严重不准确（估计过远）或完全无法检测到与道路的深度不连续性。这可能引发关键规划错误。

LED增强系统：高清前照灯投射图案。即使行人不在最亮区域，人物边缘周围的散射光和图案形变也能提供关键线索。

1. 线索提取：LED网络检测到行人形体及其脚边路面上的细微图案形变。
2. 深度推断：这些形变被映射到更准确的深度估计，正确地将行人定位在危险的近距离。
3. 输出：可靠的深度图被传递给感知栈，触发适当的紧急制动操作。

此案例凸显了LED在解决被动视觉失效的边缘情况方面的价值，有效地将经济高效的摄像头转变为更鲁棒的主动传感器系统。

7. 应用前景与未来方向

近期应用：

• L2+/L3级自动驾驶：增强夜间高速公路领航和城市导航系统的安全性及运行设计域（ODD）扩展。
• 高级驾驶辅助系统（ADAS）：提升夜间自动紧急制动（AEB）和行人检测性能。
• 机器人技术与无人机：在黑暗工业或户外环境中运行的机器人导航。

未来研究方向：

• 动态图案优化：根据场景内容（例如距离、天气）实时学习或调整投射图案，以实现最大信息增益。
• 多任务学习：从图案照亮的序列中联合估计深度、语义分割和运动。
• 恶劣天气集成：将LED与处理雾、雨、雪的技术相结合，这些天气同样会散射和扭曲投射光。
• 车路协同（V2X）通信：协调多车之间的图案以避免干扰，并实现协同感知。
• 自监督LED：开发无需稠密深度标签的训练范式，或许可以利用立体或多视角设置中跨帧的图案一致性。

8. 参考文献

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv preprint arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Exploiting long-range correlation and local information for accurate monocular depth estimation. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., et al. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. CVPR.
8. Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. 专家分析