LED: Anggaran Kedalaman Dipertingkatkan Cahaya pada Waktu Malam - Analisis Teknikal & Perspektif Industri

1. Pengenalan & Penyataan Masalah

Anggaran kedalaman berasaskan kamera pada waktu malam kekal sebagai cabaran kritikal yang belum diselesaikan untuk pemanduan autonomi. Model yang dilatih pada data siang hari gagal dalam keadaan cahaya rendah, dan walaupun LiDAR memberikan kedalaman yang tepat, kosnya yang tinggi dan kerentanannya terhadap cuaca buruk (contohnya, kabus, hujan yang menyebabkan pantulan dan hingar pancaran) menghadkan penerimaan meluas. Model asas penglihatan, walaupun dilatih pada set data yang besar, tidak boleh dipercayai pada imej waktu malam yang mewakili taburan ekor panjang. Kekurangan set data waktu malam berskala besar dan beranotasi seterusnya menghalang pendekatan pembelajaran berpandu. Kertas kerja ini memperkenalkan Anggaran Kedalaman Dipertingkatkan Cahaya (LED), satu kaedah baharu yang memanfaatkan corak yang diunjurkan oleh lampu hadapan Definisi Tinggi (HD) kenderaan moden untuk meningkatkan ketepatan anggaran kedalaman pada waktu malam dengan ketara, menawarkan alternatif yang kos efektif kepada LiDAR.

2. Kaedah LED: Konsep Teras

LED mengambil inspirasi daripada stereovision aktif. Daripada bergantung semata-mata pada cahaya ambien pasif, ia secara aktif menerangi pemandangan dengan corak berstruktur yang diketahui daripada lampu hadapan HD. Corak yang diunjurkan ini bertindak sebagai isyarat visual, menyediakan tekstur dan ciri tambahan yang sebaliknya tiada dalam pemandangan waktu malam yang gelap dan kontras rendah.

2.1. Prinsip Unjuran Corak

Idea teras adalah untuk menganggap lampu hadapan kenderaan sebagai sumber cahaya terkawal. Dengan memancarkan corak tertentu (contohnya, grid atau corak titik pseudo-rawak), geometri permukaan pemandangan memodulasi corak ini. Distorsi corak yang diketahui dalam imej RGB yang ditangkap memberikan isyarat langsung untuk anggaran kedalaman, serupa dengan cara sistem cahaya berstruktur berfungsi tetapi pada jarak yang lebih jauh dan diintegrasikan ke dalam perkakasan automotif standard.

2.2. Seni Bina Sistem & Integrasi

LED direka sebagai peningkatan modular. Ia boleh diintegrasikan ke dalam pelbagai seni bina anggaran kedalaman sedia ada (pengekod-penyahkod, Adabins, DepthFormer, Depth Anything V2). Kaedah ini mengambil imej RGB yang diterangi corak sebagai input. Rangkaian belajar untuk mengaitkan distorsi corak yang diunjurkan dengan kedalaman, secara efektif menggunakan pencahayaan aktif sebagai isyarat penyeliaan semasa latihan. Yang luar biasa, peningkatan prestasi melangkaui kawasan yang diterangi secara langsung, mencadangkan peningkatan holistik dalam pemahaman pemandangan model.

3. Set Data Sintetik Pemanduan Waktu Malam

Untuk menangani masalah kekurangan data, penulis mengeluarkan Set Data Sintetik Pemanduan Waktu Malam. Ini adalah set data sintetik fotorealistik berskala besar yang mengandungi 49,990 imej dengan anotasi komprehensif:

• Peta Kedalaman Padat: Kedalaman ground truth yang tepat untuk latihan berpandu.
• Keadaan Pencahayaan Pelbagai: Setiap pemandangan dihasilkan di bawah pencahayaan berbeza: pancaran tinggi standard dan diterangi corak oleh lampu hadapan HD.
• Label Tambahan: Kemungkinan termasuk segmentasi semantik, segmentasi instans, dan mungkin aliran optik untuk memudahkan pembelajaran pelbagai tugas.

Penggunaan data sintetik, seperti yang didukung oleh simulator seperti CARLA dan NVIDIA DRIVE Sim, adalah penting untuk membangun dan menguji sistem persepsi dalam keadaan jarang atau berbahaya. Set data ini tersedia secara awam untuk memupuk penyelidikan lanjut.

4. Keputusan Eksperimen & Prestasi

Kaedah LED menunjukkan peningkatan prestasi yang ketara secara keseluruhan.

4.1. Metrik Kuantitatif

Eksperimen pada kedua-dua set data sintetik dan sebenar menunjukkan peningkatan besar dalam metrik anggaran kedalaman standard seperti:

• Ralat Relatif Mutlak (Abs Rel): Pengurangan ketara, menunjukkan ketepatan keseluruhan yang lebih tinggi.
• Ralat Relatif Kuasa Dua (Sq Rel): Bertambah baik, terutamanya untuk nilai kedalaman yang lebih besar.
• Ralat Punca Min Kuasa Dua (RMSE): Penurunan ketara.
• Ketepatan Ambang ($\delta$): Peningkatan dalam peratusan piksel di mana kedalaman yang diramalkan berada dalam ambang (contohnya, 1.25, 1.25², 1.25³) daripada ground truth.

Peningkatan ini konsisten merentasi semua seni bina yang diuji, membuktikan keserbagunaan LED sebagai peningkatan plug-and-play.

4.2. Analisis Kualitatif & Visualisasi

Keputusan visual (seperti yang dicadangkan oleh Rajah 1 dalam PDF) jelas menunjukkan:

• Sempadan Objek Lebih Tajam: Ketakselanjaran kedalaman di sekeliling kereta, pejalan kaki, dan tiang lebih jelas ditakrifkan dengan LED.
• Artifak Dikurangkan: Kesamarataan dan hingar di kawasan gelap homogen (contohnya, permukaan jalan, dinding gelap) diminimumkan.
• Anggaran Jarak Jauh Diperbaiki: Ramalan kedalaman untuk objek yang lebih jauh daripada kenderaan lebih boleh dipercayai dan konsisten.
• Peningkatan Holistik: Anggaran kedalaman yang dipertingkatkan di kawasan bersebelahan dengan, tetapi tidak diterangi secara langsung oleh, corak, menunjukkan pemahaman pemandangan yang digeneralisasikan.

5. Butiran Teknikal & Formulasi Matematik

Peningkatan ini boleh dirangka sebagai pembelajaran fungsi pembetulan. Biarkan $I_{rgb}$ menjadi imej RGB standard dan $I_{pattern}$ menjadi imej dengan corak lampu hadapan yang diunjurkan. Penganggar kedalaman standard $f_\theta$ meramalkan kedalaman $D_{base} = f_\theta(I_{rgb})$. Penganggar dipertingkatkan LED $g_\phi$ mengambil imej diterangi corak untuk meramalkan kedalaman yang lebih baik: $D_{LED} = g_\phi(I_{pattern})$.

Objektif pembelajaran teras, terutamanya dalam tetapan berpandu dengan kedalaman ground truth $D_{gt}$, adalah untuk meminimumkan kerugian seperti kerugian BerHu atau kerugian logaritma skala-invarian:

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

di mana $\alpha$ mengawal penalti. Rangkaian $g_\phi$ secara implisit belajar untuk menyahkod distorsi geometri dalam $I_{pattern}$. Corak ini secara efektif menyediakan set padanan yang padat, memudahkan masalah anggaran kedalaman monokular yang tidak berpenyelesaian baik menjadi masalah yang lebih terkekang.

6. Kerangka Analisis & Contoh Kes

Kerangka: Gabungan Pelbagai Sensor & Penilaian Persepsi Aktif

Skenario: Kenderaan autonomi yang memandu di jalan pinggir bandar yang tidak diterangi pada waktu malam. Seorang pejalan kaki berpakaian gelap melangkah ke jalan tepat di luar pancaran utama.

Garis Dasar (Kamera Sahaja): Rangkaian kedalaman monokular, dilatih pada data siang hari, bergelut. Kawasan pejalan kaki kekurangan tekstur, membawa kepada anggaran kedalaman yang sangat tidak tepat, terlalu jauh atau kegagalan lengkap untuk mengesan ketakselanjaran kedalaman dari jalan. Ini boleh menyebabkan ralat perancangan kritikal.

Sistem Dipertingkatkan LED: Lampu hadapan HD memancarkan corak. Walaupun pejalan kaki tidak berada di tempat paling terang, cahaya berselerak dan distorsi corak di sekitar tepi bentuk memberikan isyarat penting.

1. Pengekstrakan Isyarat: Rangkaian LED mengesan distorsi corak halus pada bentuk pejalan kaki dan permukaan jalan berhampiran kaki mereka.
2. Inferens Kedalaman: Distorsi ini dipetakan kepada anggaran kedalaman yang jauh lebih tepat, meletakkan pejalan kaki dengan betul pada jarak dekat yang berbahaya.
3. Output: Peta kedalaman yang boleh dipercayai dihantar ke timbunan persepsi, mencetuskan manuver brek kecemasan yang sesuai.

Kes ini menonjolkan nilai LED dalam menangani kes tepi di mana penglihatan pasif gagal, secara efektif mengubah kamera kos efektif menjadi sistem sensor aktif yang lebih teguh.

7. Prospek Aplikasi & Hala Tuju Masa Depan

Aplikasi Segera:

• Pemanduan Autonomi L2+/L3: Keselamatan dipertingkatkan dan pengembangan domain reka bentuk operasi (ODD) untuk sistem juruterbang lebuh raya waktu malam dan navigasi bandar.
• Sistem Bantuan Pemandu Maju (ADAS): Prestasi diperbaiki bagi brek kecemasan automatik (AEB) dan pengesanan pejalan kaki pada waktu malam.
• Robotik & Dron: Navigasi untuk robot yang beroperasi dalam persekitaran industri atau luar yang gelap.

Hala Tuju Penyelidikan Masa Depan:

• Pengoptimuman Corak Dinamik: Mempelajari atau menyesuaikan corak yang diunjurkan secara masa nyata berdasarkan kandungan pemandangan (contohnya, jarak, cuaca) untuk keuntungan maklumat maksimum.
• Pembelajaran Pelbagai Tugas: Menganggarkan kedalaman, segmentasi semantik, dan pergerakan secara bersama daripada jujukan diterangi corak.
• Integrasi Cuaca Buruk: Menggabungkan LED dengan teknik untuk mengendalikan kabus, hujan, dan salji yang juga menyebarkan dan mendistorsikan cahaya yang diunjurkan.
• Komunikasi V2X: Menyelaraskan corak antara pelbagai kenderaan untuk mengelakkan gangguan dan membolehkan persepsi koperatif.
• LED Kendiri-Selia: Membangunkan paradigma latihan yang tidak memerlukan label kedalaman padat, mungkin menggunakan konsistensi corak merentasi bingkai dalam tetapan stereo atau pelbagai pandangan.

8. Rujukan

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv preprint arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Exploiting long-range correlation and local information for accurate monocular depth estimation. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., et al. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. CVPR.
8. Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. Analisis Pakar Asal