LED: Gece Işığı Geliştirmeli Derinlik Tahmini - Teknik Analiz ve Sektörel Bakış

1. Giriş ve Problem İfadesi

Kamera tabanlı gece derinlik tahmini, hala otonom sürüş alanında çözülmesi gereken kritik bir zorluk olmaya devam etmektedir. Gündüz verileri üzerinde eğitilmiş modeller düşük ışık koşullarında başarısız olurken, LiDAR kesin derinlik sağlayabilse de, yüksek maliyeti ve zorlu hava koşullarına (sis, yağmur nedeniyle ışın yansıması ve gürültü gibi) duyarlılığı geniş uygulamasını sınırlamaktadır. Görsel temel modeller büyük veri setleri üzerinde eğitilmiş olsa da, uzun kuyruklu dağılıma ait gece görüntülerinde hala güvenilir değildir. Büyük ölçekli, etiketli gece veri setlerinin eksikliği, denetimli öğrenme yöntemlerinin gelişimini daha da engellemektedir. Bu makale,Işıkla Geliştirilmiş Derinlik Tahmini (LED), bu yöntem, modern araçların yüksek çözünürlüklü (HD) uzun farlarının yansıttığı desenleri kullanarak gece vakti derinlik tahmini doğruluğunu önemli ölçüde artıran ve LiDAR'a ekonomik bir alternatif sunan yenilikçi bir yaklaşımdır.

2. LED Yöntemi: Temel Kavramlar

LED'in ilhamı aktif stereo vizyondan gelir. Yalnızca pasif çevre ışığına güvenmez, bunun yerine yüksek çözünürlüklü far ışıklarından yayılan bilinen yapılandırılmış bir deseni kullanarak sahneyi aktif olarak aydınlatır. Yansıtılan bu desen, görsel bir ipucu olarak, karanlık ve düşük kontrastlı gece sahnelerinde normalde eksik olan ek doku ve özellikleri sağlar.

2.1. Desen Projeksiyonu Prensibi

Temel fikir, araç far ışıklarını kontrol edilebilir bir ışık kaynağı olarak ele almaktır. Belirli bir desen (örneğin bir ızgara veya sözde rastgele nokta deseni) yansıtarak, sahnenin yüzey geometrisi bu deseni modüle eder. Yakalanan RGB görüntüsünde, bilinen desendeki deformasyon, derinlik tahmini için doğrudan ipucu sağlar. Bu, yapısal ışık sistemlerinin çalışma prensibine benzer, ancak daha uzun menzile sahiptir ve standart otomotiv donanımına entegre edilmiştir.

2.2. Sistem Mimarisi ve Entegrasyonu

LED, modüler bir geliştirme çözümü olarak tasarlanmıştır. Çeşitli mevcut derinlik tahmin mimarilerine (kodlayıcı-kodçözücü, Adabins, DepthFormer, Depth Anything V2) entegre edilebilir. Yöntem, desenle aydınlatılmış RGB görüntüsünü girdi olarak alır. Ağ, yansıtılan desendeki bozulmaları derinlikle ilişkilendirmeyi öğrenir ve eğitim sürecinde aktif aydınlatmayı etkin bir şekilde denetim sinyali olarak kullanır. Dikkat çekici olan, performans artışının yalnızca doğrudan aydınlatılan bölgelerle sınırlı kalmamasıdır; bu, modelin sahneyi anlama yeteneğinin bütünsel olarak geliştiğini göstermektedir.

3. Gece Sentezi Sürüş Veri Seti

Veri kıtlığı sorununu çözmek için yazarlar, Gece senaryolu sentetik sürüş veri setini yayınladı.Gece senaryolu sentetik sürüş veri seti.Bu, 49.990 görüntü içeren ve kapsamlı açıklamalarla birlikte gelen, büyük ölçekli, fotoğraf gerçekçiliğinde bir sentetik veri setidir:

• Yoğun Derinlik Haritası:Denetimli eğitim için kullanılan kesin gerçek derinlik.
• Çoklu Aydınlatma Koşulları:Her sahne farklı aydınlatma altında render edilmiştir: standart uzun far ve yüksek çözünürlüklü farlar desen aydınlatması.
• Ek Etiketler:Semantik bölümleme, örnek bölümleme ve muhtemelen optik akış dahil olmak üzere çoklu görev öğrenimini kolaylaştırmak için kullanılabilir.

CARLA ve NVIDIA DRIVE Sim gibi simülatörlerin öncülük ettiği gibi, sentetik veri kullanımı, nadir veya tehlikeli koşullarda algılama sistemlerini geliştirmek ve test etmek için hayati önem taşır. Bu veri seti, daha fazla araştırmayı teşvik etmek amacıyla kamuya açılmıştır.

4. Deneysel Sonuçlar ve Performans

LED yöntemi, tüm yönlerden kayda değer bir performans artışı sergilemektedir.

4.1. Nicel Metrikler

Sentetik ve gerçek veri setleri üzerinde yapılan deneyler, standart derinlik tahmini metriklerinde önemli bir iyileşme olduğunu göstermektedir, örneğin:

• Mutlak Bağıl Hata (Abs Rel):belirgin şekilde azalmıştır, bu da genel doğruluğun daha yüksek olduğunu göstermektedir.
• Karesel Bağıl Hata (Sq Rel):Özellikle daha büyük derinlik değerleri için iyileşme sağlanmıştır.
• Kök Ortalama Kare Hata (RMSE):Belirgin bir düşüş gözlenmiştir.
• Eşik doğruluğu ($\delta$):Gerçek derinlik eşiği (örn. 1.25, 1.25², 1.25³) içinde kalan tahmini derinlik piksellerinin yüzdesindeki artış.

Tüm test edilen mimarilerde iyileştirmeler tutarlıdır ve LED'in tak-çalıştır bir geliştirme çözümü olarak evrenselliğini kanıtlamaktadır.

4.2. Nitel Analiz ve Görselleştirme

Görselleştirme sonuçları (PDF'deki Şekil 1'de gösterildiği gibi) açıkça göstermektedir:

• Daha net nesne sınırları:Araba, yaya ve elektrik direkleri etrafındaki derinlik süreksizlikleri LED kullanıldıktan sonra daha iyi tanımlanmıştır.
• Yapay Görüntülemelerin Azaltılması:Düzgün karanlık alanlardaki (yol yüzeyi, koyu duvar gibi) bulaşma ve gürültü en aza indirilmiştir.
• Geliştirilmiş Uzun Mesafe Tahmini:Uzaktaki araçlara ve nesnelere yönelik derinlik tahminleri daha güvenilir ve tutarlı hale geldi.
• Genel İyileştirmeler:Desenle bitişik ancak doğrudan aydınlatılmayan bölgelerde de derinlik tahmini geliştirilmiştir; bu, genelleştirilmiş sahne anlama yeteneğini sergilemektedir.

5. Teknik Detaylar ve Matematiksel Formüller

Bu geliştirme, bir düzeltme fonksiyonu öğrenilmesi olarak ifade edilebilir. $I_{rgb}$ standart RGB görüntüsü, $I_{pattern}$ ise ön ışık deseni yansıtılmış görüntü olsun. Standart derinlik tahmin edici $f_\theta$, $D_{base} = f_\theta(I_{rgb})$ derinliğini tahmin eder. LED ile geliştirilmiş tahmin edici $g_\phi$, desenle aydınlatılmış görüntüyü girdi olarak alarak daha iyi bir derinlik tahmini yapar: $D_{LED} = g_\phi(I_{pattern})$.

Temel öğrenme hedefi, özellikle gerçek derinlik $D_{gt}$ ile denetimli bir kurulumda, BerHu kaybı veya ölçekten bağımsız logaritmik kayıp gibi bir kayıp fonksiyonunu en aza indirmektir:

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

Burada $\alpha$ ceza terimini düzenler. $g_\phi$ ağı, $I_{pattern}$ içindeki geometrik deformasyonları örtük olarak çözmeyi öğrenir. Bu desen, iyi tanımlanmamış tek kameralı derinlik tahmini problemini daha kısıtlı bir probleme indirgeyen yoğun bir yazışma kümesi sağlar.

6. Analitik Çerçeve ve Vaka Örnekleri

Çerçeve: Çoklu Sensör Füzyonu ve Aktif Algılama Değerlendirmesi

Senaryo:Geceleyin aydınlatmasız bir banliyö yolunda seyreden bir otonom araç. Koyu renk kıyafetli bir yaya, ana far hüzmesinin hemen dışındaki yola çıkıyor.

Baz Hattı (Yalnızca Kamera):Gündüz verisi üzerinde eğitilmiş tek kameralı derinlik ağları zayıf performans sergiler. Yaya bölgelerindeki doku eksikliği, derinlik tahminlerinde ciddi yanlışlıklara (çok uzak tahmin) veya yol ile derinlik süreksizliğinin hiç tespit edilememesine yol açar. Bu, kritik planlama hatalarını tetikleyebilir.

LED Geliştirilmiş Sistem:Yüksek çözünürlüklü far ışık deseni yansıtır. Yayanın en parlak bölgede olmaması durumunda bile, kişi kenarları etrafındaki saçılan ışık ve desen deformasyonu kritik ipuçları sağlayabilir.

1. İpucu Çıkarımı:LED ağı, yaya formunu ve ayaklarının yanındaki kaldırım yüzeyindeki ince desen deformasyonlarını tespit etti.
2. Derinlik Çıkarımı:Bu deformasyonlar, daha doğru derinlik tahminlerine eşlenerek yayaları tehlikeli yakın mesafelere doğru konumlandırır.
3. Çıktı:Güvenilir derinlik haritası, algılama yazılımına iletilerek uygun acil frenleme işlemini tetikler.

Bu vaka, pasif görüşün başarısız olduğu sınır durumlarını çözmede LED'in değerini vurgulayarak, uygun maliyetli kameraları daha sağlam aktif sensör sistemlerine dönüştürür.

7. Uygulama Potansiyeli ve Gelecek Yönelimler

Yakın Vadeli Uygulamalar:

• L2+/L3 Seviyesi Otonom Sürüş:Gece otoyol pilotu ve şehir navigasyon sistemlerinin güvenliğinin artırılması ve Operasyonel Tasarım Alanı (ODD) genişletmesi.
• Gelişmiş Sürücü Destek Sistemleri (ADAS):Geceleyin Otomatik Acil Frenleme (AEB) ve yaya tespit performansını geliştirmek.
• Robot Teknolojisi ve İnsansız Hava Araçları:Karanlık endüstriyel veya açık hava ortamlarında çalışan robot navigasyonu.

Gelecek Araştırma Yönleri:

• Dinamik Desen Optimizasyonu:Sahne içeriğine (örneğin mesafe, hava durumu) göre yansıtılan deseni gerçek zamanlı olarak öğrenmek veya ayarlamak, maksimum bilgi kazancı sağlamak için.
• Çoklu görev öğrenimi:Derinlik, anlamsal bölütleme ve hareketin, desenle aydınlatılan dizilerden ortaklaşa tahmini.
• Zorlu hava koşulları entegrasyonu:LED'leri sis, yağmur ve kar gibi hava koşullarında da yansıtılan ışığı saçan ve bozan teknolojilerle birleştirmek.
• Araç-Altyapı (V2X) İletişimi:Girişimi önlemek ve işbirlikli algılama sağlamak için birden fazla araç arasındaki desenleri koordine etmek.
• Self-Supervised LED:Yoğun derinlik etiketlerine ihtiyaç duymayan bir eğitim paradigması geliştirmek, stereo veya çok bakış açılı kurulumlarda kareler arası desen tutarlılığından yararlanılabilir.

8. Kaynakça

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv ön baskı arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Doğru tek kameralı derinlik tahmini için uzun menzilli korelasyon ve yerel bilgiden yararlanma. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., vd. (2016). Anlamsal Kentsel Sahne Anlama için Cityscapes Veri Kümesi. CVPR.
8. Dosovitskiy, A., vd. (2021). Bir görüntü 16x16 kelimeye değer: Ölçekte görüntü tanıma için Dönüştürücüler. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. Uzman Analizi