LED: Ukadiriaji wa Kina Kilichoboreshwa na Mwanga Usiku - Uchambuzi wa Kiufundi na Mtazamo wa Sekta

1. Utangulizi na Taarifa ya Tatizo

Ukadiriaji wa kina unaotegemea kamera usiku bado ni changamoto muhimu isiyotatuliwa kwa ajili ya kuendesha gari kiotomatiki. Miundo iliyofunzwa kwenye data ya mchana inashindwa chini ya hali ya mwanga mdogo, na wakati LiDAR inatoa kina sahihi, gharama yake kubwa na usugu wake kwa hali mbaya ya hewa (k.m., ukungu, mvua inayosababisha mwanga kurudishwa na kelele) huzuia upitishaji mpana. Miundo ya msingi ya kuona, licha ya kufunzwa kwenye seti kubwa za data, haiaminiki kwenye picha za usiku zinazowakilisha usambazaji wa mkia mrefu. Ukosefu wa seti kubwa za data za usiku zilizowekwa alama zaidi huzuia mbinu za kujifunza zilizosimamiwa. Karatasi hii inatanguliza Kina Kilichoboreshwa na Mwanga (LED), mbinu mpya inayotumia muundo unaotolewa na taa za mbele za Kisasa za Uwazi wa Juu (HD) za magari ili kuboresha kwa kiasi kikubwa usahihi wa ukadiriaji wa kina usiku, ikitoa mbadala wa gharama nafuu kwa LiDAR.

2. Mbinu ya LED: Dhana ya Msingi

LED huchota msukumo kutoka kwa kuona kwa pande mbili zenye shughuli. Badala ya kutegemea tu mwanga wa mazingira usio na shughuli, inaangazia eneo kwa shughuli kwa muundo unaojulikana, ulioundwa kutoka kwa taa za mbele za HD. Muundo huu unaotolewa hufanya kazi kama kiashiria cha kuona, kikitoa muundo wa ziada na vipengele ambavyo havipo katika maeneo ya usiku yenye giza na tofauti ndogo.

2.1. Kanuni ya Utoaji wa Muundo

Wazo la msingi ni kuchukulia taa za mbele za gari kama chanzo cha mwanga kilichodhibitiwa. Kwa kutoa muundo maalum (k.m., gridi au muundo wa nukta bandia), jiometri ya uso wa eneo hurekebisha muundo huu. Uvunjaji wa muundo unaojulikana katika picha ya RGB iliyopigwa hutoa viashiria vya moja kwa moja kwa ukadiriaji wa kina, sawa na jinsi mifumo ya mwanga ulioundwa inavyofanya kazi lakini kwa masafa marefu na kujumuishwa kwenye vifaa vya kawaida vya magari.

2.2. Muundo wa Mfumo na Ujumuishaji

LED imeundwa kama uboreshaji wa moduli. Inaweza kujumuishwa katika miundo mbalimbali iliyopo ya ukadiriaji wa kina (msimboji-kufafanua, Adabins, DepthFormer, Depth Anything V2). Mbinu huchukua picha ya RGB iliyoangaziwa na muundo kama ingizo. Mtandao hujifunza kuunganisha uvunjaji wa muundo uliotolewa na kina, kwa ufanisi kutumia mwanga wenye shughuli kama ishara ya usimamizi wakati wa mafunzo. Kwa kushangaza, uboreshaji wa utendaji unaenea zaidi ya maeneo yaliyoangaziwa moja kwa moja, ukionyesha uboreshaji kamili katika uelewa wa eneo la mtindo.

3. Seti ya Data ya Usiku ya Kuendesha Bandia

Ili kushughulikia tatizo la uhaba wa data, waandishi hutoa Seti ya Data ya Usiku ya Kuendesha Bandia. Hii ni seti kubwa ya data ya bandia yenye uhalisia wa picha inayojumuisha picha 49,990 zilizo na maelezo kamili:

• Ramani Dense za Kina: Ukweli wa kina sahihi kwa mafunzo yaliyosimamiwa.
• Hali Nyingi za Mwangaza: Kila eneo huonyeshwa chini ya mwanga tofauti: boriti kuu ya kawaida na mwangaza wa muundo na taa za mbele za HD.
• Lebo za Ziada: Pengine inajumuisha mgawanyiko wa maana, mgawanyiko wa mfano, na uwezekano wa mtiririko wa macho ili kuwezesha kujifunza kwa kazi nyingi.

Matumizi ya data ya bandia, kama inavyotangazwa na viigaji kama CARLA na NVIDIA DRIVE Sim, ni muhimu kwa kuunda na kujaribu mifumo ya mtazamo katika hali adimu au hatari. Seti ya data inapatikana kwa umma ili kukuza utafiti zaidi.

4. Matokeo ya Majaribio na Utendaji

Mbinu ya LED inaonyesha uboreshaji mkubwa wa utendaji kote kote.

4.1. Vipimo vya Kiasi

Majaribio kwenye seti za data za bandia na halisi yanaonyesha ongezeko kubwa katika vipimo vya kawaida vya ukadiriaji wa kina kama vile:

• Hitilafu ya Jamaa Kamili (Abs Rel): Kupunguzwa kwa kiasi kikubwa, ikionyesha usahihi wa juu zaidi kwa ujumla.
• Hitilafu ya Jamaa ya Mraba (Sq Rel): Imeboreshwa, hasa kwa thamani kubwa za kina.
• Hitilafu ya Mzizi wa Wastani wa Mraba (RMSE): Kupungua kwa alama.
• Usahihi wa Kizingiti ($\delta$): Ongezeko la asilimia ya saizi ambapo kina kilikadiriwa kiko ndani ya kizingiti (k.m., 1.25, 1.25², 1.25³) cha ukweli wa kina.

Uboreshaji huo ni thabiti katika miundo yote iliyojaribiwa, ikithibitisha utofauti wa LED kama uboreshaji wa kuziba-na-kucheza.

4.2. Uchambuzi wa Ubora na Uwasilishaji wa Kuona

Matokeo ya kuona (kama yanavyopendekezwa na Mchoro 1 kwenye PDF) yanaonyesha wazi:

• Mipaka ya Kitu Iliyokwisha: Usumbufu wa kina karibu na magari, watu wanaotembea kwa miguu, na nguzo umefafanuliwa vizuri zaidi na LED.
• Vipengele vya Sanaa Vilivyopunguzwa: Kupaka rangi na kelele katika maeneo yenye giza sawa (k.m., uso wa barabara, kuta nyeusi) yamepunguzwa kwa kiwango cha chini.
• Ukadiriaji wa Masafa Marefu Ulioboreshwa: Utabiri wa kina kwa vitu vilivyo mbali zaidi na gari ni wa kuaminika zaidi na thabiti.
• Uboreshaji Kamili: Ukadiriaji wa kina ulioboreshwa katika maeneo yanayokaribia, lakini hayajaangaziwa moja kwa moja na muundo, ukionyesha uelewa wa jumla wa eneo.

5. Maelezo ya Kiufundi na Uundaji wa Kihisabati

Uboreshaji unaweza kuwekwa kama kujifunza kazi ya kurekebisha. Acha $I_{rgb}$ iwe picha ya kawaida ya RGB na $I_{pattern}$ iwe picha iliyo na muundo wa taa za mbele uliotolewa. Mkadiriaji wa kawaida wa kina $f_\theta$ hutabiri kina $D_{base} = f_\theta(I_{rgb})$. Mkadiriaji wa kina ulioimarishwa na LED $g_\phi$ huchukua picha iliyoangaziwa na muundo kutabiri kina bora: $D_{LED} = g_\phi(I_{pattern})$.

Lengo kuu la kujifunza, hasa katika mazingira yaliyosimamiwa na ukweli wa kina $D_{gt}$, ni kupunguza hasara kama hasara ya BerHu au hasara ya logarithmic isiyobadilika kwa kiwango:

$\mathcal{L}_{depth} = \frac{1}{N} \sum_i \left( \log D_{LED}^{(i)} - \log D_{gt}^{(i)} + \alpha \cdot (\log D_{LED}^{(i)} - \log D_{gt}^{(i)})^2 \right)$

ambapo $\alpha$ inadhibiti adhabu. Mtandao $g_\phi$ kwa njia isiyo wazi hujifunza kusimbua uvunjaji wa kijiometri katika $I_{pattern}$. Muundo kwa ufanisi hutoa seti dense ya mawasiliano, ikirahisisha tatizo la ukadiriaji wa kina wa monocular lisilo na msingi kuwa moja yenye vikwazo vingi.

6. Mfumo wa Uchambuzi na Mfano wa Kesi

Mfumo: Uchanganyiko wa Sensor Nyingi na Tathmini ya Mtazamo Wenye Shughuli

Hali: Gari linaloendesha kiotomatiki likipita barabara ya kitongoji isiyo na taa usiku. Mtu anayetembea kwa miguu akiwa amevalia nguo nyeusi anapanda barabarani nje ya boriti kuu.

Msingi (Kamera pekee): Mtandao wa kina wa monocular, uliofunzwa kwenye data ya mchana, unapata shida. Eneo la mtembea kwa miguu halina muundo, na kusababisha ukadiriaji wa kina usio sahihi kabisa, ulio mbali kupita kiasi au kushindwa kabisa kugundua usumbufu wa kina kutoka kwa barabara. Hii inaweza kusababisha hitilafu muhimu ya upangaji.

Mfumo Ulioimarishwa na LED: Taa za mbele za HD hutoa muundo. Hata kama mtembea kwa miguu hayuko kwenye sehemu yenye mwanga mkubwa zaidi, mwanga uliotawanyika na uvunjaji wa muundo karibu na kingo za mtu hutoa viashiria muhimu.

1. Uchimbaji wa Kiashiria: Mtandao wa LED hugundua uvunjaji wa muundo mwepesi kwenye umbo la mtembea kwa miguu na uso wa barabara karibu na miguu yao.
2. Uhitimu wa Kina: Uvunjaji huu huwekwa kwenye ramani ya kina sahihi zaidi, kuweka mtembea kwa miguu kwa usahihi katika masafa ya karibu yenye hatari.
3. Matokeo: Ramani ya kina inayoweza kuaminika hupitishwa kwenye safu ya mtazamo, na kusababisha hatua sahihi ya kusimamisha dharura.

Kesi hii inaangazia thamani ya LED katika kushughulikia visa vya kingo ambapo kuona kwa mazingira kunashindwa, kwa ufanisi kugeuza kamera ya gharama nafuu kuwa mfumo wa sensor wenye nguvu zaidi wenye shughuli.

7. Mtazamo wa Matumizi na Mwelekeo wa Baadaye

Matumizi ya Mara Moja:

• Kuendesha Gari Kiotomatiki L2+/L3: Usalama ulioboreshwa na upanuzi wa kikoa cha muundo wa uendeshaji (ODD) kwa mfumo wa usimamizi wa barabara kuu usiku na mifumo ya urambazaji mijini.
• Mifumo ya Kisaidia Dereva Iliyoboreshwa (ADAS): Utendaji ulioboreshwa wa kusimamisha dharura kiotomatiki (AEB) na utambuzi wa watembea kwa miguu usiku.
• Robott na Droni: Urambazaji kwa roboti zinazofanya kazi katika mazingira ya viwanda yenye giza au ya nje.

Mwelekeo wa Utafiti wa Baadaye:

• Uboreshaji wa Muundo Unaobadilika: Kujifunza au kurekebisha muundo uliotolewa kwa wakati halisi kulingana na maudhui ya eneo (k.m., masafa, hali ya hewa) kwa faida kubwa zaidi ya habari.
• Kujifunza Kazi Nyingi: Kukadiria pamoja kina, mgawanyiko wa maana, na mwendo kutoka kwa mlolongo ulioangaziwa na muundo.
• Ujumuishaji wa Hali Mbaya ya Hewa: Kuchanganya LED na mbinu za kushughulikia ukungu, mvua, na theluji ambazo pia hutawanya na kuvunja mwanga uliotolewa.
• Mawasiliano ya V2X: Kuunganisha miundo kati ya magari mengi ili kuepuka kuingiliwa na kuwezesha mtazamo wa ushirikiano.
• LED ya Kujijengea: Kuunda mifumo ya mafunzo ambayo haihitaji lebo dense za kina, labda kwa kutumia uthabiti wa muundo kwenye fremu katika mpangilio wa pande mbili au maoni mengi.

8. Marejeo

1. de Moreau, S., Almehio, Y., Bursuc, A., El-Idrissi, H., Stanciulescu, B., & Moutarde, F. (2025). LED: Light Enhanced Depth Estimation at Night. arXiv preprint arXiv:2409.08031v3.
2. Godard, C., Mac Aodha, O., Firman, M., & Brostow, G. J. (2019). Digging into self-supervised monocular depth estimation. ICCV.
3. Bhat, S. F., Alhashim, I., & Wonka, P. (2021). Adabins: Depth estimation using adaptive bins. CVPR.
4. Li, Z., et al. (2022). DepthFormer: Exploiting long-range correlation and local information for accurate monocular depth estimation. arXiv.
5. Yang, L., et al. (2024). Depth Anything V2. arXiv.
6. Gupta, S., et al. (2022). Lidar: The automotive perspective. Proceedings of the IEEE.
7. Cordts, M., et al. (2016). The Cityscapes Dataset for Semantic Urban Scene Understanding. CVPR.
8. Dosovitskiy, A., et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
9. Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV. (CycleGAN)
10. Dosovitskiy, A., Ros, G., Codevilla, F., López, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. CoRL.

9. Uchambuzi wa Asili wa Mtaalamu