Yaliyomo
1. Utangulizi
Kukadiria hali ya mwangaza kutoka kwa picha moja ni tatizo la msingi lakini lisilo na suluhisho moja katika taswira ya kompyuta. Karatasi "Kukadiria Mwangaza wa Ndani Unaobadilika Kwa Nafasi Kwa Haraka" na Garon et al. (2019) inashughulikia hili kwa kupendekeza mtandao wa neva wa kukokotoa (CNN) wa wakati halisi unaotabiri mwangaza unaobadilika kwa nafasi unaowakilishwa kama harmonics ya tufe (SH) ya mpangilio wa 5 kutoka kwa picha moja ya RGB na eneo la 2D lililoulizwa. Tofauti na kazi zilizopita zinazokadiria uwakilishi mmoja wa mwangaza wa ulimwengu au zinazohitaji kina kama pembejeo, njia hii inajibiana na vizuizi vya ndani na usambazaji wa mwangaza bila jiometri wazi. Njia hii hufikia hitimisho katika chini ya 20ms kwenye GPU ya rununu, na kufanya iweze kutumika katika programu za ukweli ulioongezwa (AR) ambapo vitu vya kuwazi vinahitaji uwekaji upya wa mwangaza wa kweli katika nafasi zozote.
2. Uelewa Msingi: Mtazamo wa Mchambuzi
2.1 Mpangilio wa Mantiki
Karatasi hii inafuata maendeleo ya mantiki wazi: (1) kutambua kikomo cha kukadiria mwangaza wa ulimwengu katika mandhari ya ndani ambapo mwangaza unabadilika kwa nafasi; (2) kupendekeza uwakilishi mfupi wa SH ambao huficha uwepo wa ndani kwa njia isiyo wazi; (3) kubuni CNN inayochukua picha na kuratibu za 2D kama pembejeo na kutoa mgawo wa SH; (4) kufundisha kwenye seti kubwa ya data ya mandhari ya ndani ya sintetiki yenye mwangaza wa ukweli; (5) kuthibitisha kupitia vipimo vya kiasi, kulinganisha ubora, na utafiti wa watumiaji. Mpangilio huu una mwendo mzuri, ukisonga kutoka kwa ufafanuzi wa tatizo hadi suluhisho la vitendo.
2.2 Nguvu na Udhaifu
Nguvu: Njia hii ni ya ufanisi wa kukokotoa (hitimisho la 20ms), haihitaji kina au jiometri, na hutoa makadirio yanayobadilika kwa nafasi ambayo yanazidi kwa kiasi kikubwa njia za ulimwengu. Matumizi ya SH yanaruhusu ujumuishaji wa moja kwa moja na shaders za wakati halisi. Utafiti wa watumiaji unathibitisha upendeleo wa hisia.
Udhaifu: Njia hii imepewa kikomo kwa SH ya mpangilio wa 5, ambayo inaweza kukosa maelezo ya mwangaza ya masafa ya juu (mfano, vivuli vikali). Mafunzo hutegemea data ya sintetiki, ambayo inaweza kusababisha matatizo ya pengo la kikoa katika mandhari ya ulimwengu halisi. Njia hii haielezi mwingiliano wa mwangaza au mabadiliko ya mwangaza ya nguvu.
2.3 Uelewa Unaoweza Kutekelezwa
Kwa wasanidi programu wa AR, njia hii inatoa suluhisho la moja kwa moja kwa uingizaji wa kitu cha kweli bila kuchunguza mandhari. Kwa watafiti, kazi hii inasisitiza thamani ya uwakilishi mfupi wa mwangaza na utabiri unaolingana na eneo. Kazi ya baadaye inaweza kupanuliwa kwa SH ya mpangilio wa juu au uwanja wa mionzi ya neva kwa athari ngumu zaidi. Njia hii inaweza kujumuishwa katika ARKit/ARCore ili kuchukua nafasi ya kukadiria mwangaza kwa msingi.
3. Muhtasari wa Njia
3.1 Uundaji wa Tatizo
Kwa kuzingatia picha ya RGB $I$ na eneo la 2D $(x, y)$ katika kuratibu za picha, lengo ni kukadiria mazingira ya mwangaza wa ndani katika hatua hiyo. Mwangaza unawakilishwa kama vekta ya mgawo wa harmonics ya tufe $\mathbf{L} \in \mathbb{R}^{36}$ (migawo 9 kwa kila kituo cha rangi kwa SH ya mpangilio wa 5). Mtandao hujifunza ramani $f: (I, x, y) \rightarrow \mathbf{L}$.
3.2 Muundo wa Mtandao
CNN hutumia msingi wa ResNet-50 kwa uchimbaji wa sifa, ikifuatiwa na decoder mfupi ambayo hutoa mgawo wa SH. Eneo la 2D hufichwa kama ramani ya sifa ya nafasi na kuunganishwa na sifa za picha. Decoder inajumuisha tabaka zilizounganishwa kikamilifu na dropout kwa udhibiti. Mafunzo hutumia hasara ya $L_2$ kati ya mgawo wa SH uliotabiriwa na wa ukweli.
3.3 Uwakilishi wa Harmonics ya Tufe
Harmonics ya tufe hutoa uwakilishi wa kikoa cha masafa ya mazingira ya mwangaza. Kwa SH ya mpangilio wa 5, kazi 9 za msingi kwa kila kituo cha rangi hukamata tofauti za mwangaza ya masafa ya chini. Mionzi iliyorekodiwa $L(\omega)$ inakadiriwa kama $L(\omega) \approx \sum_{l=0}^{4} \sum_{m=-l}^{l} c_{lm} Y_{lm}(\omega)$, ambapo $Y_{lm}$ ni kazi za msingi za SH na $c_{lm}$ ni mgawo.
4. Maelezo ya Kiufundi
4.1 Uundaji wa Kihisabati
Mgawo wa SH hukokotolewa kwa kuweka ramani ya mazingira kwenye msingi wa SH: $c_{lm} = \int_{\Omega} L(\omega) Y_{lm}(\omega) d\omega$. Kwa urekebishaji, mionzi iliyojitokeza $B$ katika hatua yenye kawaida $n$ na albedo ya kutawanyika $\rho$ ni $B = \rho \sum_{l=0}^{4} \sum_{m=-l}^{l} c_{lm} A_l Y_{lm}(n)$, ambapo $A_l$ ni mgawo wa uhamisho wa SH kwa kutafakari kwa kutawanyika.
4.2 Uundaji wa Data ya Mafunzo
Seti ya data ya mafunzo inajumuisha mandhari 10,000 ya ndani ya sintetiki iliyorekodiwa kwa mwangaza wa kimwili. Kwa kila mandhari, maeneo mengi ya 2D huchaguliwa, na mgawo wa SH wa ukweli hukokotolewa kutoka kwa ramani ya mazingira ya ndani. Upanuzi wa data unajumuisha mavuno ya nasibu, mwangaza wa rangi, na kelele ili kuboresha ujumuishaji.
5. Matokeo ya Majaribio
5.1 Tathmini ya Kiasi
Njia hii imetathminiwa kwenye seti ya majaribio ya picha za sintetiki na halisi. Vipimo vinajumuisha makosa ya mraba ya wastani (MSE) ya mgawo wa SH, uwiano wa ishara ya kilele kwa kelele (PSNR) ya vitu vilivyorekodiwa, na ufanano wa muundo (SSIM). Njia iliyopendekezwa hufikia MSE ya 0.023, PSNR ya 32.1 dB, na SSIM ya 0.91, ikizidi msingi wa ulimwengu (MSE 0.041, PSNR 28.5 dB, SSIM 0.84).
5.2 Matokeo ya Ubora
Kielelezo 1 katika karatasi (kilichoelezwa hapa) kinaonyesha kulinganisha: kukadiria mwangaza wa ulimwengu [8] hutoa vivuli visivyo sawa na kumwagika kwa rangi, wakati njia iliyopendekezwa inajibiana na mwangaza wa ndani, na kusababisha uingizaji wa kitu cha kweli. Mifano ya ziada inaonyesha usimamizi sahihi wa maeneo karibu na dirisha dhidi ya maeneo mbali na dirisha.
5.3 Utafiti wa Watumiaji
Utafiti wa watumiaji na washiriki 30 ulilinganisha urekebishaji kwa kutumia mwangaza wa ulimwengu dhidi ya unaobadilika kwa nafasi. Washiriki walipendelea njia iliyopendekezwa katika 78% ya kesi, wakitoa sababu za kuwekwa kwa vivuli vya asili zaidi na uthabiti wa rangi. Utafiti huo unathibitisha faida ya hisia ya kukadiria kwa nafasi.
6. Mfano wa Mfumo wa Uchambuzi
Kesi ya Uchunguzi: Uingizaji wa Kitu cha AR Katika Chumba cha Kulala
Fikiria kuweka kiti cha kuwazi katika picha ya chumba cha kulala. Kwa kutumia kukadiria mwangaza wa ulimwengu, kiti kingekuwa na mwangaza sawa bila kujali nafasi. Kwa njia iliyopendekezwa, kiti kilichowekwa karibu na dirisha hupokea mwangaza mkali zaidi, wa bluu, wakati kiti kilichowekwa kwenye kona hupokea mwangaza dhaifu zaidi, wa joto. Mgawo wa SH hukokotolewa katika hatua ya uingizaji, na shader hutumia kukokotoa kutafakari kwa kutawanyika na kwa mwanga kwa wakati halisi. Hii inaruhusu uzoefu wa kweli wa AR bila kuchunguza mazingira mapema.
7. Uchambuzi wa Asili
Karatasi ya Garon et al. (2019) inawakilisha hatua muhimu mbele katika kukadiria mwangaza kwa vitendo kwa AR, lakini haina mapungufu. Uvumbuzi msingi—kutumia CNN inayolingana na eneo kutabiri mgawo wa SH—ni mzuri na wa ufanisi, ukiruhusu utendaji wa wakati halisi kwenye vifaa vya rununu. Hata hivyo, kutegemea SH ya mpangilio wa 5 kunapunguza njia hii kwa mwangaza wa masafa ya chini, ambayo inakubalika kwa vitu vinavyotawanyika lakini inashindwa kwa kutafakari kwa mwanga au vivuli vikali. Ushindani huu kati ya ufanisi wa kukokotoa na usahihi ni wa kawaida katika taswira ya wakati halisi (mfano, uhamishaji wa mionzi uliokokotolewa mapema na Sloan et al., 2002).
Ikilinganishwa na kazi ya wakati mmoja kama DeepLight (Sun et al., 2019) ambayo hutumia mitandao ya neva kutabiri ramani kamili za mazingira, njia hii ni ya haraka lakini haielezi vizuri. Utafiti wa watumiaji hutoa ushahidi mkubwa wa uboreshaji wa hisia, lakini data ya mafunzo ya sintetiki inaweza isikamate utofauti kamili wa mwangaza wa ulimwengu halisi, kama ilivyoelezwa na tatizo la pengo la kikoa katika njia nyingi zinazotegemea kujifunza (mfano, CycleGAN na Zhu et al., 2017). Kazi ya baadaye inaweza kujumuisha mafunzo ya kupinga au kukabiliana na kikoa ili kuvuka pengo hili.
Kutoka kwa mtazamo wa tasnia, njia hii iko tayari kwa kujumuishwa katika mifumo ya AR. ARKit ya Apple na ARCore ya Google kwa sasa hutoa kukadiria mwangaza kwa msingi; kupitisha utabiri wa SH unaobadilika kwa nafasi kungeboresha ukweli kwa kiasi kikubwa. Uwakilishi mfupi (nambari 36 za desimali) ni bora kwa utumizi wa rununu. Hata hivyo, njia hii haishughulikii mabadiliko ya mwangaza ya nguvu (mfano, vyanzo vya mwanga vinavyosonga) au mwingiliano wa mwangaza, ambayo ni muhimu kwa AR kamili ya kujishughulisha. Kupanuliwa kwa uthabiti wa muda na SH ya mpangilio wa juu kungekuwa hatua muhimu zinazofuata.
8. Matumizi ya Baadaye na Mtazamo
Njia hii inafungua njia kadhaa za kazi ya baadaye:
- Mwangaza wa Nguvu: Kupanuliwa kwa mfululizo wa video yenye mwendo wa muda kwa vyanzo vya mwanga vinavyosonga.
- SH ya Mpangilio wa Juu: Kutumia SH ya mpangilio wa 7 au 9 kukamata mwangaza wenye maelezo zaidi, labda kwa decoder yenye ufanisi zaidi.
- Urekebishaji wa Neva: Kuchanganya na uwanja wa mionzi ya neva (NeRF) kwa athari zinazotegemea mtazamo.
- Ukabiliaji wa Kikoa: Kutumia GANs kukabiliana na data ya mafunzo ya sintetiki kwa usambazaji wa ulimwengu halisi.
- Muunganisho wa Mtazamo Mwingi: Kujumuisha habari kutoka kwa picha nyingi kwa makadirio yenye nguvu zaidi.
- Kuharakishwa kwa Vifaa: Kuboresha kwa NPUs/TPUs za rununu kwa hitimisho la chini ya 10ms.
Katika miaka 3-5 ijayo, kukadiria mwangaza unaobadilika kwa nafasi kitakuwa kipengele cha kawaida katika vifaa vya AR, kikirahisisha kuchanganyika kwa yaliyomo vya kuwazi na halisi.
9. Marejeo
- Garon, M., Sunkavalli, K., Hadap, S., Carr, N., & Lalonde, J.-F. (2019). Fast Spatially-Varying Indoor Lighting Estimation. CVPR.
- Gardner, M.-A., et al. (2017). Deep Parametric Indoor Lighting Estimation. ICCV.
- Sloan, P.-P., Kautz, J., & Snyder, J. (2002). Precomputed Radiance Transfer for Real-Time Rendering in Dynamic, Low-Frequency Lighting Environments. SIGGRAPH.
- Sun, T., et al. (2019). DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality. CVPR.
- Zhu, J.-Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV.
- Ramamoorthi, R., & Hanrahan, P. (2001). An Efficient Representation for Irradiance Environment Maps. SIGGRAPH.