Pemaparan fotorealistik dalam Realiti Ditambah Mudah Alih (AR) pada dasarnya terhad oleh kekurangan maklumat pencahayaan omnidireksi yang tepat dan masa nyata pada kedudukan pemaparan sewenang-wenangnya. Peranti mudah alih semasa tidak dapat merakam panorama 360° penuh dari titik penempatan yang dimaksudkan untuk objek maya. Menggunakan data pencahayaan dari titik pemerhatian pengguna membawa kepada pemaparan yang tidak tepat dan tidak berubah mengikut ruang, yang merosakkan imersi.
Rangka kerja Xihe membentangkan penyelesaian novel dengan memanfaatkan kemajuan dalam penglihatan 3D mudah alih—seperti LiDAR terbina dan sensor kedalaman—untuk menganggarkan pencahayaan persekitaran. Ia adalah sistem berbantukan pinggir yang direka untuk menyediakan anggaran pencahayaan yang tepat dan berubah mengikut ruang secara masa nyata (secepat ~20ms), membolehkan pengalaman AR berfideliti tinggi pada peranti pengguna.
Seni bina Xihe dibina di sekitar model klien-pinggir-pelayan, mengoptimumkan setiap komponen untuk kekangan khusus AR mudah alih: pengiraan terhad pada peranti, kependaman rangkaian, dan keperluan untuk realisme persepsi.
Aliran kerja melibatkan: 1) Peranti mudah alih merakam awan titik 3D persekitaran menggunakan sensor kedalamannya (cth., LiDAR). 2) Algoritma persampelan novel memampatkan data ini. 3) Data yang diproses dihantar ke pelayan pinggir yang menempatkan model pembelajaran mendalam untuk anggaran pencahayaan. 4) Parameter pencahayaan yang dianggarkan (cth., pekali harmonik sfera) dipulangkan ke peranti untuk memaparkan objek maya.
Satu inovasi utama ialah teknik persampelan cekap yang diperoleh daripada analisis empirikal set data dalaman 3D. Daripada memproses awan titik padat penuh, Xihe secara pintar memilih subset titik yang paling bermaklumat untuk anggaran pencahayaan (cth., titik pada permukaan dengan normal atau sifat albedo tertentu). Ini mengurangkan muatan data dengan drastik tanpa kehilangan ketepatan yang ketara.
Untuk meminimumkan kependaman, pemprosesan awal awan titik (penapisan, penormalan, persampelan) dilakukan pada GPU peranti mudah alih. Saluran paip yang disesuaikan ini memastikan pra-pemprosesan berat tidak menjadi penghalang sebelum penghantaran rangkaian.
Model pembelajaran mendalam yang kompleks untuk membuat inferens pencahayaan dari struktur 3D berjalan pada pelayan pinggir. Xihe menggunakan skema pengekodan khusus untuk memampatkan lagi data awan titik yang disampel sebelum penghantaran, meminimumkan kependaman rangkaian dan penggunaan lebar jalur.
Xihe menggabungkan strategi pencetus pintar. Ia tidak melakukan anggaran pencahayaan baharu untuk setiap bingkai. Sebaliknya, ia menganggarkan bila keadaan pencahayaan atau kedudukan pengguna/sudut pandangan telah berubah dengan cukup ketara untuk memerlukan kemas kini. Tambahan pula, ia menyediakan mekanisme untuk memastikan koheren masa antara anggaran, mencegah kelipan atau peralihan yang mengejut dalam adegan AR yang dipaparkan.
Pencahayaan sering diwakili menggunakan Harmonik Sfera (SH). Masalah anggaran teras boleh dirangka sebagai mencari pekali SH $\mathbf{l}$ yang paling baik menerangkan kecerahan yang diperhatikan $B(\mathbf{n})$ pada titik permukaan dengan normal $\mathbf{n}$, diberikan albedo $\rho$:
$B(\mathbf{n}) = \rho \int_{\Omega} L(\omega) (\mathbf{n} \cdot \omega)^+ d\omega \approx \rho \sum_{i} l_i Y_i(\mathbf{n})$
Di mana $L(\omega)$ ialah kecerahan insiden, $Y_i$ ialah fungsi asas SH, dan $(\cdot)^+$ ialah hasil darab terpenggal. Rangkaian neural Xihe mempelajari pemetaan $f_\theta$ dari awan titik tersampel $P$ kepada pekali ini: $\mathbf{l} = f_\theta(P)$.
Strategi persampelan bertujuan untuk memilih titik $p_i \in P$ yang memaksimumkan perolehan maklumat untuk menyelesaikan masalah pemaparan songsang ini, selalunya memberi tumpuan kepada titik dengan petunjuk bukan-Lambert atau hubungan geometri tertentu.
Skenario: Meletakkan pasu seramik maya di atas meja kayu di ruang tamu dengan tingkap di satu sisi dan lampu di sisi lain.
Kertas kerja ini menilai Xihe menggunakan aplikasi AR mudah alih rujukan. Metrik memberi tumpuan kepada ketepatan anggaran dan kependaman hujung-ke-hujung.
20.67 ms
Purata setiap anggaran
9.4%
Lebih baik daripada garis dasar rangkaian neural terkini
~100x
Pengurangan dari awan titik mentalah
Ketepatan diukur dengan membandingkan imej objek maya yang dipaparkan di bawah pencahayaan anggaran Xihe dengan pemaparan kebenaran dasar menggunakan peta persekitaran yang diketahui. Xihe mengatasi garis dasar rangkaian neural terkini sebanyak 9.4% dari segi metrik persamaan imej piawai (kemungkinan PSNR atau SSIM). Keuntungan ini dikaitkan dengan kesedaran struktur 3D yang disediakan oleh awan titik, berbanding kaedah yang bergantung semata-mata pada imej kamera 2D.
Saluran paip hujung-ke-hujung mencapai kependaman purata 20.67 milisaat setiap anggaran pencahayaan, berada dalam belanjawan untuk AR masa nyata (biasanya 16ms untuk 60 FPS). Ini dimungkinkan oleh pra-pemprosesan cekap pada peranti dan pengoptimuman rangkaian. Mekanisme pencetus adaptif selanjutnya mengurangkan beban pengiraan efektif per bingkai.
Pandangan Teras: Xihe bukan sekadar satu lagi peningkatan tambahan dalam pemaparan neural; ia adalah 'hack' peringkat sistem yang pragmatik yang akhirnya merapatkan jurang antara teori grafik canggih dan realiti keras perkakasan mudah alih. Pandangan terasnya ialah bahawa ketersediaan baru sensor 3D mudah alih (LiDAR) bukan hanya untuk mengukur bilik—ia adalah kunci yang hilang untuk menyelesaikan masalah "pencahayaan dari mana-mana" yang telah membelenggu AR mudah alih selama sedekad. Walaupun karya seperti NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (Mildenhall et al., 2020) memukau dengan pembinaan semula adegan penuh, mereka terlalu mahal secara pengiraan untuk penggunaan mudah alih masa nyata. Xihe dengan pintar mengelak perangkap ini dengan tidak cuba membina semula segala-galanya; sebaliknya, ia menggunakan data 3D sebagai prior geometri jarang untuk menyekat masalah anggaran pencahayaan, yang jauh lebih mudah diurus.
Aliran Logik: Logik kertas kerja ini menarik: 1) Fotorealisme memerlukan pencahayaan yang berubah mengikut ruang. 2) Mudah alih tidak dapat merakamnya secara langsung. 3) Tetapi mereka kini boleh merakam geometri 3D dengan murah. 4) Geometri membayangkan kekangan pencahayaan (cth., sudut gelap berbanding berhampiran tingkap). 5) Oleh itu, gunakan rangkaian neural untuk mempelajari pemetaan "geometri → pencahayaan". 6) Untuk menjadikannya masa nyata, optimalkan setiap langkah secara agresif: sampel data 3D, tolak inferens berat ke pinggir, dan jangan anggar melainkan perlu. Aliran dari definisi masalah ke sistem praktikal ini sangat bersih.
Kekuatan & Kelemahan: Kekuatan terbesarnya ialah pragmatismenya. Pencetus adaptif dan koheren masa adalah ciri kejuruteraan untuk produk sebenar, bukan hanya demo penyelidikan. Algoritma persampelan adalah buah yang tergantung rendah yang pintar dan menghasilkan keuntungan besar. Walau bagaimanapun, rangka kerja ini mempunyai kelemahan yang wujud. Ia sepenuhnya bergantung pada kualiti sensor kedalaman; prestasi dalam persekitaran bertekstur rendah atau sangat spekular adalah diragui. Model berbantukan pinggir memperkenalkan kebergantungan rangkaian, mewujudkan kebolehubahan kependaman dan kebimbangan privasi—bayangkan aplikasi reka bentuk dalaman AR yang menstrim peta 3D rumah anda ke pelayan. Tambahan pula, seperti yang dinyatakan dalam penyelidikan Microsoft HoloLens, anggaran pencahayaan hanyalah satu bahagian daripada teka-teki komposit; anggaran bahan dunia sebenar adalah sama kritikal untuk percampuran yang lancar, masalah yang dielakkan oleh Xihe.
Pandangan Boleh Tindak: Untuk penyelidik, pengambilannya ialah untuk menggandakan pendekatan hibrid geometri-neural. Pembelajaran tulen terlalu berat; geometri tulen terlalu mudah. Masa depan terletak pada rangka kerja seperti Xihe yang menggunakan satu untuk membimbing yang lain. Untuk pembangun, kertas kerja ini adalah pelan: jika anda membina aplikasi AR mudah alih yang serius, anda kini mesti mempertimbangkan data sensor 3D sebagai input kelas pertama. Mulakan prototaip dengan API kedalaman ARKit/ARCore dengan segera. Untuk pembuat cip, permintaan untuk enjin neural pada peranti yang lebih berkuasa dan sensor kedalaman yang cekap hanya akan meningkat—optimumkan untuk saluran paip ini. Xihe menunjukkan bahawa jalan ke AR fotorealistik gred pengguna bukan hanya tentang algoritma yang lebih baik, tetapi tentang mereka bentuk bersama algoritma, perkakasan, dan seni bina sistem secara serentak.