Mobil Artırılmış Gerçeklik'te (AR) foto-gerçekçi renderlama, temelde, sanal bir nesnenin yerleştirileceği keyfi konumlarda doğru, gerçek zamanlı çok yönlü aydınlatma bilgisinin eksikliği ile sınırlıdır. Mevcut mobil cihazlar, sanal bir nesnenin yerleştirilmesi istenen noktadan tam bir 360° panorama yakalayamaz. Kullanıcının gözlem noktasından alınan aydınlatma verilerini kullanmak, mekansal olarak değişmeyen, yanlış renderlamaya yol açar ve sürükleyiciliği bozar.
Xihe çerçevesi, ortam aydınlatmasını tahmin etmek için yerleşik LiDAR ve derinlik sensörleri gibi mobil 3B görü alanındaki gelişmelerden yararlanarak yeni bir çözüm sunar. Tüketici cihazlarında yüksek kaliteli AR deneyimlerini mümkün kılmak için gerçek zamanlı (yaklaşık ~20ms kadar hızlı) ve mekansal olarak değişken doğru aydınlatma tahmini sağlamak üzere tasarlanmış kenar destekli bir sistemdir.
Xihe'nin mimarisi, mobil AR'nin özel kısıtlamalarına (sınırlı cihaz içi işlem gücü, ağ gecikmesi ve algısal gerçekçilik ihtiyacı) göre her bileşeni optimize eden bir istemci-kenar-sunucu modeli etrafında inşa edilmiştir.
İş akışı şunları içerir: 1) Mobil cihaz, derinlik sensörünü (örn. LiDAR) kullanarak ortamın 3B nokta bulutunu yakalar. 2) Yeni bir örnekleme algoritması bu veriyi sıkıştırır. 3) İşlenen veri, aydınlatma tahmini için bir derin öğrenme modeli barındıran bir kenar sunucusuna gönderilir. 4) Tahmin edilen aydınlatma parametreleri (örn. küresel harmonik katsayıları) sanal nesneleri renderlamak için cihaza geri döndürülür.
Önemli bir yenilik, 3B iç mekan veri kümelerinin deneysel analizinden türetilen verimli bir örnekleme tekniğidir. Xihe, tam, yoğun nokta bulutunu işlemek yerine, aydınlatma tahmini için en bilgilendirici olan noktaların bir alt kümesini (örn. belirli normal veya albedo özelliklerine sahip yüzeylerdeki noktalar) akıllıca seçer. Bu, doğrulukta önemli bir kayıp olmadan veri yükünü büyük ölçüde azaltır.
Gecikmeyi en aza indirmek için, ilk nokta bulutu işleme (filtreleme, normalizasyon, örnekleme) mobil cihazın GPU'sunda gerçekleştirilir. Bu özel işlem hattı, ağ iletiminden önce ağır ön işlemenin bir darboğaz haline gelmemesini sağlar.
3B yapıdan aydınlatma çıkarımı yapan karmaşık derin öğrenme modeli bir kenar sunucusunda çalışır. Xihe, ağ gecikmesini ve bant genişliği kullanımını en aza indirmek için, iletimden önce örneklenmiş nokta bulutu verisini daha da sıkıştırmak üzere özel bir kodlama şeması kullanır.
Xihe, akıllı bir tetikleme stratejisi içerir. Her kare için yeni bir aydınlatma tahmini yapmaz. Bunun yerine, aydınlatma koşullarının veya kullanıcı/bakış noktası konumunun bir güncellemeyi gerektirecek kadar önemli ölçüde değişip değişmediğini tahmin eder. Ayrıca, tahminler arasında zamansal tutarlılığı sağlayarak, renderlanan AR sahnesinde titreme veya rahatsız edici geçişleri önleyen mekanizmalar sunar.
Aydınlatma genellikle Küresel Harmonikler (SH) kullanılarak temsil edilir. Temel tahmin problemi, bir albedo $\rho$ verildiğinde, normali $\mathbf{n}$ olan yüzey noktalarında gözlemlenen radyans $B(\mathbf{n})$'yi en iyi açıklayan SH katsayıları $\mathbf{l}$'yi bulmak olarak çerçevelenebilir:
$B(\mathbf{n}) = \rho \int_{\Omega} L(\omega) (\mathbf{n} \cdot \omega)^+ d\omega \approx \rho \sum_{i} l_i Y_i(\mathbf{n})$
Burada $L(\omega)$ gelen radyans, $Y_i$ SH temel fonksiyonları ve $(\cdot)^+$ kısıtlanmış nokta çarpımıdır. Xihe'nin sinir ağı, örneklenmiş bir nokta bulutu $P$'den bu katsayılara bir eşleme $f_\theta$ öğrenir: $\mathbf{l} = f_\theta(P)$.
Örnekleme stratejisi, bu ters renderlama problemini çözmek için bilgi kazancını en üst düzeye çıkaran $p_i \in P$ noktalarını seçmeyi amaçlar; genellikle Lambert olmayan ipuçlarına veya belirli geometrik ilişkilere sahip noktalara odaklanır.
Senaryo: Bir tarafında pencere, diğer tarafında lamba bulunan bir oturma odasındaki ahşap bir masaya sanal bir seramik vazo yerleştirmek.
Makale, Xihe'yi bir referans mobil AR uygulaması kullanarak değerlendirir. Metrikler tahmin doğruluğu ve uçtan uca gecikme üzerine odaklanır.
20.67 ms
Tahmin başına ortalama
9.4%
En gelişmiş sinir ağı temelinden daha iyi
~100x
Ham nokta bulutundan indirgeme
Doğruluk, Xihe'nin tahmin ettiği aydınlatma altındaki sanal nesnelerin renderlanmış görüntülerini, bilinen ortam haritaları kullanılarak oluşturulan gerçek değer renderlarıyla karşılaştırarak ölçülmüştür. Xihe, standart bir görüntü benzerlik metriği (muhtemelen PSNR veya SSIM) açısından en gelişmiş bir sinir ağı temelinden %9.4 daha iyi performans göstermiştir. Bu kazanç, yalnızca 2B kamera görüntülerine dayanan yöntemlerin aksine, nokta bulutu tarafından sağlanan 3B yapısal farkındalığa atfedilir.
Uçtan uca işlem hattı, aydınlatma tahmini başına ortalama 20.67 milisaniye gecikme elde eder; bu, gerçek zamanlı AR için gereken sürenin (genellikle 60 FPS için 16ms) oldukça altındadır. Bu, verimli cihaz içi ön işleme ve ağ optimizasyonları sayesinde mümkün olur. Uyarlanabilir tetikleme mekanizması, etkin kare başına hesaplama yükünü daha da azaltır.
Temel İçgörü: Xihe, sinirsel renderlamada bir başka artımsal iyileştirme değildir; en son grafik teorisi ile mobil donanımın sert gerçekleri arasındaki boşluğu nihayet kapatan pragmatik bir sistem seviyesi çözümdür. Temel içgörü, mobil 3B sensörlerin (LiDAR) yeni yaygınlığının sadece odaları ölçmek için olmadığı, mobil AR'yi on yıldır rahatsız eden "herhangi bir yerden aydınlatma" problemini çözmek için eksik anahtar olduğudur. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (Mildenhall ve diğerleri, 2020) gibi çalışmalar tam sahne rekonstrüksiyonuyla büyülese de, gerçek zamanlı mobil kullanım için hesaplama açısından engelleyicidir. Xihe, her şeyi yeniden oluşturmaya çalışmayarak bu tuzağı akıllıca önler; bunun yerine, 3B veriyi, çok daha yönetilebilir olan bir aydınlatma tahmin problemini kısıtlamak için seyrek, geometrik bir ön bilgi olarak kullanır.
Mantıksal Akış: Makalenin mantığı ikna edicidir: 1) Foto-gerçekçilik mekansal olarak değişken aydınlatma gerektirir. 2) Mobil cihazlar bunu doğrudan yakalayamaz. 3) Ancak artık 3B geometriyi ucuza yakalayabilirler. 4) Geometri, aydınlatma kısıtlamalarını ima eder (örn. karanlık bir köşe vs. pencere yakını). 5) Bu nedenle, "geometri → aydınlatma" eşlemesini öğrenmek için bir sinir ağı kullanın. 6) Bunu gerçek zamanlı yapmak için her adımı agresif bir şekilde optimize edin: 3B veriyi örnekleyin, ağır çıkarımı kenara taşıyın ve gerekli olmadıkça tahmin yapmayın. Problem tanımından pratik sisteme uzanan bu akış son derece nettir.
Güçlü ve Zayıf Yönler: En büyük gücü pragmatizmidir. Uyarlanabilir tetikleme ve zamansal tutarlılık, sadece bir araştırma demosu değil, gerçek bir ürün için mühendisliğin ayırt edici özellikleridir. Örnekleme algoritması, büyük kazanımlar sağlayan akıllı, kolay erişilebilir bir çözümdür. Ancak, çerçevenin doğasında var olan zayıflıklar vardır. Tamamen derinlik sensörünün kalitesine bağımlıdır; düşük doku veya yüksek yansıtıcılığa sahip ortamlarda performansı sorgulanabilir. Kenar destekli model, bir ağ bağımlılığı getirir; bu da gecikme değişkenliği ve gizlilik endişeleri yaratır—bir AR iç tasarım uygulamasının evinizin 3B haritalarını bir sunucuya aktardığını hayal edin. Ayrıca, Microsoft HoloLens araştırmasında belirtildiği gibi, aydınlatma tahmini, kompozitleme bulmacasının sadece bir parçasıdır; gerçek dünyanın malzeme tahmini, sorunsuz bir karışım için eşit derecede kritiktir ve Xihe bu sorunu atlar.
Uygulanabilir İçgörüler: Araştırmacılar için çıkarım, hibrit geometrik-sinirsel yaklaşımlara odaklanmaktır. Saf öğrenme çok ağırdır; saf geometri çok basittir. Gelecek, birini diğerini yönlendirmek için kullanan Xihe gibi çerçevelerdedir. Geliştiriciler için bu makale bir taslaktır: ciddi bir mobil AR uygulaması geliştiriyorsanız, artık 3B sensör verisini birinci sınıf bir girdi olarak düşünmelisiniz. Hemen ARKit/ARCore'un derinlik API'leri ile prototiplemeye başlayın. Çip üreticileri için, daha güçlü, cihaz içi sinir motorları ve verimli derinlik sensörleri talebi sadece yoğunlaşacaktır—bu işlem hattı için optimize edin. Xihe, tüketici sınıfı foto-gerçekçi AR'ye giden yolun sadece daha iyi algoritmalar değil, algoritmaların, donanımın ve sistem mimarisinin birlikte tasarlanması olduğunu gösterir.