رندرینگ عکسواقعنما در واقعیت افزوده موبایل اساساً به دلیل فقدان اطلاعات نورپردازی همهجهتی دقیق و بلادرنگ در موقعیتهای رندرینگ دلخواه، محدود شده است. دستگاههای موبایل کنونی نمیتوانند یک پانورامای کامل ۳۶۰ درجه را از نقطه قرارگیری مورد نظر یک شیء مجازی ثبت کنند. استفاده از دادههای نورپردازی از نقطه مشاهده کاربر، منجر به رندرینگ نادرست و ناوابسته به مکان میشود که غوطهوری را از بین میبرد.
چارچوب شیه با بهرهگیری از پیشرفتهای در بینایی سهبعدی موبایل—مانند حسگرهای داخلی لایدار و عمق—برای تخمین نورپردازی محیط، راهحلی نوآورانه ارائه میدهد. این یک سیستم کمکلبه است که برای ارائه تخمین نورپردازی دقیق و وابسته به مکان در زمان واقعی (به سرعت حدود ۲۰ میلیثانیه) طراحی شده است و تجربیات واقعیت افزوده با وفاداری بالا را در دستگاههای مصرفی ممکن میسازد.
معماری شیه حول مدل کلاینت-لبه-سرور ساخته شده است و هر مؤلفه را برای محدودیتهای خاص واقعیت افزوده موبایل بهینه میکند: قدرت محاسباتی محدود روی دستگاه، تأخیر شبکه و نیاز به واقعنمایی ادراکی.
گردش کار شامل موارد زیر است: ۱) دستگاه موبایل با استفاده از حسگر عمق خود (مانند لایدار) یک ابر نقطهای سهبعدی از محیط ثبت میکند. ۲) یک الگوریتم نمونهبرداری نوآورانه این داده را فشرده میکند. ۳) داده پردازش شده به یک سرور لبه که میزبان یک مدل یادگیری عمیق برای تخمین نورپردازی است، ارسال میشود. ۴) پارامترهای نورپردازی تخمین زده شده (مانند ضرایب هارمونیکهای کروی) برای رندرینگ اشیاء مجازی به دستگاه بازگردانده میشوند.
یک نوآوری کلیدی، یک تکنیک نمونهبرداری کارآمد است که از تحلیل تجربی مجموعه دادههای سهبعدی داخلی مشتق شده است. به جای پردازش کل ابر نقطهای متراکم، شیه بهطور هوشمند زیرمجموعهای از نقاط را انتخاب میکند که بیشترین اطلاعات را برای تخمین نورپردازی دارند (مانند نقاط روی سطوح با نرمالها یا خواص آلبدوی خاص). این امر حجم داده ارسالی را به شدت کاهش میدهد بدون آنکه افت دقت قابل توجهی ایجاد کند.
برای به حداقل رساندن تأخیر، پردازش اولیه ابر نقطهای (فیلتر کردن، نرمالسازی، نمونهبرداری) روی پردازنده گرافیکی دستگاه موبایل انجام میشود. این خط لوله سفارشیسازی شده اطمینان میدهد که پیشپردازش سنگین قبل از انتقال شبکه به یک گلوگاه تبدیل نشود.
مدل پیچیده یادگیری عمیق برای استنتاج نورپردازی از ساختار سهبعدی روی یک سرور لبه اجرا میشود. شیه از یک طرح رمزگذاری تخصصی برای فشردهسازی بیشتر داده ابر نقطهای نمونهبرداری شده قبل از انتقال استفاده میکند و تأخیر شبکه و استفاده از پهنای باند را به حداقل میرساند.
شیه یک استراتژی راهاندازی هوشمند را در خود جای داده است. این چارچوب برای هر فریم یک تخمین نورپردازی جدید انجام نمیدهد. در عوض، تخمین میزند که چه زمانی شرایط نورپردازی یا موقعیت کاربر/نقطه دید به اندازه کافی تغییر کرده است که نیاز به بروزرسانی داشته باشد. علاوه بر این، مکانیسمهایی را برای اطمینان از پیوستگی زمانی بین تخمینها فراهم میکند و از چشمک زدن یا انتقالهای ناهنجار در صحنه واقعیت افزوده رندر شده جلوگیری میکند.
نورپردازی اغلب با استفاده از هارمونیکهای کروی نمایش داده میشود. مسئله تخمین هستهای را میتوان به صورت یافتن ضرایب هارمونیک کروی $\mathbf{l}$ فرمولبندی کرد که به بهترین شکل تابندگی مشاهده شده $B(\mathbf{n})$ در نقاط سطحی با نرمال $\mathbf{n}$، با توجه به آلبدوی $\rho$ را توضیح میدهند:
$B(\mathbf{n}) = \rho \int_{\Omega} L(\omega) (\mathbf{n} \cdot \omega)^+ d\omega \approx \rho \sum_{i} l_i Y_i(\mathbf{n})$
که در آن $L(\omega)$ تابندگی فرودی است، $Y_i$ توابع پایه هارمونیک کروی هستند و $(\cdot)^+$ حاصل ضرب داخلی محدود شده است. شبکه عصبی شیه یک نگاشت $f_\theta$ از یک ابر نقطهای نمونهبرداری شده $P$ به این ضرایب را یاد میگیرد: $\mathbf{l} = f_\theta(P)$.
استراتژی نمونهبرداری با هدف انتخاب نقاط $p_i \in P$ است که به حداکثر رساندن کسب اطلاعات برای حل این مسئله رندرینگ معکوس کمک میکنند، که اغلب بر روی نقاط با سرنخهای غیرلامبرتی یا روابط هندسی خاص متمرکز است.
سناریو: قرار دادن یک گلدان مجازی سرامیکی روی یک میز چوبی در یک اتاق نشیمن با یک پنجره در یک سمت و یک چراغ در سمت دیگر.
مقاله شیه را با استفاده از یک برنامه مرجع واقعیت افزوده موبایل ارزیابی میکند. معیارها بر روی دقت تخمین و تأخیر سرتاسری متمرکز هستند.
۲۰.۶۷ میلیثانیه
میانگین برای هر تخمین
۹.۴٪
بهتر از خط پایه شبکه عصبی پیشرفته
حدود ۱۰۰ برابر
کاهش از ابر نقطهای خام
دقت با مقایسه تصاویر رندر شده اشیاء مجازی تحت نورپردازی تخمین زده شده توسط شیه در مقابل رندرهای صحیح مرجع با استفاده از نقشههای محیطی شناخته شده اندازهگیری شد. شیه از یک خط پایه شبکه عصبی پیشرفته به میزان ۹.۴٪ از نظر یک معیار استاندارد شباهت تصویر (احتمالاً PSNR یا SSIM) بهتر عمل کرد. این بهبود به آگاهی ساختاری سهبعدی ارائه شده توسط ابر نقطهای نسبت داده میشود، در مقابل روشهایی که صرفاً به تصاویر دوربین دو بعدی متکی هستند.
خط لوله سرتاسری به میانگین تأخیر ۲۰.۶۷ میلیثانیه برای هر تخمین نورپردازی دست مییابد که به خوبی در محدوده مورد نیاز برای واقعیت افزوده بلادرنگ (معمولاً ۱۶ میلیثانیه برای ۶۰ فریم بر ثانیه) قرار دارد. این امر توسط پیشپردازش کارآمد روی دستگاه و بهینهسازیهای شبکه ممکن شده است. مکانیسم راهاندازی تطبیقی بار محاسباتی مؤثر در هر فریم را بیشتر کاهش میدهد.
بینش هستهای: شیه فقط یک بهبود تدریجی دیگر در رندرینگ عصبی نیست؛ بلکه یک راهحل عملی در سطح سیستم است که در نهایت شکاف بین تئوری گرافیک پیشرفته و واقعیتهای سختافزاری موبایل را پر میکند. بینش اصلی این است که فراگیری جدید حسگرهای سهبعدی موبایل (لایدار) فقط برای اندازهگیری اتاقها نیست—بلکه کلید گمشده برای حل مسئله "نورپردازی از هر مکان" است که یک دهه واقعیت افزوده موبایل را آزار داده است. در حالی که کارهایی مانند NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (Mildenhall و همکاران، ۲۰۲۰) با بازسازی کامل صحنه خیرهکننده هستند، اما از نظر محاسباتی برای استفاده بلادرنگ موبایل ممنوع هستند. شیه بهطور هوشمندانه از این تله اجتناب میکند و سعی نمیکند همه چیز را بازسازی کند؛ در عوض، از داده سهبعدی به عنوان یک پیشفرض هندسی پراکنده برای محدود کردن مسئله تخمین نورپردازی استفاده میکند که بسیار قابلکنترلتر است.
جریان منطقی: منطق مقاله قانعکننده است: ۱) عکسواقعنمایی به نورپردازی وابسته به مکان نیاز دارد. ۲) موبایلها نمیتوانند آن را مستقیماً ثبت کنند. ۳) اما اکنون میتوانند هندسه سهبعدی را بهصرفه ثبت کنند. ۴) هندسه محدودیتهای نورپردازی را القا میکند (مثلاً یک گوشه تاریک در مقابل نزدیک یک پنجره). ۵) بنابراین، از یک شبکه عصبی برای یادگیری نگاشت "هندسه → نورپردازی" استفاده کنید. ۶) برای واقعیزمانی کردن آن، هر مرحله را به شدت بهینه کنید: داده سهبعدی را نمونهبرداری کنید، استنتاج سنگین را به لبه منتقل کنید و مگر در صورت لزوم تخمین نزنید. این جریان از تعریف مسئله تا سیستم عملی، بهطور استثنایی تمیز است.
نقاط قوت و ضعف: بزرگترین نقطه قوت آن عملگرایی است. راهاندازی تطبیقی و پیوستگی زمانی نشانههای مهندسی برای یک محصول واقعی هستند، نه فقط یک دموی پژوهشی. الگوریتم نمونهبرداری یک میوه کمارتفاع و هوشمندانه است که سودهای کلانی به همراه میآورد. با این حال، چارچوب دارای نقاط ضعف ذاتی است. این چارچوب کاملاً به کیفیت حسگر عمق وابسته است؛ عملکرد در محیطهای کمبافت یا بسیار آینهای مورد سؤال است. مدل کمکلبه یک وابستگی شبکه ایجاد میکند که باعث تغییرپذیری تأخیر و نگرانیهای حریم خصوصی میشود—تصور کنید یک برنامه طراحی داخلی واقعیت افزوده، نقشههای سهبعدی خانه شما را به یک سرور استریم میکند. علاوه بر این، همانطور که در پژوهش Microsoft HoloLens اشاره شده است، تخمین نورپردازی فقط بخشی از پازل ترکیببندی است؛ تخمین مواد دنیای واقعی برای ترکیب بیدرز به همان اندازه حیاتی است، مسئلهای که شیه از آن اجتناب میکند.
بینشهای قابل اجرا: برای پژوهشگران، نتیجه این است که بر روی رویکردهای ترکیبی هندسی-عصبی تمرکز مضاعف کنند. یادگیری خالص بسیار سنگین است؛ هندسه خالص بسیار سادهانگارانه است. آینده در چارچوبهایی مانند شیه است که از یکی برای راهنمایی دیگری استفاده میکنند. برای توسعهدهندگان، این مقاله یک نقشه راه است: اگر در حال ساخت یک برنامه جدی واقعیت افزوده موبایل هستید، اکنون باید داده حسگر سهبعدی را به عنوان یک ورودی درجه یک در نظر بگیرید. بلافاصله نمونهسازی اولیه با APIهای عمق ARKit/ARCore را شروع کنید. برای سازندگان تراشه، تقاضا برای موتورهای عصبی قویتر روی دستگاه و حسگرهای عمق کارآمد فقط تشدید خواهد شد—برای این خط لوله بهینهسازی کنید. شیه نشان میدهد که مسیر به سمت واقعیت افزوده عکسواقعنمای درجه مصرفکننده، صرفاً در مورد الگوریتمهای بهتر نیست، بلکه در مورد طراحی همزمان الگوریتمها، سختافزار و معماری سیستم است.