انتخاب زبان

تخمین سریع نورپردازی داخلی متغیر مکانی از یک تصویر RGB تکی

یک روش یادگیری عمیق بلادرنگ برای تخمین نورپردازی داخلی متغیر مکانی با استفاده از هارمونیک‌های کروی از یک تصویر تکی، که امکان نورپردازی مجدد واقعی در واقعیت افزوده را فراهم می‌کند.
rgbcw.cn | PDF Size: 2.4 MB
امتیاز: 4.5/5
★ ★ ★ ★ ★
امتیاز شما
شما قبلاً به این سند امتیاز داده اید
جلد سند PDF - تخمین سریع نورپردازی داخلی متغیر مکانی از یک تصویر RGB تکی

فهرست مطالب

1. مقدمه

تخمین شرایط نورپردازی از یک تصویر تکی، یک مسئله اساسی اما بد-وضع در بینایی کامپیوتر است. مقاله "تخمین سریع نورپردازی داخلی متغیر مکانی" توسط گارون و همکاران (2019) با ارائه یک شبکه عصبی کانولوشنی (CNN) بلادرنگ که نورپردازی متغیر مکانی را به صورت هارمونیک‌های کروی (SH) مرتبه پنجم از یک تصویر RGB تکی و یک مکان دوبعدی پرس‌وجو شده پیش‌بینی می‌کند، به این موضوع می‌پردازد. برخلاف کارهای قبلی که یک نمایش نورپردازی سراسری تکی را تخمین می‌زنند یا به عمق به عنوان ورودی نیاز دارند، این روش بدون نیاز به هندسه صریح، با انسدادهای محلی و توزیع‌های نوری سازگار می‌شود. این رویکرد به استنتاج در کمتر از 20 میلی‌ثانیه بر روی یک GPU موبایل دست می‌یابد و آن را برای کاربردهای واقعیت افزوده (AR) که در آن اشیاء مجازی نیاز به نورپردازی مجدد واقع‌گرایانه در موقعیت‌های دلخواه دارند، مناسب می‌سازد.

2. بینش اصلی: دیدگاه تحلیلگر

2.1 جریان منطقی

مقاله از یک توالی منطقی واضح پیروی می‌کند: (1) شناسایی محدودیت تخمین نورپردازی سراسری در صحنه‌های داخلی که نورپردازی به صورت مکانی متغیر است؛ (2) ارائه یک نمایش فشرده SH که دید محلی را به طور ضمنی رمزگذاری می‌کند؛ (3) طراحی یک CNN که یک تصویر و یک مختصات دوبعدی را به عنوان ورودی گرفته و ضرایب SH را خروجی می‌دهد؛ (4) آموزش بر روی یک مجموعه داده بزرگ از صحنه‌های داخلی مصنوعی با نورپردازی واقعی؛ (5) اعتبارسنجی از طریق معیارهای کمی، مقایسه‌های کیفی و یک مطالعه کاربری. جریان، از تعریف مسئله تا راه‌حل عملی، منسجم است.

2.2 نقاط قوت و ضعف

نقاط قوت: روش از نظر محاسباتی کارآمد است (استنتاج 20 میلی‌ثانیه)، به عمق یا هندسه نیاز ندارد و تخمین‌های متغیر مکانی را تولید می‌کند که به طور قابل توجهی از روش‌های سراسری بهتر عمل می‌کنند. استفاده از SH امکان یکپارچه‌سازی مستقیم با سایه‌زن‌های بلادرنگ را فراهم می‌کند. مطالعه کاربری ترجیح ادراکی را تأیید می‌کند.

نقاط ضعف: روش به SH مرتبه پنجم محدود است که ممکن است جزئیات نورپردازی با فرکانس بالا (مانند سایه‌های تیز) را از دست بدهد. آموزش به داده‌های مصنوعی متکی است که ممکن است در صحنه‌های دنیای واقعی باعث مشکلات شکاف دامنه شود. روش بازتاب‌های متقابل یا تغییرات نورپردازی پویا را مدل‌سازی نمی‌کند.

2.3 بینش‌های عملی

برای توسعه‌دهندگان AR، این روش یک راه‌حل آماده برای درج واقع‌گرایانه اشیاء بدون اسکن صحنه ارائه می‌دهد. برای محققان، این کار بر ارزش نمایش‌های فشرده نورپردازی و پیش‌بینی شرطی-مکان تأکید می‌کند. کارهای آینده می‌توانند برای جلوه‌های پیچیده‌تر به SH مرتبه بالاتر یا میدان‌های تابش عصبی گسترش یابند. این رویکرد می‌تواند در ARKit/ARCore برای جایگزینی تخمین نورپردازی ابتدایی یکپارچه شود.

3. مرور روش

3.1 فرمول‌بندی مسئله

با توجه به یک تصویر RGB $I$ و یک مکان دوبعدی $(x, y)$ در مختصات تصویر، هدف تخمین محیط نورپردازی محلی در آن نقطه است. نورپردازی به عنوان یک بردار از ضرایب هارمونیک کروی $\mathbf{L} \in \mathbb{R}^{36}$ (9 ضریب در هر کانال رنگی برای SH مرتبه پنجم) نمایش داده می‌شود. شبکه یک نگاشت $f: (I, x, y) \rightarrow \mathbf{L}$ را یاد می‌گیرد.

3.2 معماری شبکه

CNN از یک ستون فقرات ResNet-50 برای استخراج ویژگی استفاده می‌کند و به دنبال آن یک رمزگشای فشرده که ضرایب SH را خروجی می‌دهد. مکان دوبعدی به عنوان یک نقشه ویژگی مکانی رمزگذاری شده و با ویژگی‌های تصویر الحاق می‌شود. رمزگشا از لایه‌های کاملاً متصل با Dropout برای منظم‌سازی تشکیل شده است. آموزش از یک تابع هزینه $L_2$ بین ضرایب SH پیش‌بینی شده و واقعی استفاده می‌کند.

3.3 نمایش هارمونیک‌های کروی

هارمونیک‌های کروی یک نمایش حوزه فرکانس از محیط نورپردازی را فراهم می‌کنند. برای SH مرتبه پنجم، 9 تابع پایه در هر کانال رنگی تغییرات نورپردازی فرکانس پایین را ضبط می‌کنند. تابش رندر شده $L(\omega)$ به صورت $L(\omega) \approx \sum_{l=0}^{4} \sum_{m=-l}^{l} c_{lm} Y_{lm}(\omega)$ تقریب زده می‌شود، که در آن $Y_{lm}$ توابع پایه SH و $c_{lm}$ ضرایب هستند.

4. جزئیات فنی

4.1 فرمول‌بندی ریاضی

ضرایب SH با تصویر کردن نقشه محیط بر روی پایه SH محاسبه می‌شوند: $c_{lm} = \int_{\Omega} L(\omega) Y_{lm}(\omega) d\omega$. برای رندرینگ، تابش بازتابیده $B$ در یک نقطه با نرمال $n$ و آلبدوی پخش $\rho$ برابر است با $B = \rho \sum_{l=0}^{4} \sum_{m=-l}^{l} c_{lm} A_l Y_{lm}(n)$، که در آن $A_l$ ضرایب انتقال SH برای بازتاب پخش هستند.

4.2 تولید داده‌های آموزشی

مجموعه داده آموزشی شامل 10,000 صحنه داخلی مصنوعی است که با نورپردازی مبتنی بر فیزیک رندر شده‌اند. برای هر صحنه، چندین مکان دوبعدی نمونه‌برداری می‌شود و ضرایب SH واقعی از نقشه محیط محلی محاسبه می‌شوند. افزایش داده شامل برش‌های تصادفی، تغییر رنگ و نویز برای بهبود تعمیم‌پذیری است.

5. نتایج تجربی

5.1 ارزیابی کمی

روش بر روی یک مجموعه تست جدا شده از تصاویر مصنوعی و واقعی ارزیابی می‌شود. معیارها شامل میانگین مربعات خطا (MSE) ضرایب SH، نسبت سیگنال به نویز پیک (PSNR) اشیاء رندر شده و شباهت ساختاری (SSIM) است. روش پیشنهادی به MSE 0.023، PSNR 32.1 دسی‌بل و SSIM 0.91 دست می‌یابد که از خط پایه سراسری (MSE 0.041، PSNR 28.5 دسی‌بل، SSIM 0.84) بهتر عمل می‌کند.

5.2 نتایج کیفی

شکل 1 در مقاله (در اینجا توضیح داده شده است) یک مقایسه را نشان می‌دهد: تخمین نورپردازی سراسری [8] سایه‌های ناسازگار و نشت رنگ تولید می‌کند، در حالی که روش پیشنهادی با نورپردازی محلی سازگار می‌شود و منجر به درج واقع‌گرایانه اشیاء می‌گردد. مثال‌های اضافی، برخورد صحیح با مکان‌های نزدیک پنجره در مقابل دور از پنجره را نشان می‌دهند.

5.3 مطالعه کاربری

یک مطالعه کاربری با 30 شرکت‌کننده، رندرهای حاصل از نورپردازی سراسری را در مقابل نورپردازی متغیر مکانی مقایسه کرد. شرکت‌کنندگان در 78٪ موارد روش پیشنهادی را ترجیح دادند و به قرارگیری طبیعی‌تر سایه و ثبات رنگ اشاره کردند. این مطالعه مزیت ادراکی تخمین متغیر مکانی را تأیید می‌کند.

6. مثال چارچوب تحلیل

مطالعه موردی: درج شیء AR در یک اتاق نشیمن

درج یک صندلی مجازی را در تصویر یک اتاق نشیمن در نظر بگیرید. با استفاده از تخمین نورپردازی سراسری، صندلی بدون توجه به موقعیت، نورپردازی یکنواختی خواهد داشت. با روش پیشنهادی، صندلی قرار گرفته در نزدیکی پنجره، نور روشن‌تر و آبی‌تری دریافت می‌کند، در حالی که صندلی قرار گرفته در یک گوشه، نور کم‌رنگ‌تر و گرم‌تری دریافت می‌کند. ضرایب SH در نقطه درج محاسبه می‌شوند و سایه‌زن از آنها برای محاسبه بازتاب‌های پخش و آینه‌ای در زمان واقعی استفاده می‌کند. این امر تجربیات واقع‌گرایانه AR را بدون پیش‌اسکن محیط امکان‌پذیر می‌سازد.

7. تحلیل اصلی

مقاله گارون و همکاران (2019) گامی مهم به جلو در تخمین نورپردازی عملی برای AR است، اما بدون محدودیت نیست. نوآوری اصلی - استفاده از یک CNN شرطی-مکان برای پیش‌بینی ضرایب SH - ظریف و کارآمد است و عملکرد بلادرنگ را بر روی سخت‌افزار موبایل امکان‌پذیر می‌سازد. با این حال، اتکا به SH مرتبه پنجم، روش را به نورپردازی فرکانس پایین محدود می‌کند که برای اشیاء پخش قابل قبول است اما برای بازتاب‌های آینه‌ای یا سایه‌های تیز ناموفق است. این مبادله بین کارایی محاسباتی و وفاداری در گرافیک بلادرنگ رایج است (به عنوان مثال، انتقال تابش از پیش محاسبه شده توسط اسلون و همکاران، 2002).

در مقایسه با کار همزمان مانند DeepLight (سان و همکاران، 2019) که از شبکه‌های عصبی برای پیش‌بینی نقشه‌های محیط کامل استفاده می‌کند، این روش سریع‌تر اما کمتر بیانگر است. مطالعه کاربری شواهد قوی از بهبود ادراکی ارائه می‌دهد، اما داده‌های آموزشی مصنوعی ممکن است تنوع کامل نورپردازی دنیای واقعی را ضبط نکنند، همانطور که توسط مشکل شکاف دامنه در بسیاری از روش‌های مبتنی بر یادگیری ذکر شده است (به عنوان مثال، CycleGAN توسط ژو و همکاران، 2017). کارهای آینده می‌توانند آموزش خصمانه یا تطبیق دامنه را برای پر کردن این شکاف ترکیب کنند.

از دیدگاه صنعتی، این روش برای یکپارچه‌سازی در چارچوب‌های AR آماده است. ARKit اپل و ARCore گوگل در حال حاضر تخمین نورپردازی پایه‌ای را ارائه می‌دهند؛ اتخاذ پیش‌بینی SH متغیر مکانی به طور چشمگیری واقع‌گرایی را بهبود می‌بخشد. نمایش فشرده (36 عدد اعشاری) برای استقرار در موبایل ایده‌آل است. با این حال، روش تغییرات نورپردازی پویا (به عنوان مثال، منابع نور متحرک) یا بازتاب‌های متقابل را مدیریت نمی‌کند که برای AR کاملاً فراگیر مهم هستند. گسترش به سازگاری زمانی و SH مرتبه بالاتر، گام‌های ارزشمند بعدی خواهد بود.

8. کاربردها و چشم‌انداز آینده

این روش چندین مسیر را برای کارهای آینده باز می‌کند:

  • نورپردازی پویا: گسترش به دنباله‌های ویدئویی با انسجام زمانی برای منابع نور متحرک.
  • SH مرتبه بالاتر: استفاده از SH مرتبه 7 یا 9 برای ضبط نورپردازی دقیق‌تر، احتمالاً با یک رمزگشای کارآمدتر.
  • رندرینگ عصبی: ترکیب با میدان‌های تابش عصبی (NeRF) برای جلوه‌های وابسته به دید.
  • تطبیق دامنه: استفاده از GANها برای تطبیق داده‌های آموزشی مصنوعی با توزیع‌های دنیای واقعی.
  • ادغام چند-نمایی: یکپارچه‌سازی اطلاعات از چندین تصویر برای تخمین مقاوم‌تر.
  • شتاب سخت‌افزاری: بهینه‌سازی برای NPU/TPUهای موبایل برای استنتاج زیر 10 میلی‌ثانیه.

در 3-5 سال آینده، تخمین نورپردازی متغیر مکانی به یک ویژگی استاندارد در دستگاه‌های AR تبدیل خواهد شد و ترکیب یکپارچه محتوای مجازی و واقعی را امکان‌پذیر می‌سازد.

9. مراجع

  • گارون، م.، سانکاوالی، ک.، هاداپ، س.، کار، ن.، و لالوند، ج.-ف. (2019). تخمین سریع نورپردازی داخلی متغیر مکانی. CVPR.
  • گاردنر، م.-آ.، و همکاران. (2017). تخمین نورپردازی داخلی پارامتریک عمیق. ICCV.
  • اسلون، پ.-پ.، کاوتز، ج.، و اسنایدر، ج. (2002). انتقال تابش از پیش محاسبه شده برای رندرینگ بلادرنگ در محیط‌های نورپردازی پویا و فرکانس پایین. SIGGRAPH.
  • سان، تی.، و همکاران. (2019). DeepLight: یادگیری نورپردازی برای واقعیت ترکیبی موبایل بدون محدودیت. CVPR.
  • ژو، ج.-ی.، و همکاران. (2017). ترجمه تصویر به تصویر جفت‌نشده با استفاده از شبکه‌های خصمانه سازگار با چرخه. ICCV.
  • رامامورتی، آر.، و هانراهان، پی. (2001). یک نمایش کارآمد برای نقشه‌های محیط تابش. SIGGRAPH.