تخمین نورپردازی داخلی قابل ویرایش از یک تصویر واحد

1. مقدمه

ادغام واقع‌بینانه محتوای مجازی در تصاویر دنیای واقعی برای کاربردهایی از جلوه‌های ویژه تا واقعیت افزوده (AR) حیاتی است. روش‌های سنتی مانند نورپردازی مبتنی بر تصویر (IBL) نیازمند پروب‌های نوری فیزیکی هستند که دسترسی غیرحرفه‌ای‌ها را محدود می‌کنند. این مقاله به نیاز برآورد خودکار نور از یک تصویر واحد می‌پردازد، با تمرکز بر ایجاد بازنمایی که نه تنها دقیق، بلکه قابل تفسیر و ویرایش توسط کاربران است. چالش اصلی در تعادل بین واقع‌گرایی و کنترل کاربر نهفته است.

2. کارهای مرتبط

رویکردهای پیشین به سمت بازنمایی‌های پیچیده‌تر تمایل دارند:

• Environment Maps [11,24,17]: روشنایی کروی کامل را ثبت می‌کنند اما منابع نور و محیط را به هم پیوند می‌دهند و ویرایش انتخابی را دشوار می‌سازند.
• بازنمایی‌های حجمی/چگال (Lighthouse [25], Li et al. [19], Wang et al. [27]): از حجم‌های چندمقیاسی یا شبکه‌هایی از گاوسی‌های کروی برای نور با وضوح بالا و تغییرپذیر مکانی استفاده می‌کنند. با این حال، پارامتر-سنگین هستند و قابلیت ویرایش شهودی ندارند.
• نمایش‌های پارامتری [10]: مدل‌سازی چراغ‌های منفرد با پارامترهای شهودی (موقعیت، شدت) اما عدم ثبت جزئیات فرکانس بالا مورد نیاز برای بازتاب‌های براق واقع‌گرایانه.

نویسندگان شکافی را شناسایی می‌کنند: هیچ روش موجودی هر سه معیار را برای یک قابل ویرایش نمایش: تفکیک مؤلفه، کنترل شهودی و خروجی واقع‌گرایانه.

3. روش پیشنهادی

خط لوله پیشنهادی، نورپردازی را از یک تصویر RGB تکی از یک صحنه داخلی تخمین می‌زند.

3.1. نمایش نورپردازی

نوآوری کلیدی، یک نمایش ترکیبی:

• منبع نور پارامتری: یک نور سه‌بعدی ساده‌شده (مانند نور جهت‌دار یا ناحیه‌ای) که توسط پارامترهای شهودی مانند موقعیت سه‌بعدی $(x, y, z)$، جهت $(\theta, \phi)$ و شدت $I$ تعریف می‌شود. این امر دستکاری آسان توسط کاربر (مانند جابجایی نور با ماوس) و تولید سایه‌های قوی و واضح را ممکن می‌سازد.
• نقشه بافت غیرپارامتری: یک بافت محیطی HDR مکمل که جزئیات نورپردازی با فرکانس بالا و بازتاب‌های پیچیده از پنجره‌ها، سطوح براق و غیره را ثبت می‌کند، که مدل پارامتری قادر به نمایش آن نیست.
• طرح‌بندی سه‌بعدی خام صحنه: هندسه تخمینی (دیوارها، کف، سقف) برای قرار دادن صحیح نورها و ایجاد سایه در فضای سه‌بعدی.

معادله رندرینگ برای یک نقطه سطحی را میتوان به صورت زیر تقریب زد: $L_o(\omega_o) = L_{o, parametric} + L_{o, texture}$، که در آن سهم‌ها با هم جمع می‌شوند.

3.2. خط لوله تخمین

یک مدل یادگیری عمیق آموزش داده می‌شود تا این مؤلفه‌ها را به طور مشترک از یک تصویر ورودی پیش‌بینی کند. شبکه به احتمال زیاد شاخه‌ها یا هدهای جداگانه‌ای برای پیش‌بینی پارامترهای نور پارامتریک، تولید بافت محیطی و استنتاج چیدمان اتاق دارد و از مجموعه داده‌های صحنه‌های داخلی با نوردهی شناخته شده بهره می‌برد.

4. Experiments & Results

4.1. ارزیابی کمی

این روش بر اساس معیارهای استاندارد برای تخمین نورپردازی و درج اشیاء مجازی ارزیابی شد:

• دقت نورپردازی: معیارهایی مانند میانگین مربعات خطا (MSE) یا خطای زاویه‌ای بر روی نقشه‌های محیط پیش‌بینی‌شده در مقایسه با داده‌های مرجع.
• کیفیت نورپردازی مجدد: معیارهایی مانند PSNR، SSIM یا LPIPS بین رندرهای اشیاء مجازی قرارگرفته با استفاده از نور تخمین‌زده‌شده و رندرهای حاصل از نور مرجع.

مقاله ادعا می‌کند که این روش نتایج رقابتی در مقایسه با روش‌های غیرقابل ویرایش پیشرفته تولید می‌کند که نشان‌دهنده حداقل فداکاری در دقت برای دستیابی به افزایش قابل توجهی در قابلیت استفاده است.

4.2. ارزیابی کیفی

شکل 1 در PDF محوری است: این شکل یک تصویر ورودی، اجزای نور تخمین زده شده، رندر اشیاء مجازی درج شده (یک آرمادیلوی طلایی و یک کره) و یک رندر نهایی پس از اصلاح تعاملی موقعیت نور توسط کاربر را نشان می‌دهد. نتایج نشان می‌دهند:

• Realistic Shadows & Reflectionsنور پارامتریک سایه‌های سخت باورپذیری ایجاد می‌کند، در حالی که بافت، برق‌های متقاعدکننده‌ای بر روی اشیاء طلایی ارائه می‌دهد.
• قابلیت ویرایش مؤثر اثبات بصری که جابجایی منبع نور، جهت و شدت سایه را به شیوه‌ای فیزیکی و باورپذیر تغییر می‌دهد و امکان کنترل هنری را فراهم می‌کند.

5. Technical Analysis & Insights

6. Analysis Framework & Example

Framework: The Disentanglement-Evaluation Framework for Editable AI

برای تحلیل مقالات مشابه در حوزه "هوش مصنوعی قابل ویرایش"، بر اساس سه محور استخراج‌شده از این کار ارزیابی انجام دهید:

1. محور تفکیک: مدل تا چه حد به طور واضح عوامل مختلف تغییر (مانند موقعیت نور در مقابل رنگ نور در مقابل بافت محیط) را از هم جدا می‌کند؟ آیا می‌توان آن‌ها را به طور مستقل تغییر داد؟
2. محور دقت کنترل: واحد کنترل کاربر چیست؟ آیا یک لغزنده سطح بالا ("روشنایی")، یک پارامتر سطح میانی (مختصات XYZ نور) یا دستکاری سطح پایین کدهای نهفته است؟
3. محور حفظ وفاداری: هنگام ویرایش یک مؤلفه، آیا خروجی از نظر فیزیکی معقول و واقع‌گرایانه باقی می‌ماند؟ آیا ویرایش یک بخش، آثار مصنوعی در بخش دیگری ایجاد می‌کند؟

مثال کاربردی: ارزیابی یک مدل فرضی "ویرایش پرتره با نورپردازی مجدد".

• جداسازی: آیا نور اصلی، نور پرکننده و نور پس‌زمینه را جدا می‌کند؟ (خوب). یا اینکه تنظیم نور اصلی، رنگ پوست را نیز تغییر می‌دهد؟ (بد).
• دقت کنترل: آیا کاربر می‌تواند یک منبع نور سه‌بعدی مجازی را در اطراف صورت سوژه بکشد؟ (خوب، مشابه این مقاله). یا کنترل محدود به «پیش‌تنظیم‌های استودیویی» از پیش تعیین شده است؟ (قابلیت ویرایش کمتر).
• حفظ وفاداری: هنگام جابجایی نور اصلی، آیا سایه‌های زیر بینی و چانه به درستی به‌روزرسانی می‌شوند بدون ایجاد تیزشدگی غیرطبیعی یا نویز؟ (آزمون حیاتی).

7. Future Applications & Directions

• Consumer AR & Social Mediaتخمین نورپردازی در زمان واقعی روی دستگاه‌های همراه برای فیلترهای اینستاگرام یا لنزهای اسنپ‌چت باورپذیرتر که به درستی با نور محیط تعامل دارند.
• Interior Design & Real Estateصحنه‌آرایی مجازی که در آن نه تنها مبلمان اضافه می‌شود، بلکه نورپردازی مجددی انجام می‌گیرد تا با زمان‌های مختلف روز یا با لوسترهای مجازی جدید که سایه‌های باورپذیری می‌اندازند، مطابقت یابد.
• Film & Game Pre-visualization: بلوک‌بندی سریع تنظیمات نورپردازی برای صحنه‌های مجازی بر اساس عکسی از یک مکان واقعی مورد نظر.
• جهت‌های تحقیقاتی آینده:
  1. برآورد چندنوری: گسترش نمایش برای مدیریت خودکار چندین منبع نور پارامتریک.
  2. رابط‌های ویرایش عصبی: استفاده از زبان طبیعی یا طرح‌های خام («کشیدن سایه به اینجا») برای هدایت ویرایش‌ها، که ابزار را حتی در دسترستر می‌سازد.
  3. درک صحنه‌های پویا: تخمین نورپردازی در توالی‌های ویدیویی، با در نظر گرفتن منابع نور متحرک (مانند فردی که از کنار پنجره رد می‌شود).
  4. ادغام با مدل‌های انتشاراستفاده از پارامترهای تخمینی و قابل ویرایش نورپردازی به‌عنوان شرط برای مدل‌های تولید تصویر، برای ایجاد تنوع‌هایی از یک صحنه تحت نورپردازی جدید.

8. References

1. Weber, H., Garon, M., & Lalonde, J. F. Editable Indoor Lighting Estimation. In Proceedings of ... (مقاله حاضر).
2. Debevec, P. (1998). Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic range photography. Proceedings of SIGGRAPH.
3. Lombardi, S., et al. (2019). Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination. CVPR.
4. Li, Z., et al. (2020). Learning to Reconstruct Shape and Spatially-Varying Reflectance from a Single Image. SIGGRAPH Asia.
5. Wang, Q., et al. (2021). IBRNet: Learning Multi-View Image-Based Rendering. CVPR.
6. Hold-Geoffroy, Y., et al. (2019). Deep Outdoor Illumination Estimation. CVPR.
7. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV.
8. Mildenhall, B., et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.