একটি একক RGB ছবি থেকে দ্রুত স্থানিকভাবে পরিবর্তনশীল ইনডোর আলোকসজ্জা অনুমান

১. ভূমিকা

একটি একক চিত্র থেকে দৃশ্যের আলোকসজ্জা অনুমান করা কম্পিউটার ভিশনে একটি মৌলিক কিন্তু অসংজ্ঞায়িত সমস্যা, যা অগমেন্টেড রিয়েলিটি (AR) এবং চিত্র-ভিত্তিক রেন্ডারিংয়ের মতো অ্যাপ্লিকেশনের জন্য অত্যন্ত গুরুত্বপূর্ণ। ঐতিহ্যগত পদ্ধতিগুলি পরিচিত বস্তু (লাইট প্রোব) বা অতিরিক্ত ডেটা (গভীরতা, একাধিক দৃশ্য) এর উপর নির্ভর করে, যা ব্যবহারিকতাকে সীমিত করে। Gardner et al. [8] এর মতো সাম্প্রতিক শিক্ষণ-ভিত্তিক পদ্ধতিগুলি গ্লোবাল লাইটিং অনুমান করে কিন্তু স্থানিকভাবে পরিবর্তনশীল অভ্যন্তরীণ আলোকসজ্জার প্রকৃতি ক্যাপচার করতে ব্যর্থ হয়, যেখানে আলোর উত্সের নৈকট্য এবং প্রতিবন্ধকতা উল্লেখযোগ্য স্থানীয় তারতম্য সৃষ্টি করে। বাণিজ্যিক AR সিস্টেম (যেমন, ARKit) প্রাথমিক আলোকসজ্জা অনুমান প্রদান করে কিন্তু বাস্তবসম্মত রিলাইটিংয়ের জন্য পরিশীলিততার অভাব রয়েছে।

এই গবেষণাপত্রটি উপস্থাপন করে রিয়েল-টাইম পদ্ধতি অনুমান করার জন্য স্থানিকভাবে-পরিবর্তনশীল অভ্যন্তরীণ আলোকসজ্জা একটি একক RGB চিত্র থেকে। একটি চিত্র এবং একটি 2D পিক্সেল অবস্থান দেওয়া হলে, একটি কনভোলিউশনাল নিউরাল নেটওয়ার্ক (CNN) 20ms-এর কম সময়ে সেই নির্দিষ্ট অবস্থানের আলোকসজ্জার একটি 5ম-ক্রম গোলাকার হারমোনিক্স (SH) উপস্থাপনা পূর্বাভাস দেয়, যা দৃশ্যের যেকোনো স্থানে বাস্তবসম্মত ভার্চুয়াল বস্তু সন্নিবেশ সক্ষম করে।

২. পদ্ধতি

মূল ধারণাটি হলো একটি সিএনএনকে প্রশিক্ষণ দেওয়া, যাতে এটি একটি দ্বিমাত্রিক চিত্রের অবস্থানের উপর নির্ভর করে গোলাকার হারমোনিক্স সহগগুলির রিগ্রেশন করে।

2.1 নেটওয়ার্ক আর্কিটেকচার

নেটওয়ার্কটি দুটি ইনপুট গ্রহণ করে: ইনপুট RGB ইমেজ এবং $[-1, 1]$ এ নরমালাইজ করা একটি 2D কোঅর্ডিনেট $(u, v)$। ইমেজটি একটি ফিচার এনকোডারের মধ্য দিয়ে যায় (যেমন, ResNet-ভিত্তিক)। 2D কোঅর্ডিনেটটি সম্পূর্ণ সংযুক্ত স্তরগুলির মাধ্যমে প্রক্রিয়াকৃত হয়ে একটি অবস্থানগত এনকোডিং তৈরি করে। ইমেজ ফিচার এবং অবস্থানগত এনকোডিং সাধারণত সংযোজন বা অ্যাটেনশন মেকানিজমের মাধ্যমে একীভূত হয়, তারপর একটি কমপ্যাক্ট ডিকোডার RGB চ্যানেলগুলির জন্য চূড়ান্ত SH সহগগুলি পূর্বাভাস দেয়। এই নকশাটি স্থানিক অবস্থানের উপর আলোক পূর্বাভাসকে স্পষ্টভাবে শর্তযুক্ত করে।

2.2 স্ফেরিক্যাল হারমোনিক্স রিপ্রেজেন্টেশন

একটি বিন্দুতে লাইটিং ৫ম-অর্ডার স্ফেরিক্যাল হারমনিক্স ব্যবহার করে উপস্থাপন করা হয়। SH একটি গোলকের উপর একটি ফাংশনের একটি কমপ্যাক্ট, ফ্রিকোয়েন্সি-ভিত্তিক উপস্থাপনা প্রদান করে। স্বাভাবিক $\mathbf{n}$ সহ একটি পৃষ্ঠ বিন্দুতে ইরেডিয়েন্স $E$ আনুমানিক হিসাবে প্রকাশ করা হয়:

$E(\mathbf{n}) \approx \sum_{l=0}^{L} \sum_{m=-l}^{l} c_{l}^{m} Y_{l}^{m}(\mathbf{n})$

যেখানে $L=5$, $Y_{l}^{m}$ হল SH ভিত্তি ফাংশন, এবং $c_{l}^{m}$ হল নেটওয়ার্ক দ্বারা পূর্বাভাসিত সহগ (প্রতি রঙ চ্যানেলে 9টি সহগ, RGB-এর জন্য মোট 27)। এই নিম্ন-মাত্রিক আউটপুট রিয়েল-টাইম ইনফারেন্সের চাবিকাঠি।

3. Experiments & Results

3.1 পরিমাণগত মূল্যায়ন

The method was evaluated on synthetic and real datasets. Metrics included Angular Error between predicted and ground truth environment maps and RMSE on rendered objects. The proposed spatially-varying method consistently outperformed the global lighting estimation method of Gardner et al. [8], especially for positions away from the image center where lighting differs.

3.2 User Study

একটি উপলব্ধিমূলক ব্যবহারকারী অধ্যয়ন পরিচালনা করা হয়েছিল যেখানে অংশগ্রহণকারীরা বিভিন্ন পদ্ধতি থেকে প্রাপ্ত আলোকসজ্জা ব্যবহার করে পুনরায় আলোকিত ভার্চুয়াল বস্তুগুলির তুলনা করেছিল। ফলাফলে [8] থেকে প্রাপ্ত গ্লোবাল অনুমান ব্যবহার করে তৈরি রেন্ডারগুলির তুলনায় প্রস্তাবিত স্থানিক-পরিবর্তনশীল আলোকসজ্জা ব্যবহার করে তৈরি রেন্ডারগুলির জন্য একটি শক্তিশালী পক্ষপাত (প্রায় 75%) দেখায়, যা স্থানীয় আলোকসজ্জা প্রভাবের উপলব্ধিমূলক গুরুত্ব নিশ্চিত করে।

3.3 Real-Time Performance

নেটওয়ার্কটি একটি ল্যাপটপ-গ্রেড GPU (Nvidia GTX 970M)-এ 20 মিলিসেকেন্ডের নিচে ইনফারেন্স সময় অর্জন করে। এই পারফরম্যান্স রিয়েল-টাইম AR অ্যাপ্লিকেশনগুলিকে সক্ষম করে যেখানে একটি ভার্চুয়াল অবজেক্ট বা ক্যামেরা চলাচলের সাথে সাথে আলোকসজ্জা তাৎক্ষণিকভাবে আপডেট করা যেতে পারে।

4. Technical Analysis & Core Insights

মূল অন্তর্দৃষ্টি: গবেষণাপত্রের মৌলিক অগ্রগতি শুধু আরেকটি আলোক অনুমান মডেল নয়; এটি একটি কৌশলগত মোড়, যা একটি দৃশ্য-কেন্দ্রিক একটি বিন্দু-কেন্দ্রিক আলোকসজ্জা প্যারাডাইম। Gardner et al.-এর কাজের মতো পূর্ববর্তী শিল্পকর্ম (যা প্রায়শই ill-posed সমস্যার জন্য CycleGAN-স্টাইলের image-to-image translation নীতির বিরুদ্ধে বেঞ্চমার্ক করা হয়) ছবিটিকে সামগ্রিকভাবে বিবেচনা করে একটি গ্লোবাল illuminant আউটপুট দিত, এই কাজটি স্বীকার করে যে AR-এর জন্য, একমাত্র আলোকসজ্জা যা গুরুত্বপূর্ণ তা হল আলোকসজ্জা নির্দিষ্ট সন্নিবেশ বিন্দুতে. এটি একটি গভীর পরিবর্তন যা রিয়েল-টাইম গ্রাফিক্সের প্রয়োজনের সাথে সামঞ্জস্যপূর্ণ, যেখানে শেডারগুলি দৃশ্য প্রতি নয়, বরং প্রতিটি ফ্র্যাগমেন্ট প্রতি আলোকসজ্জা গণনা করে।

লজিক্যাল ফ্লো: যুক্তিটি মার্জিতভাবে সরল: ১) অভ্যন্তরীণ পরিবেশে স্থানিক বৈচিত্র্যকে প্রথম-ক্রমের সমস্যা হিসাবে স্বীকার করুন (Kajiya-র মতো কর্তৃপক্ষপূর্ণ উৎস থেকে প্রাপ্ত মৌলিক রেডিওমেট্রি নীতির দ্বারা সমর্থিত)। ২) একটি উপস্থাপনা (SH) বেছে নিন যা স্বল্প-ফ্রিকোয়েন্সি অভ্যন্তরীণ আলোর জন্য অভিব্যক্তিপূর্ণ এবং রিয়েল-টাইম রেন্ডারারের সাথে স্বাভাবিকভাবে সামঞ্জস্যপূর্ণ (যেমন, PRT বা শেডারে সরাসরি SH মূল্যায়নের মাধ্যমে)। ৩) একটি নেটওয়ার্ক ডিজাইন করুন যা স্পষ্টভাবে অবস্থানকে ইনপুট হিসাবে নেয়, তাকে স্থানীয় চিত্র প্রসঙ্গ থেকে স্থানীয় SH প্যারামিটারে ম্যাপিং শিখতে বাধ্য করে। প্রশিক্ষণ ডেটা, সম্ভবত পরিচিত আলোকসজ্জা সহ সিন্থেটিক বা ধৃত ৩ডি দৃশ্য থেকে তৈরি, নেটওয়ার্ককে দৃশ্যত সূত্র (ছায়া, কালার ব্লিডিং, স্পেকুলার হাইলাইট) স্থানীয় আলোকসজ্জা শর্তের সাথে সম্পর্কিত করতে শেখায়। Rendering Equation by Kajiya

Strengths & Flaws: এর প্রাথমিক শক্তি হল এর ব্যবহারিকতা. The <20ms runtime and SH output make it a "drop-in" solution for existing AR engines, a stark contrast to methods outputting full HDR environment maps. Its geometry-free nature is a clever workaround, using the CNN as a proxy for complex ray tracing. However, the flaws are significant. First, it's fundamentally an ইন্টারপোলেশন প্রশিক্ষণ ডেটা থেকে আলোকসজ্জার। এটি সম্পূর্ণরূপে অদেখা অঞ্চলে (যেমন, একটি বন্ধ আলমারির ভিতরে) আলোকসজ্জা কল্পনা করতে পারে না। দ্বিতীয়ত, ৫ম-ক্রম SH, দ্রুত হলেও, ছোট আলোর উৎস থেকে তীক্ষ্ণ ছায়ার মতো উচ্চ-ফ্রিকোয়েন্সি আলোকসজ্জার বিবরণ ধারণ করতে ব্যর্থ হয়—এটি SH আনুমানিকতার একটি পরিচিত সীমাবদ্ধতা। তৃতীয়ত, এর কার্যকারিতা এর প্রশিক্ষণ সেটের বৈচিত্র্যের সাথে যুক্ত; এটি অত্যন্ত অভিনব পরিবেশে ব্যর্থ হতে পারে।

কার্যকরী অন্তর্দৃষ্টি: গবেষকদের জন্য, সামনের পথটি স্পষ্ট: 1) হাইব্রিড মডেল: পূর্বাভাসিত মোটা SH কে একটি হালকা ওজনের নিউরাল রেডিয়েন্স ফিল্ড (NeRF) বা শেখা ভার্চুয়াল পয়েন্ট লাইটের একটি ছোট সেটের সাথে সংহত করে উচ্চ-ফ্রিকোয়েন্সি প্রভাব পুনরুদ্ধার করুন। 2) অনিশ্চয়তা অনুমান: নেটওয়ার্কের তার পূর্বাভাসের জন্য একটি আত্মবিশ্বাসের পরিমাপ আউটপুট করা উচিত, যা নিরাপত্তা-সমালোচনামূলক AR অ্যাপ্লিকেশনের জন্য অত্যন্ত গুরুত্বপূর্ণ। 3) গতিশীল দৃশ্য: বর্তমান পদ্ধতিটি স্থির। পরবর্তী সীমান্ত হল গতিশীল দৃশ্য এবং চলমান আলোর উৎসের জন্য সময়গতভাবে সামঞ্জস্যপূর্ণ আলোক অনুমান, সম্ভবত অপটিক্যাল ফ্লো বা রিকারেন্ট নেটওয়ার্ক একীভূত করে। অনুশীলনকারীদের জন্য, বর্তমান SDK অফারগুলির উপর বাস্তবতাকে উল্লেখযোগ্যভাবে বৃদ্ধি করতে মোবাইল AR অ্যাপগুলিতে পাইলট ইন্টিগ্রেশনের জন্য এই পদ্ধতিটি প্রস্তুত।

5. Analysis Framework Example

Scenario: Evaluating the method's robustness in a corner case.
Input: একটি কক্ষের চিত্র যেখানে একটি কোণ গভীরভাবে ছায়াময়, কোনো জানালা বা আলোর উৎস থেকে দূরে। একটি ভার্চুয়াল বস্তু সেই অন্ধকার কোণে স্থাপন করা হবে।
ফ্রেমওয়ার্ক অ্যাপ্লিকেশন:

1. প্রসঙ্গ অনুসন্ধান: নেটওয়ার্কটি ছবি এবং ছায়াযুক্ত কোণের (u,v) স্থানাঙ্ক গ্রহণ করে।
2. বৈশিষ্ট্য বিশ্লেষণ: এনকোডার কম আলোকিততা, প্রত্যক্ষ আলোর পথের অভাব এবং পার্শ্ববর্তী দেয়াল থেকে সম্ভাব্য রঙের প্রভাব (পরিবেষ্টিত আলো) নির্দেশকারী বৈশিষ্ট্যগুলি আহরণ করে।
3. পূর্বাভাস: সংযুক্ত বৈশিষ্ট্যগুলি ডিকোডারকে একটি নিম্ন-তীব্রতা, বিচ্ছুরিত এবং সম্ভাব্য রঙ-পক্ষপাতদুষ্ট আলোক পরিবেশ উপস্থাপনকারী SH সহগগুলির পূর্বাভাস দিতে পরিচালিত করে।
4. বৈধতা: রেন্ডার করা ভার্চুয়াল অবজেক্টটি ম্লানভাবে আলোকিত, নরম ছায়া এবং ম্লান রঙ সহ প্রদর্শিত হওয়া উচিত, কোণের দৃশ্যতাত্মক প্রসঙ্গের সাথে মিল রেখে। ব্যর্থতা হবে যদি বস্তুটি ঘরের কেন্দ্রস্থলের একটি বস্তুর মতো উজ্জ্বলভাবে আলোকিত দেখায়, যা নির্দেশ করে নেটওয়ার্ক স্থানিক কন্ডিশনিং উপেক্ষা করেছে।

6. Future Applications & Directions

• উন্নত AR/VR: বস্তু সন্নিবেশের বাইরে, বাস্তবসম্মত অবতার টেলিপ্রেজেন্সের জন্য যেখানে ভার্চুয়াল ব্যক্তিকে স্থানীয় পরিবেশের সাথে সামঞ্জস্যপূর্ণভাবে আলোকিত হতে হবে যেখানে তারা উপস্থিত বলে মনে হয়।
• কম্পিউটেশনাল ফটোগ্রাফি: স্থানিকভাবে সচেতন ফটো সম্পাদনা সরঞ্জাম চালনা (যেমন, "এই ব্যক্তিকে পুনরায় আলোকিত করুন" এবং "সেই বস্তুটিকে পুনরায় আলোকিত করুন" এর মধ্যে পার্থক্য করা)।
• Robotics & Autonomous Systems: রোবোটগুলিকে দৃশ্যের আলোকসজ্জার একটি দ্রুত, জ্যামিতি-মুক্ত বোঝাপড়া প্রদান করে উপাদান উপলব্ধি এবং পরিকল্পনা উন্নত করা।
• নিউরাল রেন্ডারিং: ইনভার্স রেন্ডারিং টাস্কের জন্য দ্রুত আলোকসজ্জা প্রাইর হিসেবে অথবা NeRF-এর মতো আরও জটিল কিন্তু ধীর মডেলগুলোকে ইনিশিয়ালাইজ করার জন্য কাজ করে।
• ভবিষ্যতের গবেষণা: আউটডোর দৃশ্যে সম্প্রসারণ, গতিশীল আলোকসজ্জার পরিবর্তন মডেলিং এবং আরও সঠিক দৃশ্যমানতা যুক্তির জন্য অন্তর্নিহিত জ্যামিতির (যেমন, একটি মনোকুলার ডেপথ এস্টিমেটর থেকে) সাথে সংমিশ্রণ।

7. তথ্যসূত্র

1. Kajiya, J. T. (1986). The rendering equation. ACM SIGGRAPH Computer Graphics.
2. Gardner, M., et al. (2017). একটি একক চিত্র থেকে অভ্যন্তরীণ আলোকসজ্জা ভবিষ্যদ্বাণী করতে শেখা। ACM TOG.
3. Zhu, J., et al. (2017). চক্র-সামঞ্জস্যপূর্ণ প্রতিপক্ষ নেটওয়ার্ক (CycleGAN) ব্যবহার করে অযুগ্ম চিত্র-থেকে-চিত্র অনুবাদ। ICCV.
4. Ramamoorthi, R., & Hanrahan, P. (2001). An efficient representation for irradiance environment maps. ACM SIGGRAPH.
5. Apple Inc. (2017, 2018). ARKit Documentation and WWDC Sessions.
6. Mildenhall, B., et al. (2020). NeRF: দৃশ্যকে নিউরাল রেডিয়েন্স ফিল্ড হিসেবে উপস্থাপন করে ভিউ সিন্থেসিসের জন্য। ECCV.
7. Garon, M., Sunkavalli, K., Hadap, S., Carr, N., & Lalonde, J. (2019). Fast Spatially-Varying Indoor Lighting Estimation. arXiv:1906.03799.