মোবাইল অগমেন্টেড রিয়েলিটিতে (এআর) আলোকচিত্রসম বাস্তব রেন্ডারিং মৌলিকভাবে যেকোনো রেন্ডারিং অবস্থানে সঠিক, রিয়েল-টাইম সর্বদিক লাইটিং তথ্যের অভাব দ্বারা সীমাবদ্ধ। বর্তমান মোবাইল ডিভাইসগুলি একটি ভার্চুয়াল বস্তুর নির্ধারিত স্থাপন বিন্দু থেকে পূর্ণ ৩৬০° প্যানোরামা ক্যাপচার করতে পারে না। ব্যবহারকারীর পর্যবেক্ষণ বিন্দু থেকে লাইটিং ডেটা ব্যবহার করলে ভুল, স্থানিক-অপরিবর্তনীয় রেন্ডারিং হয় যা নিমজ্জন ভঙ্গ করে।
শিহে ফ্রেমওয়ার্ক পরিবেশের লাইটিং অনুমান করতে মোবাইল ৩ডি ভিশনের অগ্রগতি—যেমন অন্তর্নির্মিত লাইডার ও গভীরতা সেন্সর—কাজে লাগিয়ে একটি অভিনব সমাধান উপস্থাপন করে। এটি একটি এজ-সহায়ক সিস্টেম যা ভোক্তা ডিভাইসে উচ্চ-নির্ভুলতা এআর অভিজ্ঞতা সক্ষম করতে রিয়েল-টাইমে (প্রায় ~২০মিলিসেকেন্ডের মতো দ্রুত) সঠিক, স্থানিক-পরিবর্তনশীল লাইটিং অনুমান প্রদানের জন্য নকশা করা হয়েছে।
শিহে-র স্থাপত্য একটি ক্লায়েন্ট-এজ-সার্ভার মডেলকে কেন্দ্র করে গড়ে উঠেছে, মোবাইল এআর-এর নির্দিষ্ট সীমাবদ্ধতাগুলির জন্য প্রতিটি উপাদান অপ্টিমাইজ করা হয়েছে: ডিভাইসে সীমিত গণনা ক্ষমতা, নেটওয়ার্ক লেটেন্সি এবং উপলব্ধিমূলক বাস্তবতার প্রয়োজন।
কার্যপ্রবাহে অন্তর্ভুক্ত রয়েছে: ১) মোবাইল ডিভাইস তার গভীরতা সেন্সর (যেমন, লাইডার) ব্যবহার করে পরিবেশের একটি ৩ডি পয়েন্ট ক্লাউড ক্যাপচার করে। ২) একটি অভিনব স্যাম্পলিং অ্যালগরিদম এই ডেটা সংকুচিত করে। ৩) প্রক্রিয়াজাত ডেটা লাইটিং অনুমানের জন্য একটি গভীর শিক্ষণ মডেল হোস্ট করা একটি এজ সার্ভারে প্রেরণ করা হয়। ৪) অনুমানকৃত লাইটিং প্যারামিটার (যেমন, গোলাকার হারমোনিকস সহগ) ভার্চুয়াল বস্তু রেন্ডার করার জন্য ডিভাইসে ফেরত পাঠানো হয়।
একটি মূল উদ্ভাবন হলো ৩ডি ইনডোর ডেটাসেটের অভিজ্ঞতামূলক বিশ্লেষণ থেকে প্রাপ্ত একটি দক্ষ স্যাম্পলিং কৌশল। সম্পূর্ণ, ঘন পয়েন্ট ক্লাউড প্রক্রিয়া করার পরিবর্তে, শিহে বুদ্ধিমত্তার সাথে সেইসব পয়েন্টের একটি উপসেট নির্বাচন করে যা লাইটিং অনুমানের জন্য সবচেয়ে তথ্যপূর্ণ (যেমন, নির্দিষ্ট নর্মাল বা আলবেডো বৈশিষ্ট্যযুক্ত পৃষ্ঠের পয়েন্ট)। এটি নির্ভুলতার উল্লেখযোগ্য ক্ষতি ছাড়াই ডেটা পেলোড ব্যাপকভাবে হ্রাস করে।
লেটেন্সি কমানোর জন্য, প্রাথমিক পয়েন্ট ক্লাউড প্রক্রিয়াকরণ (ফিল্টারিং, স্বাভাবিককরণ, স্যাম্পলিং) মোবাইল ডিভাইসের জিপিইউ-তে সম্পাদন করা হয়। এই উপযোগী পাইপলাইন নিশ্চিত করে যে ভারী প্রিপ্রসেসিং নেটওয়ার্ক ট্রান্সমিশনের আগে একটি বাধা হয়ে দাঁড়ায় না।
৩ডি গঠন থেকে লাইটিং অনুমান করার জন্য জটিল গভীর শিক্ষণ মডেলটি একটি এজ সার্ভারে চলে। শিহে ট্রান্সমিশনের আগে স্যাম্পল করা পয়েন্ট ক্লাউড ডেটা আরও সংকুচিত করতে একটি বিশেষায়িত এনকোডিং স্কিম ব্যবহার করে, নেটওয়ার্ক লেটেন্সি ও ব্যান্ডউইথ ব্যবহার ন্যূনতম করে।
শিহে একটি বুদ্ধিমান ট্রিগারিং কৌশল অন্তর্ভুক্ত করে। এটি প্রতিটি ফ্রেমের জন্য একটি নতুন লাইটিং অনুমান করে না। বরং, এটি অনুমান করে যখন লাইটিং অবস্থা বা ব্যবহারকারী/দৃষ্টিকোণ অবস্থান যথেষ্ট উল্লেখযোগ্যভাবে পরিবর্তিত হয়েছে যা একটি আপডেটের প্রয়োজনীয়তা তৈরি করে। তদুপরি, এটি অনুমানগুলির মধ্যে সময়গত সঙ্গতি নিশ্চিত করার জন্য প্রক্রিয়া প্রদান করে, রেন্ডার করা এআর দৃশ্যে ঝলকানি বা কঠোর রূপান্তর প্রতিরোধ করে।
লাইটিং প্রায়শই গোলাকার হারমোনিকস (এসএইচ) ব্যবহার করে উপস্থাপন করা হয়। মূল অনুমান সমস্যাটিকে সেইসব এসএইচ সহগ $\mathbf{l}$ খুঁজে বের করা হিসেবে চিত্রিত করা যেতে পারে যা প্রদত্ত আলবেডো $\rho$ সহ নর্মাল $\mathbf{n}$ বিশিষ্ট পৃষ্ঠ বিন্দুতে পর্যবেক্ষিত বিকিরণ $B(\mathbf{n})$ কে সবচেয়ে ভালোভাবে ব্যাখ্যা করে:
$B(\mathbf{n}) = \rho \int_{\Omega} L(\omega) (\mathbf{n} \cdot \omega)^+ d\omega \approx \rho \sum_{i} l_i Y_i(\mathbf{n})$
যেখানে $L(\omega)$ হলো আপতিত বিকিরণ, $Y_i$ হলো এসএইচ ভিত্তি ফাংশন, এবং $(\cdot)^+$ হলো ক্ল্যাম্পড ডট প্রোডাক্ট। শিহে-র নিউরাল নেটওয়ার্ক একটি স্যাম্পল করা পয়েন্ট ক্লাউড $P$ থেকে এই সহগগুলিতে একটি ম্যাপিং $f_\theta$ শেখে: $\mathbf{l} = f_\theta(P)$।
স্যাম্পলিং কৌশলটি সেইসব পয়েন্ট $p_i \in P$ নির্বাচন করার লক্ষ্য রাখে যা এই ইনভার্স রেন্ডারিং সমস্যা সমাধানের জন্য তথ্য লাভ সর্বাধিক করে, প্রায়শই নন-ল্যামবার্টিয়ান সূচক বা নির্দিষ্ট জ্যামিতিক সম্পর্কযুক্ত পয়েন্টগুলিতে ফোকাস করে।
পরিস্থিতি: একপাশে একটি জানালা ও অন্যপাশে একটি ল্যাম্প সহ একটি লিভিং রুমের কাঠের টেবিলে একটি ভার্চুয়াল সিরামিক ফুলদানি স্থাপন করা।
প্রবন্ধটি একটি রেফারেন্স মোবাইল এআর অ্যাপ্লিকেশন ব্যবহার করে শিহে মূল্যায়ন করে। মেট্রিকগুলি অনুমান নির্ভুলতা এবং এন্ড-টু-এন্ড লেটেন্সি এর উপর ফোকাস করে।
২০.৬৭ মিলিসেকেন্ড
প্রতি অনুমানের গড়
৯.৪%
সর্বশেষ নিউরাল নেটওয়ার্ক বেসলাইন থেকে ভালো
~১০০x
কাঁচা পয়েন্ট ক্লাউড থেকে হ্রাস
নির্ভুলতা পরিমাপ করা হয়েছিল শিহে-র অনুমানকৃত লাইটিং-এর অধীনে ভার্চুয়াল বস্তুর রেন্ডার করা চিত্রগুলিকে পরিচিত পরিবেশ ম্যাপ ব্যবহার করে গ্রাউন্ড ট্রুথ রেন্ডারের সাথে তুলনা করে। শিহে একটি আদর্শ চিত্র সাদৃশ্য মেট্রিক (সম্ভবত পিএসএনআর বা এসএসআইএম) এর ক্ষেত্রে সর্বশেষ নিউরাল নেটওয়ার্ক বেসলাইন থেকে ৯.৪% ভালো করেছে। এই লাভটি পয়েন্ট ক্লাউড দ্বারা প্রদত্ত ৩ডি গঠনগত সচেতনতার জন্য দায়ী, শুধুমাত্র ২ডি ক্যামেরা চিত্রের উপর নির্ভরশীল পদ্ধতির বিপরীতে।
এন্ড-টু-এন্ড পাইপলাইন প্রতি লাইটিং অনুমানে গড়ে ২০.৬৭ মিলিসেকেন্ড লেটেন্সি অর্জন করে, যা রিয়েল-টাইম এআর-এর জন্য বাজেটের মধ্যে (সাধারণত ৬০ এফপিএস-এর জন্য ১৬মিলিসেকেন্ড)। এটি দক্ষ ডিভাইসে প্রিপ্রসেসিং ও নেটওয়ার্ক অপ্টিমাইজেশন দ্বারা সক্ষম হয়েছে। অভিযোজিত ট্রিগারিং প্রক্রিয়া কার্যকর প্রতি-ফ্রেম গণনামূলক লোড আরও হ্রাস করে।
মূল অন্তর্দৃষ্টি: শিহে শুধু নিউরাল রেন্ডারিং-এ আরেকটি ধারাবাহিক উন্নতি নয়; এটি একটি ব্যবহারিক সিস্টেম-স্তরের হ্যাক যা অবশেষে অত্যাধুনিক গ্রাফিক্স তত্ত্ব ও মোবাইল হার্ডওয়্যারের কঠোর বাস্তবতার মধ্যে ব্যবধান পূরণ করে। মূল অন্তর্দৃষ্টি হলো যে মোবাইল ৩ডি সেন্সর (লাইডার)-এর নতুন সর্বব্যাপীত্ব শুধু ঘর মাপার জন্য নয়—এটি সেই "যেকোনো জায়গা থেকে লাইটিং" সমস্যা সমাধানের জন্য হারিয়ে যাওয়া চাবিকাঠি যা এক দশক ধরে মোবাইল এআর-কে পীড়িত করেছে। NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (Mildenhall et al., 2020) এর মতো কাজগুলি সম্পূর্ণ দৃশ্য পুনর্গঠন করে চমক দেয়, কিন্তু সেগুলি রিয়েল-টাইম মোবাইল ব্যবহারের জন্য গণনাগতভাবে নিষিদ্ধ। শিহে বুদ্ধিমত্তার সাথে এই ফাঁদ এড়িয়ে যায় সবকিছু পুনর্গঠন করার চেষ্টা না করে; বরং, এটি একটি লাইটিং অনুমান সমস্যাকে সীমাবদ্ধ করার জন্য ৩ডি ডেটাকে একটি স্পার্স, জ্যামিতিক প্রায়র হিসেবে ব্যবহার করে, যা অনেক বেশি সমাধানযোগ্য।
যুক্তিগত প্রবাহ: প্রবন্ধের যুক্তি আকর্ষণীয়: ১) আলোকচিত্রসম বাস্তবতার জন্য স্থানিক-পরিবর্তনশীল লাইটিং প্রয়োজন। ২) মোবাইলগুলি সরাসরি এটি ক্যাপচার করতে পারে না। ৩) কিন্তু তারা এখন সস্তায় ৩ডি জ্যামিতি ক্যাপচার করতে পারে। ৪) জ্যামিতি লাইটিং সীমাবদ্ধতা বোঝায় (যেমন, একটি অন্ধকার কোণ বনাম একটি জানালার কাছে)। ৫) অতএব, "জ্যামিতি → লাইটিং" ম্যাপিং শেখার জন্য একটি নিউরাল নেট ব্যবহার করুন। ৬) এটিকে রিয়েল-টাইম করতে, প্রতিটি ধাপকে সক্রিয়ভাবে অপ্টিমাইজ করুন: ৩ডি ডেটা স্যাম্পল করুন, ভারী ইনফারেন্স এজে পাঠান, এবং প্রয়োজন না হলে অনুমান করবেন না। সমস্যা সংজ্ঞা থেকে ব্যবহারিক সিস্টেমে এই প্রবাহ অসাধারণভাবে পরিষ্কার।
শক্তি ও ত্রুটি: এর সর্বশ্রেষ্ঠ শক্তি হলো এর ব্যবহারিকতা। অভিযোজিত ট্রিগারিং ও সময়গত সঙ্গতি একটি বাস্তব পণ্যের জন্য প্রকৌশলের বৈশিষ্ট্য, শুধু একটি গবেষণা ডেমো নয়। স্যাম্পলিং অ্যালগরিদমটি একটি চতুর, সহজলভ্য ফল যা বিশাল লাভ দেয়। যাইহোক, ফ্রেমওয়ার্কের অন্তর্নিহিত ত্রুটি রয়েছে। এটি সম্পূর্ণরূপে গভীরতা সেন্সরের গুণমানের উপর নির্ভরশীল; কম-টেক্সচার বা অত্যন্ত স্পেকুলার পরিবেশে কার্যকারিতা প্রশ্নবিদ্ধ। এজ-সহায়ক মডেল একটি নেটওয়ার্ক নির্ভরতা প্রবর্তন করে, লেটেন্সি পরিবর্তনশীলতা ও গোপনীয়তা উদ্বেগ তৈরি করে—কল্পনা করুন একটি এআর ইন্টেরিয়র ডিজাইন অ্যাপ আপনার বাড়ির ৩ডি ম্যাপ একটি সার্ভারে স্ট্রিম করছে। তদুপরি, Microsoft HoloLens গবেষণায় উল্লিখিত হয়েছে, লাইটিং অনুমান কম্পোজিটিং ধাঁধার শুধুমাত্র একটি অংশ; নিরবচ্ছিন্ন মিশ্রণের জন্য বাস্তব জগতের উপাদান অনুমান সমানভাবে গুরুত্বপূর্ণ, একটি সমস্যা যা শিহে এড়িয়ে যায়।
কার্যকরী অন্তর্দৃষ্টি: গবেষকদের জন্য, মূল বার্তা হলো হাইব্রিড জ্যামিতিক-নিউরাল পদ্ধতি-তে দ্বিগুণ মনোযোগ দেওয়া। খাঁটি শিক্ষণ খুব ভারী; খাঁটি জ্যামিতি খুব সরল। ভবিষ্যত শিহে-র মতো ফ্রেমওয়ার্কগুলিতে রয়েছে যা একটিকে অন্যটি নির্দেশ করতে ব্যবহার করে। ডেভেলপারদের জন্য, এই প্রবন্ধটি একটি নীলনকশা: আপনি যদি একটি গুরুতর মোবাইল এআর অ্যাপ তৈরি করছেন, তাহলে আপনাকে এখন ৩ডি সেন্সর ডেটাকে একটি প্রথম-শ্রেণীর ইনপুট হিসেবে বিবেচনা করতে হবে। এখনই ARKit/ARCore-এর গভীরতা API দিয়ে প্রোটোটাইপিং শুরু করুন। চিপ নির্মাতাদের জন্য, আরও শক্তিশালী, ডিভাইসে নিউরাল ইঞ্জিন ও দক্ষ গভীরতা সেন্সরের চাহিদা কেবল তীব্রতর হবে—এই পাইপলাইনের জন্য অপ্টিমাইজ করুন। শিহে প্রদর্শন করে যে ভোক্তা-গ্রেডের আলোকচিত্রসম এআর-এর পথ শুধু ভালো অ্যালগরিদম সম্পর্কে নয়, বরং অ্যালগরিদম, হার্ডওয়্যার ও সিস্টেম স্থাপত্যকে একসাথে সহ-নকশা করার বিষয়ে।