Hybrelighter: एज डिवाइसों के लिए मिश्रित वास्तविकता आधारित रीयल-टाइम सीन रीलाइटिंग तकनीक

1. परिचय एवं अवलोकन

Mixed Reality (MR) scene relighting is a transformative technology that allows for the virtual modification of lighting conditions to interact realistically with physical objects, producing authentic illumination and shadow effects. This technology holds immense potential in applications such as real estate visualization, immersive storytelling, and virtual object integration. However, achieving this in real-time on resource-constrained edge devices, like MR headsets, presents a significant challenge.

मौजूदा तरीकों में कमियाँ हैं: द्वि-आयामी छवि फ़िल्टर ज्यामितीय समझ की कमी रखते हैं; जटिल त्रि-आयामी पुनर्निर्माण पर आधारित तरीके डिवाइस-साइड सेंसर (जैसे LiDAR) द्वारा उत्पन्न कम सटीक मेश तक सीमित हैं; जबकि अत्याधुनिक डीप लर्निंग मॉडल कम्प्यूटेशनल रूप से अत्यधिक भारी हैं और वास्तविक समय के दृश्यों के लिए उपयोग करना कठिन है।Hybrelighterइस अंतर को पाटने के लिए एक नवीन मिश्रित समाधान प्रस्तावित किया गया है।

मुख्य प्रतिपादन

Hybrelighter ने एकीकृत किया हैछवि विभाजन、एनिसोट्रोपिक डिफ्यूजन पर आधारित प्रकाश प्रसार和बेसिक सीन समझ, स्कैन त्रुटियों को सुधारने के लिए, और एज डिवाइसों पर100 fpsयह दृष्टिगत रूप से आकर्षक और सटीक रीलाइटिंग प्रभाव प्रदान करता है।

2. कार्यप्रणाली एवं तकनीकी मार्ग

Hybrelighter की प्रसंस्करण प्रक्रिया मोबाइल हार्डवेयर की दक्षता और मजबूती के लिए विशेष रूप से डिज़ाइन की गई है।

2.1. दृश्य समझ और विभाजन

पहला चरण कैमरा इनपुट का विश्लेषण करके विभिन्न सतहों और वस्तुओं की पहचान करना शामिल है। एक हल्के न्यूरल नेटवर्क या पारंपरिक कंप्यूटर विज़न एल्गोरिदम छवि को विभिन्न क्षेत्रों में विभाजित करता है (जैसे, दीवारें, फर्श, फर्नीचर)। यह विभाजन एक शब्दार्थ मास्क प्रदान करता है जो बाद के प्रकाश संचालन के लिए मार्गदर्शन करता है, जिससे स्थानीय प्रभाव संभव होते हैं (उदाहरण के लिए, एक आभासी स्पॉटलाइट जो केवल एक मेज को प्रभावित करती है)।

2.2. अनिसोट्रोपिक प्रसार पर आधारित प्रकाश प्रसार

यह मुख्य नवीनता है। Hybrelighter संभावित रूप से दोषपूर्ण 3D मेश पर भौतिकी-आधारित रेंडरिंग करने के बजाय, प्रकाश के प्रसार को दृश्य ज्यामिति और सामान्य द्वारा परिभाषित द्वि-आयामी कई गुना (मैनिफोल्ड) पर एक विसरण प्रक्रिया के रूप में मॉडल करता है। एनिसोट्रोपिक डिफ्यूज़न समीकरण का उपयोग किया जाता है:

$\frac{\partial L}{\partial t} = \nabla \cdot (D \nabla L)$

यहाँ $L$ प्रकाश की तीव्रता है, $t$ समय है, और $D$ प्रकाश के प्रसार की दिशा और दर को नियंत्रित करने वाला विसरण टेंसर है। महत्वपूर्ण बात यह है कि $D$ का निर्माण सतह सामान्य जानकारी (भले ही यह आधारभूत सीन मेश से अनुमानित प्राप्त की गई हो या छवि से अनुमानित की गई हो) का उपयोग करके किया जाता है। इससे प्रकाश कोके साथ-साथसतही प्रवाह, लेकिन नहींपार करनागहराई में असंतत क्षेत्र, जिससे स्वाभाविक रूप से संलग्न छायाएं और कोमल प्रकाश ढाल जैसे प्रभाव उत्पन्न होते हैं, बिना किसी उत्तम ज्यामितीय मॉडल के।

2.3. डिवाइस-साइड रीकंस्ट्रक्शन के साथ एकीकरण

सिस्टम डिवाइस सीन रीकंस्ट्रक्शन (जैसे ARKit या ARCore से) से प्राप्त मोटे 3D मेश का उपयोग करता है, जिसका उपयोग सीधे रेंडरिंग के लिए नहीं, बल्कि एकगाइडेंस लेयरके रूप में किया जाता है। यह मेश अनुमानित गहराई और सतह सामान्य डेटा प्रदान करता है, ताकि एनिसोट्रोपिक डिफ्यूजन टेंसर $D$ को निर्देशित किया जा सके। मेश में त्रुटियाँ (छिद्र, दांतेदार किनारे) कम हो जाती हैं क्योंकि डिफ्यूजन प्रक्रिया स्वाभाविक रूप से स्मूथ है और मुख्य रूप से अधिक विश्वसनीय 2D सेगमेंटेशन पर कार्य करती है।

3. तकनीकी विवरण और गणितीय सूत्र

Anisotropic diffusion process is discretized for efficient computation on GPU. The key is to define the diffusion tensor $D$ at each pixel $(i,j)$:

$D_{i,j} = g(\|\nabla I_{i,j}\|) \cdot n_{i,j} n_{i,j}^T + \epsilon I$

जहाँ:

$\nabla I_{i,j}$ छवि तीव्रता ग्रेडिएंट (एज स्ट्रेंथ) है।
$g(\cdot)$ एक घटता हुआ फलन है (उदाहरण के लिए, $g(x) = \exp(-x^2 / \kappa^2)$), जो मजबूत किनारों (वस्तु सीमाओं) पर विसरण को धीमा कर देता है।
$n_{i,j}$ अनुमानित सतह सामान्य वेक्टर है (खुरदरे जाली या फोटोमेट्रिक स्टीरियो से)।
$\epsilon$ संख्यात्मक स्थिरता के लिए एक छोटा स्थिरांक है, और $I$ तत्समक आव्यूह है।

यह सूत्र सुनिश्चित करता है कि प्रकाश सतह की स्पर्शरेखा दिशा ($n n^T$ घटक) में दृढ़ता से प्रसारित हो, और छवि किनारों तथा गहराई सीमाओं ($g(\cdot)$ घटक) पर दबा दिया जाए। इसका परिणाम रे ट्रेसिंग या पूर्ण तंत्रिका रेंडरिंग की गणनात्मक लागत के एक अंश पर, बोधात्मक रूप से प्रभावशाली वैश्विक प्रकाश व्यवस्था का अनुमान प्राप्त करना है।

4. प्रयोगात्मक परिणाम और प्रदर्शन

इस शोध पत्र ने गुणात्मक और मात्रात्मक परिणामों के माध्यम से Hybrelighter की प्रभावशीलता प्रदर्शित की है।

प्रदर्शन बेंचमार्क

फ्रेम दर: 在 iPhone 16 Pro / Meta Quest 3 上 >100 FPS

बेसलाइन से तुलना: उद्योग मानक, ग्रिड-आधारित विलंबित शेडिंग।

प्रमुख मेट्रिक्स: दृश्य सत्यता बनाम कम्प्यूटेशनल लोड।

दृश्य परिणाम (चित्र 1 और चित्र 3 देखें):

चित्र 1: विभिन्न प्रकाश स्थितियों (दिन का प्रकाश, शाम, स्पॉटलाइट) के तहत पुनः प्रकाशित कमरे को प्रदर्शित करता है। एनिसोट्रोपिक डिफ्यूज़न (पहली पंक्ति) ने प्रभावी रूप से नरम छायाएं और प्रकाश ढाल बनाए, जिन्हें एमआर दृश्य (दूसरी पंक्ति) में सम्मिलित किया गया है। परिणाम कम-पॉलीगॉन मेश रेंडरिंग में आम तौर पर पाए जाने वाले कठोर, दांतेदार छायाओं से बचता है।
चित्र 3: समस्या को उजागर करता है: मोबाइल उपकरणों से प्राप्त मूल LiDAR मेश शोरयुक्त और अपूर्ण हैं। Hybrelighter की विधि इन कमियों के प्रति मजबूत है क्योंकि विसरण प्रक्रिया वॉटरटाइट ज्यामिति पर निर्भर नहीं करती है।

सरल द्वि-आयामी फ़िल्टर की तुलना में, यह विधि बेहतर दृश्य गुणवत्ता प्रदर्शित करती है; मेश-आधारित विधियों की तुलना में, गुणवत्ता बराबर या बेहतर है, जबकिNeRF或DeepLightयह प्रेरित तंत्रिका पुन:प्रकाशन विधि कई गुना तेज है।

5. विश्लेषणात्मक ढांचा एवं केस अध्ययन

केस: रियल एस्टेट वर्चुअल स्टेजिंग

दृश्य: उपयोगकर्ता एक खाली अपार्टमेंट देखने के लिए MR हेडसेट पहनते हैं। वे आभासी फर्नीचर और विभिन्न प्रकाश स्थितियों (सुबह की धूप बनाम गर्म रात की रोशनी) के तहत यह देखना चाहते हैं कि यह कैसा दिखेगा।

Hybrelighter कार्यप्रवाह:

स्कैनिंग और विभाजन: हेडसेट कमरे को स्कैन करता है, एक रफ मेश बनाता है और सतहों (दीवारें, खिड़कियां, फर्श) को विभाजित करता है।
आभासी प्रकाश स्रोत रखना: उपयोगकर्ता एक आभासी फ़्लोर लैंप को कोने में रखता है।
प्रकाश प्रसार: सिस्टम लैंप की स्थिति को एक एनिसोट्रोपिक डिफ्यूज़न समीकरण में हीट स्रोत के रूप में मानता है। प्रकाश फर्श के साथ फैलता है और आसन्न दीवारों पर ऊपर की ओर चमकता है, विभाजित ज्यामिति का पालन करता है (दीवार-फर्श सीमा पर धीमा)। एक मोटे ग्रिड का सामान्य वेक्टर क्षय का मार्गदर्शन करता है।
रियल-टाइम संश्लेषण: गणना की गई लाइट मैप को ट्रांसल्यूसेंट वीडियो के साथ मिलाया जाता है, जिससे वर्चुअल लाइट द्वारा ढके गए क्षेत्र (अनुमानित गहराई का उपयोग करके) अंधेरे हो जाते हैं। परिणाम एक प्रभावशाली, रियल-टाइम रीलिट सीन होता है, जिसके लिए जटिल 3D रेंडरिंग की आवश्यकता नहीं होती।

यह फ्रेमवर्क एकदम सही 3D मॉडल की आवश्यकता को दरकिनार करता है, जिससे यह गैर-विशेषज्ञ उपयोगकर्ताओं के लिए तत्काल उपयोग के लिए उपयुक्त हो जाता है।

6. उद्योग विश्लेषक परिप्रेक्ष्य

मुख्य अंतर्दृष्टि: Hybrelighter केवल एक और रीलाइटिंग पेपर नहीं है; यह एक व्यावहारिकइंजीनियरिंग तकनीकइसने मोबाइल MR हार्डवेयर की कमजोरी - खराब ज्यामितीय पुनर्निर्माण - को सही ढंग से पहचाना और चतुराई से इससे बचा। इसने डिवाइस पर सही मेश बनाने की हारी हुई लड़ाई (जैसा कि Microsoft ने डेस्कटॉप पर किया) जीतने की कोशिश नहीं की,DirectX Raytracingमहत्वाकांक्षा), बल्कि मानव दृश्य प्रणाली की भौतिक सटीकता के बजाय बोधगम्य यथार्थता के प्रति सहनशीलता का फायदा उठाया। यह याद दिलाता हैCycleGANबिना युग्मित डेटा के इमेज-टू-इमेज ट्रांसलेशन में सफलता — एक स्मार्ट, विवश उद्देश्य ढूँढना जो "काफी अच्छे" परिणाम कुशलता से उत्पन्न करता है।

तार्किक संरचना: इसका तर्क अकाट्य है: 1) मोबाइल डिवाइस मेश की खराब गुणवत्ता। 2) भौतिकी-आधारित रेंडरिंग को अच्छे मेश की आवश्यकता होती है। 3) इसलिए, भौतिकी-आधारित रेंडरिंग न करें। 4) इसके बजाय, एक तेज़, इमेज-आधारित डिफ्यूज़न प्रक्रिया का उपयोग करें, जो केवल मोटे मेश को हल्के मार्गदर्शन के रूप में ले।सिमुलेशनप्रकाश का व्यवहार। सेउत्पन्न करेंसमस्या (आदर्श प्रकाशित छवि निर्माण) में परिवर्तित हो जाती हैफ़िल्टरिंगसमस्या (विसरित प्रकाश स्रोत) एक महत्वपूर्ण बौद्धिक छलांग है।

लाभ और सीमाएँ: इसका लाभ आश्चर्यजनक दक्षता और हार्डवेयर संगतता में है, जो तंत्रिका विधियों के लिए 30 fps तक पहुँचना भी मुश्किल होने पर 100 fps प्राप्त करता है। हालाँकि, इसकी सीमा यथार्थवाद में एक मौलिक ऊपरी सीमा है। यह जटिल प्रकाशिकीय घटनाओं, जैसे कॉस्टिक्स, दर्पणों की पारस्परिक परावर्तन या सटीक पारदर्शिता का अनुकरण नहीं कर सकता - ये वे तत्व हैं जो वास्तविक उच्च-निष्ठा रेंडरिंग की पहचान हैं, जैसा किBitterli रेंडरिंग संसाधनजैसे शैक्षणिक बेंचमार्क में देखा जाता है। यहपहली पीढ़ीउपभोक्ता-स्तरीय MR का एक समाधान, अंतिम समाधान नहीं।

क्रियान्वयन योग्य अंतर्दृष्टि: Meta, Apple या Snap के AR/VR उत्पाद प्रबंधकों के लिए, यह शोध पत्र एकतत्काल वितरण योग्य कार्यक्षमताका खाका है। मुख्य अंतर्दृष्टि यह है कि बैटरी खपत करने वाली सिनेमाई-स्तरीय रेंडरिंग गुणवत्ता के बजाय, उपयोगकर्ता संलग्नता उपकरण के रूप में "काफी अच्छी" रीयल-टाइम रीलाइटिंग को प्राथमिकता दी जानी चाहिए। यह जिस शोध दिशा की ओर इशारा करता है वह स्पष्ट है: हाइब्रिड न्यूरल-सिम्बॉलिक दृष्टिकोण, जहां हल्के नेटवर्क (जैसे सेगमेंटेशन के लिए MobileNet) शास्त्रीय, कुशल एल्गोरिदम (जैसे डिफ्यूजन) का मार्गदर्शन करते हैं। अगला कदम डिफ्यूजन पैरामीटर्स (जैसे $g(x)$ में $\kappa$) को डेटा से सीखने योग्य बनाना है, ताकि विभिन्न दृश्य प्रकारों के अनुकूल हो सकें, बिना मैन्युअल समायोजन के।

7. भविष्य के अनुप्रयोग एवं शोध संभावनाएँ

निकट भविष्य के अनुप्रयोग:

आभासी गृह सज्जा एवं आंतरिक सज्जा: जैसा पहले बताया गया है, यह लाइटिंग और पेंट रंगों के प्रभाव को वास्तविक समय में दृश्यमान बनाने की अनुमति देता है।
AR गेमिंग और मनोरंजन: गेम की कथा से मेल खाने के लिए भौतिक कमरे के वातावरण को गतिशील रूप से बदलना।
रिमोट सहयोग और टेलिप्रेजेंस: आभासी बैठक स्थान से मेल खाने के लिए उपयोगकर्ता के वातावरण में एक समान पुनः प्रकाश व्यवस्था करना, जिससे विसर्जन की अनुभूति बढ़े।
सुलभता सहायता: कम दृष्टि वाले उपयोगकर्ताओं के लिए वास्तविक समय में इष्टतम प्रकाश स्थितियों का अनुकरण करना।

अनुसंधान एवं विकास दिशा:

सीखने पर आधारित विसरण मार्गदर्शन: हाथ से डिज़ाइन किए गए फ़ंक्शन $g(\cdot)$ को प्रकाश प्रसार डेटासेट पर प्रशिक्षित एक छोटे तंत्रिका नेटवर्क से प्रतिस्थापित करना, ताकि यह जटिल सामग्रियों के अनुकूल हो सके।
न्यूरल रेडिएंस फील्ड (NeRF) के साथ एकीकरण: स्थिर दृश्यों के लिए कॉम्पैक्ट, प्री-बेक्ड NeRF का उपयोग करके विसरण प्रक्रिया को लगभग सटीक ज्यामिति और सामान्य मार्गदर्शन प्रदान किया जाता है, जिससे गुणवत्ता और गति के बीच का अंतर पाटा जाता है।
होलोग्राफिक डिस्प्ले संगतता: 2D डिफ्यूजन मॉडल को 3D लाइट फील्ड तक विस्तारित करना, ताकि अगली पीढ़ी के चश्मा-मुक्त डिस्प्ले के लिए उपयोग किया जा सके।
ऊर्जा खपत जागरूक अनुकूलन: डिवाइस की थर्मल स्थिति और पावर स्थिति के आधार पर डिफ्यूजन रिज़ॉल्यूशन और पुनरावृत्ति संख्या को गतिशील रूप से समायोजित करना।

विकास प्रवृत्तियाँ भविष्य की ओर इशारा करती हैं, इस प्रकार की मिश्रित पद्धतियाँ एज डिवाइसों पर रीयल-टाइम सेंसिंग प्रभावों के लिए मानक मिडलवेयर बन जाएंगी, जैसे रास्टराइजेशन ग्राफिक्स पाइपलाइन ने पिछले एक युग पर प्रभुत्व किया था।

8. संदर्भ सूची

Zhao, H., Akers, J., Elmieh, B., & Kemelmacher-Shlizerman, I. (2025). Hybrelighter: Combining Deep Anisotropic Diffusion and Scene Reconstruction for On-device Real-time Relighting in Mixed Reality. arXiv preprint arXiv:2508.14930.
Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.
Zhu, J., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV.
Apple Inc. (2024). ARKit Documentation: Scene Reconstruction. Retrieved from developer.apple.com.
Bitterli, B. (2016). Rendering Resources. Retrieved from https://benedikt-bitterli.me/resources/.
Microsoft Research. (2018). DirectX Raytracing. Retrieved from https://www.microsoft.com/en-us/research/project/directx-raytracing/.