24 مهر 1404
یک تکنیک پیشگامانه هوش مصنوعی، امکان نورپردازی مجدد ویدئوهای دنیای واقعی را در زمان واقعی، بدون نیاز به نرمافزار سهبعدی پیچیده یا موتورهای بازی فراهم میکند. این روش نور را دقیقاً از ویژگیهای مواد جدا میکند و تغییرات محیطی فوقالعاده واقعی را ممکن میسازد و به طور قابل توجهی از روشهای پیشرفته قبلی بهتر عمل میکند.
یک تکنیک جدید مبتنی بر هوش مصنوعی، نورپردازی مجدد ویدئو در زمان واقعی را ممکن میسازد، به طوری که نورپردازی کاملاً متفاوتی را به فیلم ویدئویی واقعی اعمال میکند و موتورهای بازی سنتی یا نرمافزار سهبعدی پیچیده را دور میزند.
این تکنیک با گرفتن یک ویدئوی ورودی واقعی و اعمال یک محیط جدید، گردش کار سنتی را ساده میکند و به هوش مصنوعی اجازه میدهد تا کل صحنه را بازآفرینی کند، گویی سوژه در شرایط نورپردازی جدید حضور داشت.
روش جدید به طور قابل توجهی از تحقیقات قبلی، از جمله Neural Gaffer و DiffusionRenderer، که برای نتایج باورپذیر با مشکل مواجه بودند، پیشی میگیرد و بهبود چشمگیری در واقعگرایی و وفاداری بصری ظرف چند ماه نشان میدهد.
هوش مصنوعی ابتدا نور را از ظاهر ماده جدا میکند و یک albedo map ایجاد میکند که حتی ساختارهای ظریف مانند مو را به دقت ثبت میکند، که سپس امکان اعمال نورپردازی محیطی جدید را به ویژگیهای ماده فراهم میسازد.
این تکنیک عملکردی تقریباً بینقص را در صحنههای چالشبرانگیز حاوی بسیاری از اشیاء براق و specular نشان میدهد، که بازتابها و یکپارچگی ماده را به طور مؤثر مدیریت میکند، در حالی که روشهای قبلی نتایج ناهموار یا غیرواقعی به دست میآوردند.
این نورپردازی مجدد با هوش مصنوعی برای آموزش خودروهای خودران با تولید تنوع صحنه برای افزایش تابآوری در برابر تغییرات محیطی، و همچنین برای ادغام کاربران در جهانهای بازی ویدئویی ارزشمند خواهد بود.
با وجود کمبود اطلاعات مواد در ۱۵۰,۰۰۰ ویدئوی آموزشی خود، هوش مصنوعی با به کارگیری یک راه حل هوشمندانه به نام auto labeling، که از یک تکنیک از پیش آموزشدیده inverse rendering برای حدس زدن ویژگیهای مواد برای هر تصویر استفاده میکند، با موفقیت یاد گرفت.
صرف نظر کردن از auto labeling منجر به درک صحنه و مواد نامناسب و لکهدار میشود، در حالی که گنجاندن آن درک صحیح و نتایج نورپردازی مجدد با کیفیت بالا را تضمین میکند.
آنقدر خوب است که به سختی میتوانم تشخیص دهم که این واقعیت نیست.
| Aspect | Description | Impact |
|---|---|---|
| فناوری | تکنیک جدید هوش مصنوعی برای نورپردازی مجدد ویدئو. | نیاز به نرمافزار سهبعدی پیچیده یا موتورهای بازی را از بین میبرد و فرآیند را ساده میکند. |
| واقعگرایی | در نورپردازی مجدد فیلم ویدئویی واقعی، نتایجی تقریباً غیرقابل تشخیص از واقعیت به دست میآورد. | به طور قابل توجهی از روشهای پیشرفته قبلی در وفاداری بصری و باورپذیری بهتر عمل میکند. |
| سازوکار اصلی | نور را از ویژگیهای مواد (albedo map) جدا میکند تا نورپردازی جدید را به طور واقعبینانه اعمال کند. | امکان رندر مجدد دقیق مواد، حتی جزئیات ظریف مانند مو را فراهم میکند. |
| پایایی | صحنههای چالشبرانگیز با اشیاء براق و specular متعدد را با نتایجی تقریباً بینقص مدیریت میکند. | از آرتیفکتها و تبدیلهای غیرواقعی مواد که در تکنیکهای قدیمی دیده میشدند، جلوگیری میکند و یکپارچگی صحنه را حفظ مینماید. |
| کاربردها | آموزش خودروهای خودران با شرایط محیطی متنوع و ادغام کاربران در جهانهای مجازی. | ایمنی و تابآوری سیستمهای خودمختار را افزایش میدهد؛ امکانات جدیدی برای تجربیات مجازی و تولید محتوا فراهم میکند. |
| راه حل داده | از 'auto labeling' با یک تکنیک از پیش آموزشدیده inverse rendering برای حدس زدن ویژگیهای مواد استفاده میکند. | بر چالش آموزش با مجموعهدادههای ویدئویی بزرگ فاقد اطلاعات صریح مواد غلبه میکند و امکان یادگیری از منابع دشوار را فراهم میسازد. |
