انقلاب AI در صنعت انیمیشن سازی

محققان، طی یک پروژه تحقیقاتی، اولین سامانه مبتنی بر یادگیری عمیق (Deep Learning) را توسعه داده اند که می تواند محل سر، حالات چهره و نگاه خیره بازیگر مرجع (Source Actor) را به بازیگر هدف (Target Actor) منتقل کند.

بر طبق نتایج تحقیقات مختلف، ویرایش و ترکیب کردن پُرتره های ویدئویی (Video Portraits)، یعنی ویدئوهایی که سر و بالای بدن یک شخص را نشان می دهند، یکی از مشکلات مهم در کارهای گرافیکی کامپیوتری، پس پردازش (Post-production) فیلم های سینمایی، جلوه های بصری (Visual Effects)، دوبله بصری (Visual Dubbing)، واقعیت مجازی (Virtual Reality) و حضور از راه دور (Telepresence) است.

یک تیم تحقیقاتی، با بهره گیری از کارت های گرافیکی NVIDIA TITAN XP، شبکه عصبی مولد (Generative Neural Network) خود را به مدت ده ساعت و با به کارگیری کلیپ های عرضه شده در فضای عمومی (نظیر YouTube)، آموزش دادند.

رویکرد ما، یک بازیگر مرجع را ایجاد می کند تا کنترل کاملی را بر روی وضع صُلبیت سر، حالات چهره و حرکات چشم بازیگر هدف داشته باشد. با این رویکرد، حتی هویت چهره می تواند تا حدی اصلاح شود. کلیه این ابعاد می توانند با هم و یا مستقل از هم دستکاری شوند. قاب های کاملِ هدف (Full Target Frames) که نه تنها شامل کل سر و موها، بلکه شامل بالاتنه واقعی و پیش زمینه (Background) در هم آمیخته نیز می شود، به طور مصنوعی و خودکار تولید می شوند.

محققان پروژه

ویدئوی زیر به بررسی دقیق تر ویژگی های سامانه ارائه شده در پروژه پیش گفته می پردازد:

این ایده در پروژه Face2Face نیز قبلاً مورد استفاده قرار گرفته و در کنفرانس GPU Technology ارائه شده است. این سامانه پتانسیل آن را دارد که در نمایش مجدد چهره (Face Re-enactment)، دوبله بصری (Visual Dubbing) فیلم های سینمایی با زبان خارجی و پس پردازش (Post-production) فیلم های سینمایی به کار رود.

زمانی که به روش های دیگر نگاه می کنیم، پروژه فعلی عملکرد به مراتب بهتری را از خود به نمایش گذاشته است. ما با انجام آزمایش و تحقیقات مختلف، نشان داده ایم که روش ما نسبت به کارهای قبلی عملکرد بهتری را از لحاظ کیفیت داشته و توانسته ویژگی های آن ها را توسعه دهد. بنابراین، این روش سطح جدیدی از ظرفیت کاربردی این روش را به منصه ظهور گذاشته است.

محققان پروژه

این پروژه شامل محققانی از موسسه انفورماتیک ماکس پلانک (Max Planck Institute for Informatics)، تکنی کالر (Technicolor)، دانشگاه فنی مونیخ (The Technical University of Munich)، دانشگاه بث (University of Bath) و دانشگاه استنفورد (Stanford University) بوده است.