استخراج مات عصبی بدون آموزش برای جلوه های بصری: روش

3 روش

روش ما با یک شبکه DIP برای بازسازی تصویر هدف شروع می شود. یک هد خروجی دوم اضافه می شود و وظیفه دارد آلفای مورد نظر را در ناحیه ناشناخته trimap، که توسط مقادیر در مناطق شناخته شده محدود می شود، رنگ آمیزی کند. ایده اصلی این است که سر خروجی اول، نمایش شبکه قبل از آن را مجبور می کند تا ساختار تصویر را درک کند، در حالی که سر خروجی دوم از آن اطلاعات برای تخمین مات استفاده می کند.

علاوه بر خروجی آلفا، دو شبکه اضافی اضافه می کنیم که به طور همزمان پیش زمینه و پس زمینه را بازسازی می کنند. مشابه اولین خروجی شبکه اول، خروجی های این شبکه ها برای مطابقت با تصویر هدف محدود می شوند، اما بر خلاف شبکه اول، آنها فقط در مناطق مربوطه خود از trimap محدود می شوند. به طور مشابه به خروجی آلفا، آنها این محدودیت ها را برای رنگ آمیزی ناحیه غیر محدود شده برون یابی می کنند (شکل 2 را ببینید).

سه خروجی آخر – 𝛼,ˆ 𝐹,ˆ 𝐵ˆ – از طریق یک محدودیت اضافی که با هم (1) را برآورده می کنند جفت می شوند (از دست دادن تفصیلی زیر را ببینید).

𝐹ˆ و 𝐵ˆ را در شبکه های جداگانه قرار می دهیم (مانند [Gandelsman et al. 2019]) به جای سر خروجی های اضافی شبکه اول (مانند [Sun et al. 2021]) به منظور امکان رنگ آمیزی پیش زمینه…

Source link