چگونه AnimateDiff T2I شخصی شده را با مدل سازی حرکتی کارآمد زنده می کند

نویسندگان:

(1) Yuwei Guo، دانشگاه چینی هنگ کنگ.

(2) سیوان یانگ، آزمایشگاه هوش مصنوعی شانگهای با نویسنده مسئول.

(3) Anyi Rao، دانشگاه استنفورد.

(4) ژنگ یانگ لیانگ، آزمایشگاه هوش مصنوعی شانگهای؛

(5) Yaohui Wang، آزمایشگاه هوش مصنوعی شانگهای.

(6) یو کیائو، آزمایشگاه هوش مصنوعی شانگهای.

(7) منیش آگراوالا، دانشگاه استنفورد؛

(8) داهوا لین، آزمایشگاه هوش مصنوعی شانگهای؛

(9) بو دای، دانشگاه چینی هنگ کنگ و دانشگاه چینی هنگ کنگ.

چکیده و 1 مقدمه

2 مربوط به کار

3 مقدماتی

  1. AnimateDiff

4.1 کاهش اثرات منفی داده های آموزشی با آداپتور دامنه

4.2 با موشن ماژول Motion Priors را بیاموزید

4.3 با MotionLora با الگوهای حرکتی جدید سازگار شوید

4.4 AnimateDiff در عمل

5 آزمایش و 5.1 نتایج کیفی

5.2 مقایسه کیفی

5.3 مطالعه ابلیتی

5.4 نسل قابل کنترل

6 نتیجه گیری

7 بیانیه اخلاق

8 بیانیه تکرارپذیری، تصدیق و مراجع

5 آزمایش

ما AnimateDiff را بر روی Stable Diffusion V1.5 و ماژول حرکت قطار را با استفاده از مجموعه داده WebVid10M (Bain et al., 2021) پیاده سازی می کنیم. تنظیمات دقیق را می توان در مواد تکمیلی یافت.

5.1 نتایج کیفی

ارزیابی در …

Source link