نحوه عملکرد پایدار دیفیوژن و LoRA

نویسندگان:

(1) Yuwei Guo، دانشگاه چینی هنگ کنگ.

(2) سیوان یانگ، آزمایشگاه هوش مصنوعی شانگهای با نویسنده مسئول.

(3) Anyi Rao، دانشگاه استنفورد.

(4) ژنگ یانگ لیانگ، آزمایشگاه هوش مصنوعی شانگهای؛

(5) Yaohui Wang، آزمایشگاه هوش مصنوعی شانگهای.

(6) یو کیائو، آزمایشگاه هوش مصنوعی شانگهای.

(7) منیش آگراوالا، دانشگاه استنفورد؛

(8) داهوا لین، آزمایشگاه هوش مصنوعی شانگهای؛

(9) بو دای، دانشگاه چینی هنگ کنگ و دانشگاه چینی هنگ کنگ.

چکیده و 1 مقدمه

2 مربوط به کار

3 مقدماتی

  1. AnimateDiff

4.1 کاهش اثرات منفی داده های آموزشی با آداپتور دامنه

4.2 با موشن ماژول Motion Priors را بیاموزید

4.3 با MotionLora با الگوهای حرکتی جدید سازگار شوید

4.4 AnimateDiff در عمل

5 آزمایش و 5.1 نتایج کیفی

5.2 مقایسه کیفی

5.3 مطالعه ابلیتی

5.4 نسل قابل کنترل

6 نتیجه گیری

7 بیانیه اخلاق

8 بیانیه تکرارپذیری، تصدیق و مراجع

3 مقدماتی

ما مقدماتی Stable Diffusion (Rombach et al., 2022)، مدل پایه T2I مورد استفاده در کار ما، و Low-Rank Adaptation (LoRA) (Hu et al., 2021) را معرفی می کنیم، که به درک آداپتور دامنه (Sec) کمک می کند. 4.1) و MotionLoRA (Sec….

Source link