مقابله با سوگیری جریان اصلی از طریق یادگیری محلی تطبیقی ​​انتها به انتها: مطالعه فراپارامتری

جدول پیوندها

چکیده و 1 مقدمه

2 مقدماتی

3 یادگیری محلی تطبیقی ​​سرتاسر

3.1 ترکیبی از متخصصان ضرر محور

3.2 یادگیری همزمان از طریق وزن تطبیقی

4 آزمایش Debiasing و 4.1 راه اندازی آزمایشی

4.2 عملکرد منحرف کننده

4.3 مطالعه فرسایش

4.4 اثر ماژول وزن تطبیقی ​​و 4.5 مطالعه فراپارامتر

5 کارهای مرتبط

6 نتیجه گیری، قدردانی ها و مراجع

4.4 اثر ماژول وزن تطبیقی

در آخر، ما توجه خود را به بررسی تأثیر ماژول وزن تطبیقی ​​معطوف می کنیم، و مطالعه می کنیم که چگونه سرعت یادگیری کاربران مختلف را همگام می کند. ما TALL را روی مجموعه داده ML1M اجرا می‌کنیم و میانگین وزن‌ها را برای پنج زیرگروه با پنجره شکاف (# شکاف = 40) در شکل 3 ارائه می‌کنیم. می‌توان مشاهده کرد که ماژول وزن تطبیقی ​​وزن‌ها را به صورت پویا به انواع مختلف کاربران اختصاص می‌دهد تا آنها را همگام‌سازی کند. سرعت های یادگیری در ابتدا، کاربران اصلی وزن بیشتری دریافت می‌کنند، زیرا یادگیری آن‌ها آسان‌تر است و از عملکرد بالاتری نسبت به کاربران خاص برخوردارند. سپس، زمانی که کاربران اصلی به اوج می رسند، مدل توجه را به کاربرانی معطوف می کند که یادگیری آنها دشوارتر است، و به تدریج وزن کاربران «کم»، «متوسط ​​کم» و «متوسط» را تا پایان آموزش افزایش می دهد. رویه با این حال،…