تنظیم دقیق LLaMA برای بازیابی متن چند مرحله ای: مطالعه و تجزیه و تحلیل Ablation

نویسندگان:

(1) Xueguang Ma، دانشکده علوم کامپیوتر دیوید R. Cheriton، دانشگاه واترلو.

(2) لیانگ وانگ، تحقیقات مایکروسافت.

(3) نان یانگ، تحقیقات مایکروسافت.

(4) فورو وی، تحقیقات مایکروسافت.

(5) جیمی لین، دانشکده علوم کامپیوتر دیوید آر. چریتون، دانشگاه واترلو.

چکیده و مقدمه

روش

آزمایش

مطالعه و تجزیه و تحلیل فرسایش

کار مرتبط

نتیجه گیری، قدردانی و مراجع

4 مطالعه و تجزیه و تحلیل فرسایش

4.1 تنظیم دقیق کامل در مقابل LoRA

هنگام تنظیم دقیق مدل‌های زبان بزرگ، یک تصمیم کلیدی این است که آیا تنظیم دقیق کامل انجام شود، که تمام پارامترهای مدل را به‌روزرسانی می‌کند یا از یک روش کارآمد پارامتر مانند LoRA استفاده شود. جدول 4 اثربخشی RepLLaMA را هنگام آموزش با تنظیم دقیق کامل و LoRA برای کار بازیابی گذر مقایسه می کند. هر دو مدل در مجموعه آموزشی برای یک دوره آموزش داده می شوند.

می بینیم که تنظیم دقیق کامل به امتیاز MRR@10 می رسد که تقریباً 6 امتیاز بالاتر از LoRA در مجموعه آموزشی است. با این حال، در مجموعه توسعه، تنظیم دقیق کامل فقط 0.4 امتیاز در مقایسه با LoRA اثربخشی را بهبود می بخشد. جالب توجه است، در مجموعه داده‌های TREC DL19/DL20، که از قضاوت‌های مستقل انسان مشتق شده‌اند، LoRA اثربخشی بهتری را نشان می‌دهد. این نشان می دهد که تنظیم دقیق کامل ممکن است مستعد …

Source link