تنظیم دقیق LLaMA برای بازیابی متن چند مرحله ای: نتیجه گیری، قدردانی و مراجع

نویسندگان:

(1) Xueguang Ma، دانشکده علوم کامپیوتر دیوید R. Cheriton، دانشگاه واترلو.

(2) لیانگ وانگ، تحقیقات مایکروسافت.

(3) نان یانگ، تحقیقات مایکروسافت.

(4) فورو وی، تحقیقات مایکروسافت.

(5) جیمی لین، دانشکده علوم کامپیوتر دیوید آر. چریتون، دانشگاه واترلو.

چکیده و مقدمه

روش

آزمایش

مطالعه و تجزیه و تحلیل فرسایش

کار مرتبط

نتیجه گیری، قدردانی و مراجع

6. نتیجه گیری

کاربرد موفقیت‌آمیز مدل‌های زبان بزرگ در کارهای مولد، علاقه به پتانسیل آنها برای افزایش بازیابی را برانگیخته است. در این مطالعه، ما نشان می‌دهیم که می‌توان یک مدل بزرگ را تنظیم کرد تا به عنوان یک بازیابی متراکم (RepLLaMA) و یک رتبه‌بندی مجدد نقطه‌ای (RankLLaMA) عمل کند، در نتیجه یک بازیابی چند مرحله‌ای موثر و پیشرفته ایجاد کرد. سیستمی که از مدل های کوچکتر ساخته شده بر اساس همان طرح اولیه بهتر عمل می کند. علاوه بر این، رویکرد ما بهینه‌سازی و پتانسیل استنتاج کارآمد بیشتری را نسبت به روش‌های اخیر ارائه می‌دهد که مدل‌های زبان بزرگ را برای رتبه‌بندی مجدد متن به شیوه‌ای تولیدی تحریک می‌کنند. این کار بر پتانسیل استفاده از LLM ها برای کارهای بازیابی در آینده تأکید می کند که ما همچنان به بررسی آن ها ادامه می دهیم.

قدردانی ها

این تحقیق تا حدی توسط شورای تحقیقات علوم طبیعی و مهندسی (NSERC) حمایت شده است.

Source link