نویسندگان:
(1) Wanyun Cui ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
(2) Qianle Wang ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
جدول پیوندها
چکیده و 1 مقدمه
2 کار مرتبط
3 تعیین تأثیر پارامترها بر عملکرد مدل و 4. آموزش دقیق با دقت مختلط
5 شیوع ناهمگونی پارامتر در LLMS
6 آزمایش کمیت و 6.1 جزئیات پیاده سازی
6.2 تأثیر کمیت LLM پایه
6.3 تأثیر کمیت LLM چت
6.4 مقایسه معیارهای انتخاب پارامتر ، نتیجه گیری و منابع
3. تعیین تأثیر پارامترها بر عملکرد مدل
4. آموزش دقیق با دقت مختلط
بینش های به دست آمده از شکل 1 ناهمگونی در پارامترهای مدل را برجسته می کند. پارامترهای گیلاس ، با وجود تشکیل کمتر از 1 ٪ از تعداد کل پارامتر ، تأثیر قابل توجهی در مدل دارند. به طور غیرقانونی این پارامترهای گیلاس را در کنار پارامترهای عادی تعیین می کند ممکن است منجر به وخامت قابل توجهی در عملکرد مدل شود.
برای کاهش تأثیر پارامترهای گیلاس بر کمیت ، ما پیشنهاد می کنیم مقادیر با دقت بالا را در طی فرآیند کمیت حفظ کنیم. با حفظ وفاداری این پارامترهای مهم ، ما اطمینان حاصل می کنیم که اطلاعات اساسی …