نویسندگان:
(1) Wanyun Cui ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
(2) Qianle Wang ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
جدول پیوندها
چکیده و 1 مقدمه
2 کار مرتبط
3 تعیین تأثیر پارامترها بر عملکرد مدل و 4. آموزش دقیق با دقت مختلط
5 شیوع ناهمگونی پارامتر در LLMS
6 آزمایش کمیت و 6.1 جزئیات پیاده سازی
6.2 تأثیر کمیت LLM پایه
6.3 تأثیر کمیت LLM چت
6.4 مقایسه معیارهای انتخاب پارامتر ، نتیجه گیری و منابع
استراتژی های کمیت برای LLMS استراتژی های مختلف کمیت در ادبیات ارائه شده است تا ضمن حفظ دقت قابل قبول ، دقت وزن و فعال سازی را کاهش دهد. این استراتژی ها را می توان به طور گسترده ای در آموزش کمیت و کمیت پس از آموزش طبقه بندی کرد [14]بشر روشهای کمیت پس از آموزش ، مانند OBD ، OBS و GPTQ ، به طور مستقیم مدل از پیش آموزش داده شده را بدون تنظیم دقیق تعیین می کنند [15, 10, 8]بشر از طرف دیگر ، روشهای آموزش کمیت آگاه ، مانند LLM-QAT [18]، عملیات کمیت را در فرایند آموزش قرار دهید تا به طور مشترک مدل کمیت شده را بهینه کنید. برخی از آثار نیز کمیت با دقت مختلط را کشف می کنند [13] و سازگار …