آینده فشرده سازی هوش مصنوعی: استراتژی های کمیت هوشمندتر

جدول پیوندها

چکیده و 1 مقدمه

2 کار مرتبط

3 تعیین تأثیر پارامترها بر عملکرد مدل و 4. آموزش دقیق با دقت مختلط

5 شیوع ناهمگونی پارامتر در LLMS

6 آزمایش کمیت و 6.1 جزئیات پیاده سازی

6.2 تأثیر کمیت LLM پایه

6.3 تأثیر کمیت LLM چت

6.4 مقایسه معیارهای انتخاب پارامتر ، نتیجه گیری و منابع

6.4 مقایسه معیارهای انتخاب پارامتر

برای ارزیابی اثربخشی معیار انتخاب پارامتر مبتنی بر تأثیر ما ، ما آزمایشاتی را انجام می دهیم که آن را با معیار مبتنی بر بزرگی استفاده می کنند [18]بشر در جدول 5 ، گیج کننده مدل های LLAMA2-7B-3BIT و LLAMA2-13B-3BIT ، با استفاده از هر دو معیار برای انتخاب پارامتر گیلاس ارائه شده است.

از نتایج ، بدیهی است که معیار مبتنی بر ضربه به طور مداوم از معیار مبتنی بر بزرگی در تمام تنظیمات فراتر می رود. این نتایج نشان می دهد که معیار مبتنی بر تأثیر پیشنهادی ما یک اندازه گیری مؤثرتر از اهمیت پارامتر در مقایسه با معیار مبتنی بر بزرگی است. تأثیرات بیشترین را شناسایی و حفظ می کنند …