نویسندگان:
(1) Wanyun Cui ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
(2) Qianle Wang ، دانشگاه دارایی و اقتصاد شانگهای ، با سهم برابر.
جدول پیوندها
چکیده و 1 مقدمه
2 کار مرتبط
3 تعیین تأثیر پارامترها بر عملکرد مدل و 4. آموزش دقیق با دقت مختلط
5 شیوع ناهمگونی پارامتر در LLMS
6 آزمایش کمیت و 6.1 جزئیات پیاده سازی
6.2 تأثیر کمیت LLM پایه
6.3 تأثیر کمیت LLM چت
6.4 مقایسه معیارهای انتخاب پارامتر ، نتیجه گیری و منابع
5. شیوع ناهمگنی پارامتر در LLMS
در حالی که شکل 1 ناهمگونی ماتریس های پارامتر انتخاب شده در LLM های مختلف را نشان می دهد ، بررسی اینکه آیا این پدیده در صدها ماتریس پارامتر در هر LLM فراگیر است. در این بخش ، ما یک تجزیه و تحلیل جامع از ناهمگونی پارامتر از منظر کلان انجام می دهیم.
برای تعیین میزان ناهمگونی در یک ماتریس پارامتر ، نمره ناهمگونی ماتریس را معرفی می کنیم. با الهام از مشاهده در شکل 1 ، که در آن زیر مجموعه کوچکی از پارامترها در مقایسه با حداکثر اکثریت تأثیرات قابل توجهی بالاتری دارد ، ما نمره ناهمگونی را به عنوان نسبت میانگین … تعریف می کنیم.