کتاب‌های درسی تنها چیزی هستند که نیاز دارید: محدودیت Phi-1

نویسندگان:

(1) سوریا گوناسکار، تحقیقات مایکروسافت؛

(2) یی ژانگ، تحقیقات مایکروسافت.

(3) Jyoti Aneja، Microsoft Research;

(4) Caio C´esar Teodoro Mendes, Microsoft Research;

(5) Allie Del Giorno، Microsoft Research;

(6) Sivakanth Gopi، Microsoft Research;

(7) موجان جواهریپی، تحقیقات مایکروسافت;

(8) پیرو کافمن، تحقیقات مایکروسافت.

(9) Gustavo de Rosa، Microsoft Research;

(10) Olli Saarikivi، Microsoft Research;

(11) عادل سلیم، تحقیقات مایکروسافت;

(12) شیتال شاه، تحقیقات مایکروسافت;

(13) Harkirat Singh Behl, Microsoft Research;

(14) شین وانگ، تحقیقات مایکروسافت.

(15) سباستین بابک، تحقیقات مایکروسافت.

(16) Ronen Eldan، Microsoft Research;

(17) Adam Tauman Kalai، Microsoft Research;

(18) یین تات لی، تحقیقات مایکروسافت.

(19) یوانژی لی، تحقیقات مایکروسافت.

در حالی که تنظیم دقیق از طریق تمرینات ساده به طور قابل توجهی عملکرد کلی مدل را افزایش می دهد، محدودیت های خاصی در مدل ما وجود دارد که نمی توان آنها را صرفاً با تنظیم دقیق برطرف کرد. اولاً، مدل ما فقط 1.3B پارامتر دارد که تنها با 7B توکن آموزش داده شده است، این ظرفیت مدل ما را برای مدیریت کارهای پیچیده‌تر مانند توسعه یک برنامه پیچیده Flask در مقایسه با مدل‌های دیگر مانند Starcoder محدود می‌کند. فراتر از محدودیت های مدل ما از نظر عمومیت وقتی با …

Source link