رمزگشایی گمانهزنی یک تکنیک استنتاج هوش مصنوعی پیشرفته است که در پردازش زبان طبیعی (NLP) و سایر وظایف تولید توالی مورد توجه قرار گرفته است. یکی از مهمترین چالشها در به کارگیری مدلهای در مقیاس بزرگ را برطرف میکند: متعادل کردن کارایی محاسباتی با کیفیت خروجیهای تولید شده. مدل هایی مانند GPT-3 و GPT-4 معیارهای جدیدی را در قابلیت هوش مصنوعی تعیین کرده اند، اما از نظر محاسباتی گران هستند، به ویژه برای برنامه های بلادرنگ مانند چت بات ها، سیستم های ترجمه و دستیارهای تعاملی.
رمزگشایی گمانهزنی راهحل هوشمندانهای را با معرفی یک سیستم دو مدل ارائه میدهد: یک مدل پیشنویس کوچکتر، سریعتر و یک مدل هدف بزرگتر و دقیقتر. این رویکرد تأخیر را بدون به خطر انداختن کیفیت توالی های تولید شده کاهش می دهد. در هسته خود، رمزگشایی حدسی یک فرآیند دو مرحله ای است. اول، یک مدل پیش نویس سبک وزن، دنباله ای از توکن ها را به سرعت تولید می کند. این مدل معمولاً یک نسخه تقطیر شده از مدل هدف یا مدل کوچکتر دیگری است که برای سرعت آموزش دیده است. خروجی مدل پیش نویس نهایی نیست اما به عنوان یک پیشنهاد عمل می کند.
مرحله دوم شامل مدل هدف بزرگتر و دقیق تر است که توکن های مدل پیش نویس را ارزیابی می کند. مدل هدف یا توکن های پیشنهادی را در صورت رسیدن به آستانه اطمینان می پذیرد یا در صورت رسیدن به آن، آنها را اصلاح می کند…