یادگیری چند شات یک منطقه فریبنده در پردازش زبان طبیعی (NLP) است، که در آن مدلها برای انجام وظایف تنها با چند نمونه برچسبگذاری شده آموزش میبینند. رویکردهای سنتی معمولاً بر مدلسازی مستقیم احتمال شرطی یک برچسب با توجه به متن ورودی تکیه میکنند. با این حال، این روشها میتوانند ناپایدار باشند، بهویژه زمانی که با دادههای نامتعادل سروکار داریم یا نیاز به تعمیم به برچسبهای دیده نشده است. پیشرفت اخیر در این زمینه است درخواست مدل زبان کانال پر سر و صدا، که از مدل های کلاسیک کانال های پر سر و صدا در ترجمه ماشینی الهام گرفته است تا طبقه بندی متن چند شات را بهبود بخشد.
در اینجا دو مثال عینی از مشکلات در یادگیری چند شات وجود دارد که هدف مدل زبان کانال نویز حل آن است:
مثال 1: داده های نامتعادل در طبقه بندی متون پزشکی
مشکل: تصور کنید در حال توسعه مدلی هستید تا چکیده های تحقیقات پزشکی را به دسته های مختلف طبقه بندی کنید، مانند «قلب و عروق»، «عصب شناسی»، «انکولوژی» و «پزشکی عمومی». در سناریوهای دنیای واقعی، شما اغلب یک مجموعه داده نامتعادل دارید. به عنوان مثال، ممکن است تعداد زیادی چکیده با برچسب در مورد “قلب و عروق” و “عصب شناسی” داشته باشید، اما تعداد بسیار کمی در مورد “انکولوژی” و “پزشکی عمومی” وجود دارد.
رویکرد سنتی: یک مدل یادگیری چند شات سنتی ممکن است مستقیماً احتمال هر دسته را با توجه به …