LLM ها بر دانش زمینه ای بیش از دانش پس زمینه تکیه می کنند

فقدان تفاوت‌های آماری معنی‌دار (شکل 7) در دقت بین مجموعه داده‌های بیولوژیکی واقعی و مصنوعی در طرح‌های مدوس پون‌های تعمیم‌یافته و مدوس تولن‌های تعمیم‌یافته نشان می‌دهد که قابلیت‌های استدلال مدل‌ها بیشتر بر دانش زمینه‌ای و ساختار منطقی بیان‌شده تکیه می‌کند تا بر پیشینه از پیش موجود. دانش این هم برای دقت و هم برای دقت استدلال، و هم در تنظیمات ZS و FS صادق است: مدل‌هایی که در یک طرح معین به خوبی عمل می‌کنند، حتی زمانی که نام‌های ژن واقعی با نام‌های مصنوعی جایگزین می‌شوند، عملکرد خود را حفظ می‌کنند، و یکسانی برای مدل‌ها مشاهده می‌شود. با عملکرد ضعیف تر این توانایی برای حفظ دقت با نام‌های ژن مصنوعی در مجموعه مصنوعی نشان می‌دهد که مدل‌ها می‌توانند استدلال منطقی را مستقل از دانش درونی دامنه خاص خود انتزاع و اعمال کنند.

نویسندگان:

(1) Magdalena Wysocka، مرکز ملی نشانگر زیستی، CRUK-MI، دانشگاه. منچستر، بریتانیا؛

(2) Danilo S. Carvalho، مرکز ملی نشانگر زیستی، CRUK-MI، Univ. منچستر، انگلستان و گروه علوم کامپیوتر، دانشگاه. منچستر، بریتانیا؛

(3) Oskar Wysocki، مرکز ملی نشانگر زیستی، CRUK-MI، دانشگاه. منچستر، بریتانیا و پادشاهی دیگر 3 I;

(4) مارکو والنتینو، موسسه تحقیقاتی Idiap، …

Source link