جدول پیوندها
- چکیده و مقدمه
- SylloBio-NLI
- ارزیابی تجربی
- کار مرتبط
- نتیجه گیری
- محدودیت ها و مراجع
الف. رسمی کردن فرآیند تولید منابع SylloBio-NLI
ب- رسمی سازی وظایف 1 و 2
ج. فرهنگ عضویت ژن و مسیر
D. خط لوله مخصوص دامنه برای ایجاد نمونه های NL و دسترسی E به LLM
F. جزئیات تجربی
ز. معیارهای ارزیابی
H. درخواست LLMs – دستورات صفر شات
I. درخواست LLM – چند اعلان
J. نتایج: دستورالعمل-پاسخ نامناسب
K. نتایج: تأثیر مبهم عوامل حواس پرتی بر استدلال
L. نتایج: مدلها دانش زمینهای را بر دانش زمینه اولویت میدهند
M شکل های تکمیلی و N جداول تکمیلی
J نتایج: دستورالعمل-پاسخ ناهمسو
ما چهار نوع خروجی متن را مشاهده کردیم: خروجی هایی که با دستورالعمل تراز شده بودند (صرف نظر از صحت)، خروجی های خالی که در آن متنی تولید نمی شد، خروجی های متنی نادرست مانند درخواست های مکرر یا محتوای تصادفی، و خروجی هایی شبیه استدلال زنجیره ای از فکر (CoT) که، در حالی که به طور بالقوه حاوی استدلال صحیح است، با دستورالعمل های داده شده مطابقت ندارد (شکل های 8-11). ما متوجه شدیم که BioMistral-7B در 100٪ موارد بدون توجه به تنظیمات خاص خروجی های خالی ایجاد می کند، در حالی که Meta-Llama-3-8B این رفتار را برای تنظیمات ZS نشان می دهد.