جدول پیوندها
- چکیده و مقدمه
- SylloBio-NLI
- ارزیابی تجربی
- کار مرتبط
- نتیجه گیری
- محدودیت ها و مراجع
الف. رسمی کردن فرآیند تولید منابع SylloBio-NLI
ب- رسمی سازی وظایف 1 و 2
ج. فرهنگ عضویت ژن و مسیر
D. خط لوله مخصوص دامنه برای ایجاد نمونه های NL و دسترسی E به LLM
F. جزئیات تجربی
ز. معیارهای ارزیابی
H. درخواست LLMs – دستورات صفر شات
I. درخواست از LLM – چند اعلان
J. نتایج: دستورالعمل-پاسخ نامناسب
K. نتایج: تأثیر مبهم عوامل حواس پرتی بر استدلال
L. نتایج: مدلها دانش زمینهای را بر دانش زمینه اولویت میدهند
M شکل های تکمیلی و N جداول تکمیلی
3 ارزیابی تجربی
3.1 معماری مدل
ما از روش و منابع پیشنهادی برای ارزیابی ویژگیهای استنتاج NLI قیاسی هشت LLM منبع باز استفاده کردیم. ما طیف وسیعی از معماریها را آزمایش میکنیم، از جمله mistralai/Mistral-7B-v0.1، mistralai/Mistral-7B-Instruct-v0.2 Jiang و همکاران. [2023]mistralai/Mixtral-8x7B-Instruct-v0.1 Mistral [2023]google/gemma-7b, google/gemma-7b-it جما و گوگل [2024]meta-llama/Meta-Llama-3-8B, meta-llama/Meta-Llama-3-8B-Instruct AI@Meta [2024]، BioMistral/BioMistral-7B Labrak و همکاران. [2024]. جزئیات مدل ها، دسترسی ها، پارامترها و دستورات…