مقدمه
پس از راهاندازی مدل LLM محلی خود با LM Studio (همانطور که در مقاله قبلی من توضیح داده شد)، مرحله بعدی تعامل برنامهنویسی با آن با استفاده از پایتون است. این مقاله به شما نشان می دهد که چگونه یک رابط پایتون ساده و در عین حال قدرتمند برای LLM محلی خود ایجاد کنید.
مرحله 1: سیستم LLM محلی خود را راه اندازی کنید
قبل از اجرای کد پایتون، مطمئن شوید که سیستم LLM محلی شما آماده و در حال اجرا است. اکثر سیستم ها یک RESTful API یا یک رابط مشابه را برای تعامل در معرض نمایش می گذارند.
به عنوان مثال، LM Studio یا ابزارهای مشابه ممکن است یک نقطه پایانی محلی ارائه دهند. می توانید آدرس سرور محلی خود و نقاط پایانی پشتیبانی شده را در رابط LM Studio پیدا کنید.
همانطور که می بینید، آدرس سرور محلی است http://127.0.0.1:1234
. نقاط پایانی پشتیبانی شده عبارتند از:
- http://localhost:1234/v1/models را دریافت کنید
- ارسال http://localhost:1234/v1/chat/completions
- ارسال http://localhost:1234/v1/completions
- POST http://localhost:1234/v1/embeddings
مرحله 2: مدل های موجود را فهرست کنید
نقطه پایانی /v1/models لیست مدل های موجود را بازیابی می کند. در اینجا یک اسکریپت پایه پایتون برای ارسال یک درخواست به LLM محلی شما و دریافت پاسخ وجود دارد.
import requests
LLM_BASE_URL = "http://localhost:1234" # replace with your server address
# Fetch available models
response = requests.get(f"{LLM_BASE_URL}/v1/models")
if response.status_code == 200:
models =...