نحوه دریافت پاسخ از مدل های محلی LLM با پایتون

مقدمه

پس از راه‌اندازی مدل LLM محلی خود با LM Studio (همانطور که در مقاله قبلی من توضیح داده شد)، مرحله بعدی تعامل برنامه‌نویسی با آن با استفاده از پایتون است. این مقاله به شما نشان می دهد که چگونه یک رابط پایتون ساده و در عین حال قدرتمند برای LLM محلی خود ایجاد کنید.

مرحله 1: سیستم LLM محلی خود را راه اندازی کنید

قبل از اجرای کد پایتون، مطمئن شوید که سیستم LLM محلی شما آماده و در حال اجرا است. اکثر سیستم ها یک RESTful API یا یک رابط مشابه را برای تعامل در معرض نمایش می گذارند.

به عنوان مثال، LM Studio یا ابزارهای مشابه ممکن است یک نقطه پایانی محلی ارائه دهند. می توانید آدرس سرور محلی خود و نقاط پایانی پشتیبانی شده را در رابط LM Studio پیدا کنید.

همانطور که می بینید، آدرس سرور محلی است http://127.0.0.1:1234. نقاط پایانی پشتیبانی شده عبارتند از:

  1. http://localhost:1234/v1/models را دریافت کنید
  2. ارسال http://localhost:1234/v1/chat/completions
  3. ارسال http://localhost:1234/v1/completions
  4. POST http://localhost:1234/v1/embeddings

مرحله 2: مدل های موجود را فهرست کنید

نقطه پایانی /v1/models لیست مدل های موجود را بازیابی می کند. در اینجا یک اسکریپت پایه پایتون برای ارسال یک درخواست به LLM محلی شما و دریافت پاسخ وجود دارد.

import requests

LLM_BASE_URL = "http://localhost:1234" # replace with your server address

# Fetch available models
response = requests.get(f"{LLM_BASE_URL}/v1/models")
if response.status_code == 200:
    models =...

Source link