چگونه LLMs on the Edge می تواند به حل مشکل مرکز داده هوش مصنوعی کمک کند

پوشش های زیادی در مورد وجود داشته است مشکلی که هوش مصنوعی برای قدرت مرکز داده ایجاد می کند. یکی از راه‌های کاهش فشار، استفاده از «LLMs on the edge» است که سیستم‌های هوش مصنوعی را قادر می‌سازد به صورت بومی روی رایانه‌های شخصی، تبلت‌ها، لپ‌تاپ‌ها و تلفن‌های هوشمند اجرا شوند.

مزایای آشکار LLM در لبه شامل کاهش هزینه آموزش LLM، کاهش تاخیر در پرس و جو از LLM، افزایش حریم خصوصی کاربر و بهبود قابلیت اطمینان است.

اگر آنها قادر به کاهش فشار بر روی مراکز داده با کاهش نیاز به توان پردازشی باشند، LLM های لبه می توانند این پتانسیل را داشته باشند که نیاز به مقیاس چند گیگاواتی را از بین ببرند. کارخانه های مرکز داده هوش مصنوعی. اما آیا این رویکرد واقعا امکان پذیر است؟

با بحث های رو به رشد در مورد انتقال LLM هایی که زیربنای هوش مصنوعی مولد هستند لبه، ما نگاهی دقیق تر به این می اندازیم که آیا این تغییر واقعاً می تواند فشار مرکز داده را کاهش دهد یا خیر.

گوشی‌های هوشمند در Edge AI پیشرو هستند

مایکل آزوف، تحلیلگر ارشد مرکز تحقیقات ابری و داده در Omdia، می‌گوید کیس استفاده از هوش مصنوعی روی لبه که سریع‌ترین حرکت را دارد، LLM‌های سبک وزن در گوشی‌های هوشمند است.

هواوی اندازه های مختلفی از آن را توسعه داده است LLM Pangu 5.0 و کوچکترین نسخه با سیستم عامل گوشی های هوشمند آن یعنی HarmonyOS ادغام شده است. دستگاه هایی که این را اجرا می کنند عبارتند از هواوی میت 30 پرو 5G.

در همین حال سامسونگ توسعه داده است گاوس LLM که در Samsung Galaxy AI استفاده می شود که در گوشی هوشمند پرچمدار سامسونگ S24 خود کار می کند. ویژگی های هوش مصنوعی آن عبارتند از ترجمه زنده، تبدیل صدا به متن و خلاصه کردن یادداشت ها، دایره برای جستجو، و کمک به عکس و پیام.

مرتبط:مایکروسافت و بلک راک صندوق سرمایه گذاری 30 میلیارد دلاری مرکز داده هوش مصنوعی را راه اندازی کردند

سامسونگ نیز به تولید انبوه آن رفته است LPDDR5X DRAM نیمه هادی ها این تراشه‌های 12 نانومتری بارهای کاری حافظه را مستقیماً روی دستگاه پردازش می‌کنند و سیستم عامل تلفن را قادر می‌سازد تا سریع‌تر با دستگاه‌های ذخیره‌سازی کار کند تا کارآمدتر کار کند. هوش مصنوعی حجم کار

چگونه LLMs on the Edge می تواند به حل مشکل مرکز داده هوش مصنوعی کمک کند

به طور کلی، سازندگان گوشی های هوشمند سخت در تلاش هستند تا LLM ها را کوچکتر کنند. به جای 175 میلیارد پارامتر ChatGPT-3، آنها سعی می کنند آنها را به حدود دو میلیارد پارامتر کاهش دهند.

اینتل و AMD نیز در زمینه هوش مصنوعی درگیر هستند. AMD در حال کار بر روی تراشه های نوت بوک است که قادر به اجرای LLM های 30 میلیارد پارامتری به صورت محلی با سرعت هستند. به طور مشابه، اینتل یک اکوسیستم شریکی را مونتاژ کرده است که سخت در حال توسعه آن است کامپیوتر هوش مصنوعی. این دستگاه‌های مجهز به هوش مصنوعی ممکن است گران‌تر از مدل‌های معمولی باشند. اما نشانه‌گذاری ممکن است آنطور که انتظار می‌رود بالا نباشد، و احتمالاً با افزایش پذیرش به شدت کاهش می‌یابد.

آزوف گفت: «بخش گران‌قیمت هوش مصنوعی در لبه، بیشتر بر روی آموزش است دانش مرکز داده. یک مدل آموزش دیده که در حالت استنتاج استفاده می شود، برای اجرا به تجهیزات گران قیمت نیاز ندارد.

مرتبط:ردیابی رشد بازار مرکز داده Edge Colocation

او معتقد است که استقرار اولیه احتمالاً برای سناریوهایی است که در آن خطاها و “توهمات” چندان اهمیتی ندارند و بعید است که خطر آسیب زیادی به شهرت وجود داشته باشد.

به عنوان مثال می توان به موتورهای توصیه پیشرفته، جستجوهای اینترنتی مبتنی بر هوش مصنوعی و ایجاد تصاویر یا طرح ها اشاره کرد. در اینجا، کاربران برای شناسایی پاسخ‌های مشکوک یا تصاویر و طرح‌هایی که نمایش ضعیفی دارند، مورد اعتماد قرار می‌گیرند.

مفاهیم مرکز داده برای LLM ها در لبه

با توجه به اینکه مراکز داده در حال آماده شدن برای افزایش شدید تراکم و نیازهای انرژی برای حمایت از رشد هوش مصنوعی هستند، LLM های در حال پیشرفت چه معنایی برای تأسیسات زیرساخت دیجیتال می توانند داشته باشند؟

در آینده قابل پیش‌بینی، مدل‌هایی که روی لبه اجرا می‌شوند در مرکز داده آموزش خواهند دید. بنابراین، ترافیک سنگینی که در حال حاضر به مراکز داده از طریق هوش مصنوعی وارد می شود، بعید است در کوتاه مدت کاهش یابد. اما مدل هایی که در مراکز داده آموزش داده می شوند در حال تغییر هستند. بله، موارد عظیمی مانند OpenAI، گوگل و آمازون ادامه خواهند داشت. اما LLMهای کوچکتر و متمرکزتر در حال پیشرفت هستند.

آرون چاندراسکاران، تحلیلگر گارتنر، گفت: «تا سال 2027، بیش از 50 درصد از مدل‌های GenAI که شرکت‌ها از آن استفاده می‌کنند مختص یک صنعت یا عملکرد تجاری خواهد بود – از حدود 1 درصد در سال 2023.» دانش مرکز داده. مدل‌های دامنه می‌توانند کوچک‌تر، محاسباتی کمتری داشته باشند و خطرات توهم مرتبط با مدل‌های همه‌منظوره را کاهش دهند.»

مرتبط:مرکز داده بازیابی فاجعه: اقدامات ضروری برای تداوم کسب و کار

کار توسعه‌ای که برای کاهش اندازه و شدت پردازش GenAI انجام می‌شود، به LLM‌های لبه‌ای حتی کارآمدتر که می‌توانند روی طیف وسیعی از دستگاه‌ها اجرا شوند، سرایت می‌کند. هنگامی که LLM های لبه شتاب بیشتری پیدا می کنند، قول می دهند میزان پردازش هوش مصنوعی را که باید در یک مرکز داده متمرکز انجام شود، کاهش دهند. همه چیز مربوط به مقیاس است.

در حال حاضر، آموزش LLM تا حد زیادی بر GenAI غالب است، زیرا مدل ها هنوز در حال ایجاد یا اصلاح هستند. اما تصور کنید که صدها میلیون کاربر از LLM به صورت محلی در تلفن‌های هوشمند و رایانه‌های شخصی استفاده می‌کنند و درخواست‌ها باید از طریق مراکز داده بزرگ پردازش شوند. در مقیاس، این میزان ترافیک می تواند مراکز داده را تحت الشعاع قرار دهد. بنابراین، ارزش LLM ها در لبه ممکن است تا زمانی که وارد جریان اصلی نشوند، درک نشود.

LLMs on the Edge: امنیت و حریم خصوصی

هر کسی که با یک LLM در فضای ابری تعامل دارد، به طور بالقوه سازمان را در معرض سؤالات حریم خصوصی و احتمال نقض امنیت سایبری قرار می دهد.

از آنجایی که پرس و جوها و درخواست های بیشتری در خارج از شرکت انجام می شود، سؤالاتی در مورد اینکه چه کسی به آن داده دسترسی دارد وجود خواهد داشت. از این گذشته، کاربران از سیستم های هوش مصنوعی انواع سؤالات در مورد سلامت، امور مالی و کسب و کار خود می پرسند.

برای انجام این کار، این کاربران اغلب اطلاعات قابل شناسایی شخصی (PII)، داده های حساس مراقبت های بهداشتی، اطلاعات مشتری یا حتی اسرار شرکت را وارد می کنند.

حرکت به سمت LLM های کوچکتر که می توانند در مرکز داده سازمانی قرار گیرند – و بنابراین در فضای ابری اجرا نمی شوند – یا می توانند روی دستگاه های محلی اجرا شوند، راهی برای دور زدن بسیاری از نگرانی های امنیتی و حریم خصوصی مداوم ناشی از استفاده گسترده از LLM ها است. مانند ChatGPT.

آزوف گفت: “اگر از هوش مصنوعی به عنوان دستیار شخصی خود استفاده می کنید، امنیت و حریم خصوصی در لبه واقعاً مهم است و با اطلاعات محرمانه، اطلاعات حساسی که نمی خواهید عمومی شوند، سروکار دارید.”

جدول زمانی برای Edge LLM

LLM های لبه فوراً آشکار نمی شوند – به جز چند مورد استفاده تخصصی. اما روند لبه غیرقابل توقف به نظر می رسد.

بررسی سخت افزار زیرساخت Forrester نشان داد که 67 درصد از تصمیم گیرندگان سخت افزار زیرساخت در سازمان ها هوش لبه را اتخاذ کرده اند یا در حال انجام این کار هستند. تقریباً از هر سه شرکت، یک شرکت تجزیه و تحلیل هوش مصنوعی محیط‌های لبه را جمع‌آوری و انجام می‌دهد تا کارکنان را با بینش با ارزش بالاتر و سریع‌تر توانمند کند.

Michele Goetz، تحلیلگر بینش تجاری در Forrester Research، گفت: «شرکت‌ها می‌خواهند ورودی‌های مرتبط را از تلفن همراه، اینترنت اشیا و سایر دستگاه‌ها جمع‌آوری کنند تا در صورت درخواست یا نیاز به ارزش بیشتر، بینش‌های مبتنی بر موارد استفاده را به مشتریان ارائه دهند.

ما باید در عرض دو تا سه سال شاهد اجرای LLM های لبه بر روی تلفن های هوشمند و لپ تاپ ها در تعداد زیادی باشیم.

هرس کردن مدل‌ها برای دستیابی به تعداد قابل کنترل‌تری از پارامترها، یکی از راه‌های واضح برای امکان‌پذیرتر کردن آنها در لبه است. علاوه بر این، توسعه دهندگان مدل GenAI را از GPU به CPU تغییر می دهند، ردپای پردازش را کاهش می دهند و استانداردهایی برای کامپایل ایجاد می کنند.

به گفته گوتز، علاوه بر برنامه‌های کاربردی گوشی‌های هوشمند که در بالا ذکر شد، موارد استفاده پیشرو، مواردی هستند که علیرغم اتصال و پهنای باند محدود قابل دستیابی هستند.

مهندسی میدانی و عملیات در صنایعی مانند آب و برق، معدن، و تعمیر و نگهداری حمل و نقل، در حال حاضر مبتنی بر دستگاه شخصی بوده و برای تقویت LLM آماده است. از آنجایی که در چنین برنامه‌های کاربردی LLM لبه‌ای ارزش تجاری وجود دارد، انتظار می‌رود که پرداخت بیشتر برای یک دستگاه یا تلفن با قابلیت LLM مشکل کمتری داشته باشد.

آخرین اخبار سخت افزار مرکز داده را بیشتر بخوانید

استفاده گسترده مصرف کنندگان و تجاری از LLM ها در لبه باید منتظر بمانند تا قیمت سخت افزار با افزایش پذیرش کاهش یابد. به عنوان مثال، اپل ویژن پرو عمدتاً در راه حل های تجاری به کار می رود که در آن برچسب قیمت قابل توجیه است.

سایر موارد استفاده در افق نزدیک شامل مدیریت مخابرات و شبکه، ساختمان های هوشمند و اتوماسیون کارخانه است. به گفته گوتز، موارد پیشرفته‌تر مورد استفاده برای LLMهای در لبه – مانند خرده‌فروشی‌های همهجانبه و وسایل نقلیه خودمختار – باید پنج سال یا بیشتر منتظر بمانند.

این تحلیلگر گفت: «پیش از اینکه شاهد شکوفایی LLM در دستگاه های شخصی باشیم، رشدی در LLM های تخصصی برای صنایع و فرآیندهای تجاری خاص وجود خواهد داشت.

هنگامی که اینها توسعه یافتند، بزرگ‌تر کردن آن‌ها برای پذیرش آسان‌تر است، زیرا شما یک مدل را آموزش نمی‌دهید و تنظیم نمی‌کنید، آن را کوچک نمی‌کنید و همه آن را به طور همزمان به کار نمی‌گیرید.


Source link