هفت مدل GPT منبع باز رایگان منتشر شد

از

شرکت Cerebras هوش مصنوعی سیلیکون ولی هفت مدل GPT منبع باز را منتشر کرد تا جایگزینی برای سیستم‌های کاملاً کنترل شده و اختصاصی موجود امروزی ارائه کند.

مدل‌های GPT منبع باز رایگان، شامل وزن‌ها و دستور العمل آموزشی، تحت مجوز بسیار مجاز Apache 2.0 توسط Cerebras، یک زیرساخت هوش مصنوعی مبتنی بر دره سیلیکون برای شرکت برنامه‌های هوش مصنوعی منتشر شده‌اند.

تا حدی، هفت مدل GPT اثباتی بر مفهوم ابررایانه هوش مصنوعی Cerebras Andromeda هستند.

زیرساخت Cerebras به مشتریان خود، مانند Jasper AI Copywriter، اجازه می دهد تا به سرعت مدل های زبان سفارشی خود را آموزش دهند.

یک پست وبلاگ Cerebras در مورد فناوری سخت افزار اشاره کرد:

ما تمام مدل‌های Cerebras-GPT را بر روی یک کلاستر 16x CS-2 Cerebras Wafer-Scale به نام Andromeda آموزش دادیم.

این خوشه تمام آزمایش‌ها را به سرعت، بدون مهندسی سیستم‌های توزیع شده سنتی و تنظیم موازی مدل مورد نیاز در خوشه‌های GPU، قادر می‌سازد.

مهمتر از همه، محققان ما را قادر می سازد تا به جای سیستم توزیع شده، روی طراحی ML تمرکز کنند. ما معتقدیم که قابلیت آموزش آسان مدل‌های بزرگ یک عامل کلیدی برای جامعه گسترده است، بنابراین ما Cluster ویفر مقیاس Cerebras را از طریق استودیوی مدل Cerebras AI در فضای ابری در دسترس قرار دادیم.

مدل‌های GPT و شفافیت مغزی

Cerebras تمرکز مالکیت فناوری هوش مصنوعی را به چند شرکت به عنوان دلیلی برای ایجاد هفت مدل GPT منبع باز ذکر می کند.

OpenAI، Meta و Deepmind مقدار زیادی اطلاعات در مورد سیستم های خود را خصوصی نگه می دارند و به شدت کنترل می شوند، که نوآوری را به هر کاری که سه شرکت تصمیم بگیرند دیگران با داده های خود انجام دهند محدود می کند.

آیا یک سیستم منبع بسته برای نوآوری در هوش مصنوعی بهترین است؟ یا منبع باز آینده است؟

Cerebras می نویسد:

برای اینکه LLM ها یک فناوری باز و در دسترس باشند، ما معتقدیم که دسترسی به مدل های پیشرفته که هم برای تحقیقات و هم برای کاربردهای تجاری باز، قابل تکرار و بدون حق امتیاز هستند، مهم است.

برای این منظور، ما خانواده‌ای از مدل‌های ترانسفورماتور را با استفاده از جدیدترین تکنیک‌ها و مجموعه داده‌های باز که Cerebras-GPT می‌نامیم، آموزش داده‌ایم.

این مدل‌ها اولین خانواده مدل‌های GPT هستند که با استفاده از فرمول چینچیلا آموزش دیده‌اند و از طریق مجوز آپاچی 2.0 منتشر شده‌اند.

بنابراین این هفت مدل در Hugging Face و GitHub برای تشویق تحقیقات بیشتر از طریق دسترسی آزاد به فناوری هوش مصنوعی منتشر شده‌اند.

این مدل ها با ابررایانه هوش مصنوعی Andromeda Cerebras آموزش داده شدند، فرآیندی که انجام آن تنها هفته ها طول کشید.

Cerebras-GPT کاملاً باز و شفاف است، برخلاف آخرین مدل‌های GPT از OpenAI (GPT-4)، Deepmind و Meta OPT.

OpenAI و Deepmind Chinchilla مجوزی برای استفاده از مدل ها ارائه نمی دهند. Meta OPT فقط یک مجوز غیر تجاری ارائه می دهد.

GPT-4 OpenAI مطلقاً هیچ شفافیتی در مورد داده های آموزشی آنها ندارد. آیا آنها از داده های Common Crawl استفاده کردند؟ آیا آنها اینترنت را خراش دادند و مجموعه داده های خود را ایجاد کردند؟

OpenAI این اطلاعات (و بیشتر) را مخفی نگه می دارد، که برخلاف رویکرد Cerebras-GPT که کاملاً شفاف است.

موارد زیر کاملاً باز و شفاف است:

  • معماری مدل
  • داده های آموزشی
  • وزنه های مدل
  • ایست های بازرسی
  • محاسبه وضعیت آموزش بهینه (بله)
  • مجوز استفاده: مجوز آپاچی 2.0

این هفت نسخه در مدل های 111M، 256M، 590M، 1.3B، 2.7B، 6.7B و 13B عرضه می شوند.

IT اعلام شد:

محققان سربراس برای اولین بار در میان شرکت‌های سخت‌افزاری هوش مصنوعی، مجموعه‌ای از هفت مدل GPT با پارامترهای 111M، 256M، 590M، 1.3B، 2.7B، 6.7B، و 13B را بر روی ابررایانه هوش مصنوعی Andromeda آموزش دادند.

به طور معمول یک تعهد چند ماهه، این کار به لطف سرعت باورنکردنی سیستم‌های Cerebras CS-2 که آندرومدا را تشکیل می‌دهند، و توانایی معماری جریان وزن Cerebras برای از بین بردن دردسرهای محاسباتی توزیع‌شده، در چند هفته تکمیل شد.

این نتایج نشان می‌دهد که سیستم‌های Cerebras می‌توانند بزرگترین و پیچیده‌ترین حجم‌های کاری هوش مصنوعی را امروز آموزش دهند.

این اولین بار است که مجموعه‌ای از مدل‌های GPT که با استفاده از تکنیک‌های کارآمد آموزشی آموزش داده شده‌اند، عمومی می‌شوند.

این مدل‌ها برای یک بودجه محاسباتی با بالاترین دقت آموزش داده می‌شوند (یعنی آموزش کارآمد با استفاده از دستور چینچیلا) بنابراین نسبت به مدل‌های عمومی موجود زمان آموزش کمتر، هزینه آموزش کمتر و انرژی کمتری مصرف می‌کنند.»

AI منبع باز

بنیاد موزیلا، سازندگان نرم‌افزار متن‌باز فایرفاکس، شرکتی به نام Mozilla.ai را راه‌اندازی کرده است تا سیستم‌های GPT و توصیه‌کننده منبع باز بسازد که قابل اعتماد هستند و به حریم خصوصی احترام می‌گذارند.

Databricks همچنین اخیرا یک GPT Clone منبع باز به نام Dolly منتشر کرده است که هدف آن دموکراتیک کردن “جادوی ChatGPT” است.

علاوه بر آن هفت مدل Cerebras GPT، شرکت دیگری به نام Nomic AI، GPT4All را منتشر کرد، یک GPT منبع باز که می تواند روی لپ تاپ اجرا شود.

جنبش AI منبع باز در مرحله نوپایی است اما در حال افزایش است.

فناوری GPT در حال ایجاد تغییرات عظیم در بین صنایع است و ممکن است، شاید اجتناب ناپذیر، مشارکت های منبع باز ممکن است چهره صنایعی را که این تغییر را هدایت می کنند، تغییر دهد.

اگر جنبش منبع باز با این سرعت به پیشرفت خود ادامه دهد، ممکن است شاهد تغییری در نوآوری هوش مصنوعی باشیم که مانع از تمرکز آن در دست چند شرکت بزرگ شود.

اطلاعیه رسمی را بخوانید:

Cerebras Systems هفت مدل جدید GPT را منتشر کرد که بر روی سیستم‌های مقیاس ویفر CS-2 آموزش دیده بودند

تصویر برجسته توسط Shutterstock/Merkushev Vasiliy