گوگل یک مدل زبان باز و بزرگ را بر اساس فناوری استفاده شده برای ایجاد Gemini منتشر کرد که قدرتمند و در عین حال سبک وزن است و برای استفاده در محیط هایی با منابع محدود مانند لپ تاپ یا زیرساخت ابری بهینه شده است.
Gemma می تواند برای ایجاد یک ربات چت، ابزار تولید محتوا و تقریباً هر چیز دیگری که یک مدل زبان می تواند انجام دهد استفاده شود. این ابزاری است که سئوکاران منتظر آن بوده اند.
این نسخه در دو نسخه یکی با دو میلیارد پارامتر (2B) و دیگری با هفت میلیارد پارامتر (7B) منتشر شده است. تعداد پارامترها پیچیدگی و قابلیت بالقوه مدل را نشان می دهد. مدل‌هایی با پارامترهای بیشتر می‌توانند به درک بهتری از زبان دست یابند و پاسخ‌های پیچیده‌تری ایجاد کنند، اما برای آموزش و اجرا به منابع بیشتری نیز نیاز دارند.
هدف از انتشار Gemma دموکراتیک کردن دسترسی به هوش مصنوعی پیشرفته است که آموزش داده شده است تا از جعبه ایمن و مسئولیت پذیر باشد، با یک جعبه ابزار برای بهینه سازی بیشتر آن برای ایمنی.
منتشر شده به عنوان یک مدل باز (نوعی منبع باز)
Gemma برای استفاده تجاری یا غیرتجاری تحت مجوز باز در دسترس هر کسی است. مجوز باز نوعی از مجوز منبع باز است، با یک تفاوت اصلی این است که مجوز باز با شرایط استفاده همراه است. در این مورد محدودیت هایی وجود دارد که از استفاده آن برای اهداف مخرب جلوگیری می کند.
گوگل در مورد آن در وبلاگ منبع باز خود پست کرد و توضیح داد که مجوزهای منبع باز به طور کلی آزادی کامل در انتخاب نحوه استفاده از فناوری ها را فراهم می کنند. اما آنها احساس می‌کنند که با فناوری هوش مصنوعی، انتشار مدل‌های هوش مصنوعی تحت یک نوع منبع باز به نام مجوز باز که اجازه استفاده رایگان را می‌دهد اما استفاده از آن را در راه‌های مضر محدود می‌کند، انتخاب مسئولانه‌تری است و در غیر این صورت به کاربران استقلال می‌دهد تا با این فناوری نوآوری کنند. .
توضیح دهنده منبع باز درباره Gemma توضیح می دهد:
شرایط استفاده از مدل‌های Gemma آنها را برای توسعه‌دهندگان، محققان و کاربران تجاری به‌صورت رایگان برای دسترسی و توزیع مجدد در دسترس قرار می‌دهد. کاربران همچنین برای ایجاد و انتشار انواع مدل آزاد هستند. در استفاده از مدل‌های Gemma، توسعه‌دهندگان موافقت می‌کنند که از استفاده‌های مضر اجتناب کنند، که نشان دهنده تعهد ما به توسعه مسئولانه هوش مصنوعی و در عین حال افزایش دسترسی به این فناوری است.
نوک کلاه به داون اندرسون (@dawnieando) برای اشاره به آن تمایز!
Gemma توسط DeepMind
این مدل به گونه ای طراحی شده است که سبک وزن و کارآمد باشد که آن را برای دستیابی به دستان بیشتر کاربران نهایی ایده آل می کند.
اعلامیه رسمی گوگل به نکات کلیدی زیر اشاره کرد:
- ما وزن های مدل را در دو اندازه منتشر می کنیم: Gemma 2B و Gemma 7B. هر اندازه با انواع از پیش آموزش دیده و تنظیم شده توسط دستورالعمل منتشر می شود.
- یک جعبه ابزار جدید AI Generative Responsible رهنمودها و ابزارهای ضروری را برای ایجاد برنامه های کاربردی هوش مصنوعی ایمن تر با Gemma ارائه می دهد.
- ما زنجیره‌های ابزاری را برای استنتاج و تنظیم دقیق (SFT) در تمام چارچوب‌های اصلی: JAX، PyTorch، و TensorFlow از طریق Keras 3.0 بومی ارائه می‌کنیم.
- نوت‌بوک‌های آماده برای استفاده Colab و Kaggle، در کنار ادغام با ابزارهای محبوبی مانند Hugging Face، MaxText، NVIDIA NeMo و TensorRT-LLM، شروع کار با Gemma را آسان می‌کند.
- مدل‌های Gemma از پیش آموزش‌دیده و تنظیم‌شده می‌توانند روی لپ‌تاپ، ایستگاه کاری یا Google Cloud شما با استقرار آسان در Vertex AI و Google Kubernetes Engine (GKE) اجرا شوند.
- بهینه‌سازی در چندین پلت‌فرم سخت‌افزاری هوش مصنوعی، عملکرد پیشرو در صنعت، از جمله پردازنده‌های گرافیکی NVIDIA و Google Cloud TPU را تضمین می‌کند.
- شرایط استفاده اجازه استفاده تجاری و توزیع مسئولانه را برای همه سازمان ها، صرف نظر از اندازه، می دهد.
تجزیه و تحلیل جما
بر اساس تحلیلی که توسط Awni Hannun، دانشمند تحقیقاتی یادگیری ماشین در اپل انجام شده است، Gemma به گونه ای بهینه شده است که بسیار کارآمد باشد به گونه ای که برای استفاده در محیط های کم منابع مناسب باشد.
هانون مشاهده کرد که جما دارای واژگان 250000 (250k) توکن در مقابل 32k برای مدل های مشابه است. اهمیت آن در این است که Gemma می تواند طیف وسیع تری از کلمات را شناسایی و پردازش کند و به آن اجازه می دهد وظایف را با زبان پیچیده انجام دهد. تحلیل او نشان می دهد که این واژگان گسترده، تطبیق پذیری مدل را در انواع مختلف محتوا افزایش می دهد. او همچنین معتقد است که ممکن است به ریاضی، کد و سایر روش‌ها کمک کند.
همچنین اشاره شد که “وزن های تعبیه شده” عظیم هستند (750 میلیون). وزن‌های تعبیه‌شده اشاره‌ای به پارامترهایی هستند که به نگاشت کلمات به نمایش معانی و روابط آنها کمک می‌کنند.
یکی از ویژگی‌های مهمی که او به آن اشاره کرد این است که وزن‌های تعبیه‌شده، که اطلاعات دقیق درباره معانی و روابط کلمات را رمزگذاری می‌کنند، نه تنها در پردازش بخش ورودی، بلکه در تولید خروجی مدل نیز استفاده می‌شوند. این اشتراک‌گذاری، کارایی مدل را بهبود می‌بخشد و به آن اجازه می‌دهد تا درک بهتری از زبان را هنگام تولید متن اعمال کند.
برای کاربران نهایی، این به معنای پاسخ‌های (محتوا) دقیق‌تر، مرتبط‌تر و مناسب‌تر از مدل است که استفاده از آن را در تولید محتوا و همچنین برای چت‌بات‌ها و ترجمه‌ها بهبود می‌بخشد.
او توییت کرد:
این لغت در مقایسه با سایر مدل‌های منبع باز بسیار بزرگ است: 250K در مقابل 32k برای Mistral 7B
شاید به ریاضی / کد / روش های دیگر با دم سنگین نمادها کمک زیادی کند.
همچنین وزنه های تعبیه شده بزرگ هستند (حدود 750 میلیون پارامتر)، بنابراین با هد خروجی به اشتراک گذاشته می شوند.
در یک توییت بعدی، او همچنین به بهینه‌سازی در آموزش اشاره کرد که به طور بالقوه به پاسخ‌های مدل دقیق‌تر و دقیق‌تر تبدیل می‌شود، زیرا مدل را قادر می‌سازد تا در مرحله آموزش به طور مؤثرتری یاد بگیرد و سازگار شود.
او توییت کرد:
«وزن نرمال RMS دارای یک افست واحد است.
به جای “x * وزن” آنها “x * (1 + وزن)” را انجام می دهند.
من فرض می کنم این یک بهینه سازی آموزشی است. معمولاً وزن به 1 مقداردهی اولیه می شود، اما احتمالاً نزدیک به 0 مقداردهی اولیه می شود. مشابه هر پارامتر دیگری.
او ادامه داد که بهینه‌سازی‌های بیشتری در داده‌ها و آموزش وجود دارد، اما این دو عامل هستند که به‌ویژه برجسته هستند.
طراحی شده تا ایمن و مسئولیت پذیر باشد
یک ویژگی کلیدی مهم این است که از ابتدا برای ایمن بودن طراحی شده است که آن را برای استقرار برای استفاده ایده آل می کند. داده های آموزشی برای حذف اطلاعات شخصی و حساس فیلتر شد. گوگل همچنین از یادگیری تقویتی از بازخورد انسانی (RLHF) برای آموزش این مدل برای رفتار مسئولانه استفاده کرد.
بیشتر با تیم‌سازی مجدد دستی، آزمایش خودکار و قابلیت‌های فعالیت‌های ناخواسته و خطرناک بررسی شد.
گوگل همچنین یک جعبه ابزار برای کمک به کاربران نهایی برای بهبود بیشتر ایمنی منتشر کرد:
ما همچنین با Gemma یک Toolkit جدید هوش مصنوعی مولد مسئولیت‌پذیر را منتشر می‌کنیم تا به توسعه‌دهندگان و محققان کمک کنیم تا برنامه‌های هوش مصنوعی ایمن و مسئولانه را در اولویت قرار دهند. جعبه ابزار شامل:
- طبقه بندی ایمنی: ما یک روش جدید برای ساخت طبقه بندی کننده های ایمنی قوی با حداقل نمونه ها ارائه می دهیم.
- اشکال زدایی: یک ابزار اشکال زدایی مدل به شما کمک می کند رفتار جما را بررسی کنید و به مشکلات احتمالی رسیدگی کنید.
- راهنمایی: می‌توانید بر اساس تجربه Google در توسعه و استقرار مدل‌های زبان بزرگ، به بهترین شیوه‌ها برای سازندگان مدل دسترسی داشته باشید.
اطلاعیه رسمی گوگل را بخوانید:
Gemma: معرفی جدیدترین مدل های باز
تصویر ویژه توسط Shutterstock/Photo For Everything