هر بار که یک تلفن Pixel جدید عرضه می‌شود، ممکن است بشنوید که «پردازش روی دستگاه» ویژگی‌های جدید جالب آن را ممکن می‌کند. فقط نگاهی به تلفن‌های جدید پیکسل 9 بیندازید – چیزهایی مانند Pixel Studio و Call Notes روی دستگاه اجرا می‌شوند. و این فقط تلفن‌ها نیستند: دوربین‌های Nest، ساعت‌های هوشمند Pixel و دستگاه‌های Fitbit نیز از این کل استفاده می‌کنند. پردازش روی دستگاه. با توجه به دستگاه‌هایی که از آن استفاده می‌کنند و ویژگی‌هایی که از آن استفاده می‌کنند، بسیار مهم به نظر می‌رسد.
می‌توان فرض کرد که پردازش روی دستگاه اتفاق می‌افتد. اما برای درک بهتر معنای آن، با Trystan Upstill صحبت کردیم که نزدیک به 20 سال در Google بوده و روی تیم‌های مهندسی در سراسر Android، Google News و Search کار می‌کند.
شما در تیمی بودید که به توسعه برخی از ویژگی‌های هیجان‌انگیز که با دستگاه‌های پیکسل جدید ما عرضه می‌شد کمک کرد.
اخیراً، من در Android کار کردم و در آنجا تیمی را رهبری کردم که بر روی ادغام پشته‌های مختلف فناوری Google در یک تجربه شگفت‌انگیز که برای کاربر معنادار است، تمرکز می‌کردم. سپس دریابید که چگونه آن را بسازید و ارسال کنید.
از آنجایی که ما اغلب در حال بهبود فناوری‌ها و معرفی فناوری‌های جدید هستیم، به نظر می‌رسد که این یک کار بی‌پایان است.
دقیقا! در سال‌های اخیر، این انفجار در قابلیت‌های هوش مصنوعی مولد رخ داده است. در ابتدا وقتی شروع به فکر کردن در مورد اجرای مدل‌های زبان بزرگ روی دستگاه‌ها کردیم، فکر کردیم که این یک جوک است – مثلاً «مطمئناً می‌توانیم این کار را انجام دهیم، اما شاید تا سال 2026.» اما سپس شروع به بررسی آن کردیم و عملکرد فناوری آنقدر سریع تکامل یافت که توانستیم ویژگی‌هایی را با استفاده از Gemini Nano، مدل روی دستگاه خود، در Pixel 8 Pro در دسامبر 2023 راه‌اندازی کنیم.
این چیزی است که من می‌خواهم درباره آن بیشتر بدانم: «پردازش روی دستگاه».
پردازنده اصلی یا سیستم روی یک تراشه (SoC)، در دستگاه‌های شما، تعدادی از واحدهای پردازش نامیده می‌شود که به طور خاص برای انجام وظایفی که می‌خواهید با آن دستگاه انجام دهید، طراحی شده‌اند. به همین دلیل است که تراشه (مانند تراشه Tensor موجود در پیکسل) را می‌بینید که به آن «سیستم روی یک تراشه» گفته می‌شود: فقط یک پردازنده وجود ندارد، بلکه چندین واحد پردازش، حافظه، رابط‌ها و موارد دیگر، همه با هم وجود دارد. روی یک تکه سیلیکون
بیایید از تلفن های هوشمند Pixel به عنوان مثال استفاده کنیم: واحدهای پردازشی شامل یک واحد پردازش مرکزی یا CPU به عنوان «موتور» اصلی هستند. یک واحد پردازش گرافیکی یا GPU که تصاویر را ارائه می کند. و اکنون ما یک واحد پردازش تنسور یا TPU داریم که مخصوصاً توسط Google برای اجرای بارهای کاری AI/ML بر روی یک دستگاه طراحی شده است. همه اینها با هم کار می کنند تا به تلفن شما کمک کنند تا کارها را انجام دهد – یا همان پردازش.
برای مثال، وقتی عکس می‌گیرید، اغلب از تمام عناصر قدرت پردازش گوشی خود برای تأثیرگذاری خوب استفاده می‌کنید. CPU مشغول اجرای وظایف اصلی است که کارهای تلفن را کنترل می کند، GPU به ارائه آنچه لنز می بیند کمک می کند و در یک دستگاه اندرویدی ممتاز مانند Pixel، کارهای زیادی روی TPU برای پردازش در حال انجام است. آنچه که لنز نوری می بیند تا عکس های شما عالی به نظر برسد.
متوجه شدم. پردازش «روی دستگاه» به معنای وجود خارج از دستگاه است. «پردازش خارج از دستگاه» دقیقاً کجا اتفاق می‌افتد؟
پردازش خارج از دستگاه در فضای ابری اتفاق می افتد. دستگاه شما به اینترنت متصل می شود و درخواست شما را به سرورهایی در جاهای دیگر می فرستد که این کار را انجام می دهند و سپس خروجی را به تلفن شما ارسال می کنند. بنابراین اگر می‌خواهیم این فرآیند را انجام دهیم و آن را روی دستگاه انجام دهیم، باید مدل بزرگ یادگیری ماشینی را انتخاب کنیم که این کار را در فضای ابری تامین می‌کند و آن را کوچک‌تر و کارآمدتر می‌کنیم تا بتواند روی دستگاه شما اجرا شود. سیستم و سخت افزار
چه سخت افزاری این امکان را فراهم می کند؟
چیپست های جدید و قدرتمندتر به عنوان مثال، با پیکسل 9 پرو، این به لطف SoC ما به نام Tensor G4 اتفاق می افتد. Tensor G4 این تلفن ها را قادر می سازد تا مدل هایی مانند Gemini Nano را اجرا کنند – قادر به انجام این محاسبات با عملکرد بالا است.
بنابراین اساسا، Tensor به طور خاص برای اجرای هوش مصنوعی گوگل طراحی شده است همچنین چیزی که بسیاری از قابلیت‌های هوش مصنوعی نسل جدید Pixel را تقویت می‌کند.
درسته! و ویژگی‌های مولد هوش مصنوعی قطعاً بخشی از آن هستند، اما بسیاری از چیزهای دیگر نیز وجود دارد که پردازش روی دستگاه امکان‌پذیر است. رندر کردن ویدیو، بازی کردن، ویرایش عکس HDR، ترجمه زبان – بیشتر هر کاری که با گوشی خود انجام می دهید. همه اینها روی تلفن شما اتفاق می‌افتد و برای پردازش به سرور ارسال نمی‌شود.