چهار سال پیش ، هنگامی که چارلی بویل حدود یک سال به کار خود مشغول بود و واحد Nvidia را تولید می کند و راه حل های سخت افزاری کامل AI را می فروشد ، بسیاری از مدیران فناوری اطلاعات و مراکز داده این کلاس سخت افزاری جدید را مرعوب کردند.
سیستم های Nvidia DGX – اساساً ابر رایانه های AI – بزرگ ، قدرتمند و طلایی رنگ هستند. افرادی که مجبور به پشتیبانی از آنها در مراکز داده خود بودند ، نگران تراکم قدرت سخت افزار بودند و با وجود InfiniBand (یک فناوری اتصال از دنیای ابر رایانه) مرعوب شدند. عموماً ، آنها فکر می کردند که این سیستم ها برای دستیابی به موفقیت نیاز به یادگیری دارند و چه کسی در IT وقت دارد؟
بنابراین ، مکالمه هایی که بویل معمولاً با مشتریان داشت معمولاً با او شروع می شد و توضیح می داد که این سیستمها نه تنها ترس ندارند ، بلکه به گونه ای طراحی شده اند که بیش از تعداد پرسنل فناوری اطلاعات در ساعات معمول کار آنها ، حتی کمتر از آن نیست. سرور مورد نیاز است.
وی گفت: “برای یك مدیر IT ، این فقط یك جعبه بزرگتر لینوكسی است.” “آنها نباید از این ترس داشته باشند. باطنی نیست. “
ما اخیراً با چارلی بویل ، معاون Nvidia و مدیر کل واحد DGX Systems شرکت ، مصاحبه کرده ایم پادکست مرکز داده. ما در مورد معنای ورود سخت افزار هوش مصنوعی برای یک سازمان فناوری اطلاعات و کارکنان مرکز داده آن صحبت کردیم ، نقشی که خنک کننده مایع به طور حتم در مراکز داده آینده بازی خواهد کرد ، تجربه خود انویدیا برای کار با یک خوشه سخت افزاری بزرگ AI در چندین مرکز داده ، محاسبات AI زیرساخت در ابر در مقابل در مقابل در رنگ آمیزی ، و بیشتر.
به کل مکالمه در اینجا یا هر کجا که پادکست گوش می دهید گوش دهید و حتماً مشترک شوید:
خوشه داخلی DGX انویدیا ، که “Saturn 5” نامیده می شود ، اکنون به حدود 3000 سیستم رسیده است. بویل به ما گفت که “توسط تعداد کمی از کارکنان فناوری اطلاعات مدیریت می شود.” سازمان فناوری اطلاعات “کوچکتر از انتظار شما برای سازمانی است که هزاران سرور سطح بالا را اجرا می کند. چون در پایان روز ، همه آنها یکسان هستند. این رویای یک مدیر IT است. “
سخت افزار هوش مصنوعی در مرکز داده
در حالی که برای کارکنان فناوری اطلاعات ، یک سیستم DGX “فقط یک جعبه بزرگتر لینوکس” است ، این زیرساخت لزوما به معنای تجارت معمول مدیران مراکز داده نیست.
“خالی سبز جدید است” ، اینو انویدیا می چرخاند که یک مرکز داده معمولی سازمانی فضای خالی زیادی را در اطراف هر سیستم DGX مستقر داشته باشد ، زیرا احتمالاً در یک قفسه انرژی کافی برای پشتیبانی بیشتر وجود نخواهد داشت از یکی از این جعبه های پر از GPU.
“خالی” و “سبز” در این سناریو بدان معنی است که در حالی که فضای خالی زیادی برای شما باقی مانده است ، فضایی که خالی نیست توسط یک جعبه اشغال می شود که محاسبات کافی برای جایگزینی هزاران سرور جعبه پیتزا Intel x86 دارد ، بویل گفت.
چند سال پیش ، او و همکارانش دوست داشتند بگویند که یک DGX جایگزین صد یا چند صد جعبه x86 شد. آنها دیگر این حرف را نمی زنند. وی گفت: “ما حتی دیگر این مقایسه ها را انجام نمی دهیم ، زیرا در این مرحله تعداد آنها به هزاران نفر رسیده است.”
بله ، یک DGX واحد ممکن است انرژی بسیار بیشتری نسبت به چند سرور جعبه پیتزا داشته باشد که فضای معادل آن را اشغال می کنند ، اما “با برنامه ریزی خوب ، این خیلی مهم نیست … تا زمانی که بتوانید حداقل یکی را جای دهید از این سیستم ها به صورت دندانه دار استفاده کنید. “
روشهای کارآمدتر برای استقرار این سخت افزار شامل تراکم قفسه های بالاتر ، از جمله ، در نهایت قفسه ها با استفاده از برخی از طعم های خنک کننده مایع است. بویل توصیه کرد ، مورد دوم چیزی است که امروز هر کس یک مرکز داده طراحی می کند حداقل باید برنامه ریزی کند تا بتواند در آینده آن را اضافه کند.
گوش کنید (و مشترک شوید!) به پادکست مرکز داده با چارلی بویل انویدیا در پادکست های اپل ، Spotify، Google Podcasts، بخیه، یا هر کجا که پادکست گوش می دهید.