استقرار مدل های یادگیری عمیق با سرور مدل

سرور مدل یک وب سرور است که میزبان مدل یادگیری عمیق است و امکان دسترسی به آن را از طریق پروتکل های شبکه استاندارد فراهم می کند. سرور مدل تا زمانی که دستگاه ها از طریق یک شبکه مشترک متصل باشند، قابل دسترسی است. در این نوشته، ما بخشی از استقرار را بررسی خواهیم کرد که با میزبانی مدل یادگیری عمیق سروکار دارد تا آن را در سراسر وب برای استنتاج در دسترس قرار دهد، که به عنوان سرورهای مدل شناخته می شود. در این مثال، ما با تصاویر سروکار خواهیم داشت: REST API request-response و gRPC API. ابتدا یاد می گیریم که چگونه خودمان را بسازیم و سپس سرور استنتاج تریتون (توسط Nvidia) را بررسی می کنیم.