درک گرادیان میانگین تصادفی | HackerNoon

گرادیان نزول محبوب‌ترین تکنیک بهینه‌سازی در مدل‌سازی یادگیری ماشین (ML) است. الگوریتم خطای بین مقادیر پیش بینی شده و حقیقت زمین را به حداقل می رساند. از آنجایی که این تکنیک هر نقطه داده را برای درک و به حداقل رساندن خطا در نظر می گیرد، عملکرد آن به اندازه داده های آموزشی بستگی دارد. تکنیک هایی مانند نزول گرادیان تصادفی (SGD) برای بهبود عملکرد محاسباتی طراحی شده اند، اما به قیمت دقت همگرایی.

گرادیان میانگین تصادفی رویکرد کلاسیک را که به عنوان نزول گرادیان کامل و SGD شناخته می شود، متعادل می کند و هر دو مزیت را ارائه می دهد. اما قبل از اینکه بتوانیم از الگوریتم استفاده کنیم، ابتدا باید اهمیت آن را برای بهینه سازی مدل درک کنیم.

بهینه سازی اهداف یادگیری ماشین با نزول گرادیان

هر الگوریتم ML دارای یک تابع ضرر مرتبط است که هدف آن به حداقل رساندن یا بهبود عملکرد مدل است. از نظر ریاضی، ضرر را می توان به صورت زیر تعریف کرد:


این به سادگی تفاوت بین خروجی واقعی و پیش بینی شده است، و به حداقل رساندن این تفاوت به این معنی است که مدل ما به مقادیر حقیقت پایه نزدیک تر می شود.

الگوریتم کمینه سازی از شیب نزولی برای عبور از تابع ضرر و یافتن حداقل جهانی استفاده می کند. هر مرحله پیمایش شامل به روز رسانی وزن های الگوریتم برای بهینه سازی خروجی است.

نزول گرادیان ساده

متعارف…

Source link