گرادیان نزول. تصویر گرفته شده از – https://community.deeplearning.ai/t/difference-between-rmsprop-and-adam/310187
Gradient Descent چیست؟
فرود شیب مانند پیاده روی در سراشیبی با چشمان بسته است، تا زمانی که به پایین (یا حداقل یک نقطه صاف خوب برای استراحت) برسید، شیب را دنبال کنید. از نظر فنی، روشی برای به حداقل رساندن یک تابع هدف F(θ)، با پارامترهای یک مدل θ∈Rn، با به روز رسانی آنها در جهت مخالف گرادیان ∇F(θ) پارامتر می شود.
اندازه هر مرحله با نرخ یادگیری α کنترل می شود. α را به عنوان راهنمای محتاط در نظر بگیرید که به شما اطمینان می دهد خیلی سریع پایین نمی افتید. اگر این شبیه یونانی به نظر می رسد، به راحتی مقاله قبلی من، نگاهی سریع به نزول گرادیان در یادگیری ماشینی را بررسی کنید – قول می دهم دوستانه تر از آن چیزی است که به نظر می رسد! 🙂
دور برگشت: یک تابع هدف فرمول یا تابعی ریاضی است که مدل شما قصد دارد آن را در طول آموزش به حداقل برساند (یا حداکثر، بسته به هدف) انجام دهد. این نشان دهنده میزان فاصله پیش بینی های مدل شما با نتایج واقعی یا مقادیر دلخواه است.
به عنوان مثال:
در یادگیری ماشینی، می تواند یک باشد عملکرد از دست دادن مانند میانگین مربعات خطا (MSE) برای وظایف رگرسیون یا از دست دادن متقابل آنتروپی برای وظایف طبقه بندی.
تابع هدف پیش بینی های مدل را به یک …