افزایش حساسیت تست های A/B

فرض کنید ما مشغول تبلیغات آنلاین هستیم و الگوریتم جدیدی برای رتبه بندی بنرهای تبلیغاتی ایجاد کرده ایم. کاربران سایت را به طور تصادفی به دو گروه تقسیم می کنیم: الف و ب – برای کاربران گروه B، یک مدل رتبه بندی بهبود یافته جدید اعمال خواهد شد. بگذارید میانگین سود نمایش یک تبلیغ به یک کاربر در گروه B بیشتر از گروه A به میزان 1% باشد. آیا این نویز قابل توجه است یا فقط تصادفی؟ +10% چطور؟ برای پاسخ به این سوالات به یک آزمون آماری نیاز داریم. بیایید به اصطلاح آمار Z را محاسبه کنیم:

کجا:

با فرض اینکه حجم نمونه در گروه های A و B برابر است، فرمول را بازنویسی می کنیم:

اگر مدل B بهبودی به همراه نداشته باشد و اگر حجم نمونه به اندازه کافی بزرگ باشد (معمولاً بیش از 30 در نظر گرفته می شود که کافی است)، در این صورت، طبق قضیه حد مرکزی، متغیر تصادفی Z دارای توزیع نرمال خواهد بود:

اگر مدل B با این وجود بهبود (یا زوال) را به همراه داشته باشد، توزیع مقدار تصادفی Z با توزیع نرمال متفاوت خواهد بود و مقدار آماره Z از صفر دور خواهد بود. چه مقداری را دور از صفر در نظر بگیریم؟ بیایید آن را با حرف α نشان دهیم و به صورت زیر عمل کنیم: آمار Z را محاسبه می کنیم. اگر Z α است، نتیجه می گیریم که مدل B بهتر از مدل A است و آن را به تولید می رسانیم. احتمالش چقدره…

Source link