ما تست A/B را به عنوان روشی ضروری برای اندازهگیری تأثیر واقعی ویژگیهایی که توسعه میدهیم و میخواهیم منتشر کنیم، اتخاذ میکنیم. متأسفانه، تحلیلهای «قبل و بعد» اغلب به دلیل عوامل زمانی مانند زمان، کمپینها یا اثرات دیگر غیرقابل استفاده هستند. وقتی میخواهیم آزمایش A/B را ادامه دهیم، با سناریوهایی روبرو میشویم که در آن چندین آزمایش باید در صفحات مختلف اجرا شود.
در این شرایط، سه رویکرد اساسی وجود دارد که میتوانیم از بین آنها انتخاب کنیم:
- اجرای تست ها به صورت متوالی
- جداسازی مخاطبان آزمون
- اجرای هر دو آزمون به صورت همزمان
در این مقاله، رویکرد اجرای دو آزمون به طور همزمان برای کل مخاطبان، روشی که باید دنبال کنیم و چه نکاتی را در نظر بگیریم، بحث خواهم کرد.
- تست های همزمان چقدر روی هم تاثیر می گذارند؟
- چگونه باید نتایج را تفسیر کنیم؟
- چگونه می توانیم تأیید کنیم که تصادفی سازی به دست آمده است؟
- آیا می توانیم انواع را با هم تحلیل کنیم؟
در ابتدا می خواهم به قضیه حد مرکزی و توزیع تصادفی اشاره کنم.
حد مرکزی قضیه
CLT اساس بسیاری از تحلیل ها را در آمارهای نظری و عملی تشکیل می دهد. بیان میکند که توزیع میانگینها از نمونههای تصادفی یک جمعیت، بدون توجه به توزیع اولیه جامعه، با افزایش حجم نمونه، به توزیع نرمال (گاوسی) نزدیک میشود.
در زندگی واقعی، …