گوگل پیشنهاد می‌کند که برای حدود ۲ هفته آزمایش ادامه پیدا کند تا بتوان به نتایج پایاتری دست یافت. مفهوم پایایی در علم آمار معنی خاصی دارد و به طور خلاصه یعنی اینکه چقدر نتایج حاصل شده را می‌توان در شرایط مشابه تکرارپذیر دانست. برای همین بهتر است در نتیجه‌گیری تست A/B عجله نداشته باشید و اصولاً پس از دو هفته اجرا، Google Optimize در صورت معنادار بودن تفاوت برنده آزمایش را به شما نشان خواهد داد. در تصویر زیر همانطور که مشاهده می‌کنید گوگل آپتیمایز برنده را با نرخ بهبود و احتمال بهبود در هدف اعلام کرده است (که در این آزمایش با نام Green Top Sell مشخص شده است) و می‌توان Experiment را پایان داد. به طور مثال در آزمایش زیر هدف میزان مشاهده تعداد صفحه بوده است که نتایج نشان می‌دهد طی ۱۹ روز و با ثبت ۳۲۰ Session تغییر مورد نظر ۲۴% افزایش بازدید را به همراه داشته است.
در این بخش لازم است که تفاوت دو اصطلاح را بهتر درک کنیم:
Probability to be best :
احتمال بهتر بودن یکی از Variantها را نسبت به سایر Variantها نشان می‌دهد. این امر مخصوصاً در زمانی که بیش از یک تغییر را روی یک آزمایش اعمال کرده‌ایم مفید است. مجموع اعداد این ستون می‌بایست برابر با ۱۰۰ باشد.
Probability to beat baseline:
منظور از baseline صفحه اورجینال آزمایش است که هیچ تغییری در آن صورت نگرفته است. در واقع این شاخص احتمال بهتر بودن Variantها را نسبت به صفحه اورجینال نمایش می‌دهد.
مریم عابدی
دیدگاهتان را بنویسید