#
Определение победителя
Для определения победителя в АБ-тесте система анализирует результаты эксперимента на основе следующих критериев:
Продолжительность теста
Тест должен длиться дольше заданной в настройках минимальной длительности.
Минимальная длительность теста определяется заранее в настройках и гарантирует достаточное количество данных для статистического анализа.
Probability to be best
У вариации должно быть значение PTBB выше установленного порога, который, как правило, составляет 95%.
Мощность
Вероятность обнаружить наблюдаемый эффект должна превышать заданный уровень мощности, который, как правило, составляет 80%.
Это гарантирует, что тест имеет достаточную чувствительность для выявления значимого эффекта.
#
Сводка по АБ тесту
Новинка
На экране отчета по АБ-тесту доступна краткая сводка с ключевыми параметрами эксперимента, включая:
- Основная метрика
- Наблюдаемый эффект
- Минимальную длительность теста
- Probability to be best
- Мощность
#
Уведомление о победителе
После обнаружения победителя, вы автоматически получите письмо с уведомлением о результатах теста. В письме содержится информация о том, какая вариация показала лучшие результаты и удовлетворяет вышеуказанным критериям.
Подписаться на уведомления можно в новом разделе Notifications.
