# Probability to be best

Байесовский подход основан на теореме Байеса, которая использует предыдущие знания или ожидания и обновляет их с учётом новых данных. В контексте A/B-тестирования этот подход позволяет нам не просто оценивать вероятность исходов на основе фиксированных гипотез, а динамически корректировать наши ожидания по мере поступления данных.

Вместо строгих решений вроде "отклонить нулевую гипотезу", байесовский метод предлагает вероятность того, что одна из версий теста окажется лучше другой. Это делает результаты экспериментов более понятными и гибкими для интерпретации, помогая бизнесу принимать решения на основе конкретных вероятностей, а не сложных статистических выводов.

Probability to Be Best — это показатель, присваиваемый каждой вариации, который предсказывает её вероятность превзойти все остальные вариации в долгосрочной перспективе. Этот показатель используется для определения победителя в A/B тесте.

Probability to be best это интуитивно понятная метрика, которая упрощает процесс принятия решений. Командам не нужно углубляться в сложные концепции, такие как p-значения или нулевая гипотеза. Вместо этого, всё сводится к простым выводам, например: "Мы ожидаем, что наша метрика поднимется на 10 % +/- 5 %. Вероятность того, что тестовый вариант превзойдет контрольный, составляет 80 %"

# Алгоритм

Расчёты основаны на усовершенствованной, быстрой и адаптивной байесовской статистической модели. Модель базируется на статистическом выводе и предоставляет каждой вариации её вероятность быть лучшей. Это обеспечивает более надежное определение победителя теста.

# Probability to Be Best в A/B тестах

Показатель Probability to Be Best вместе с минимальной продолжительностью теста (по умолчанию 14 дней) определяет, какая (если такая имеется) вариация станет победителем A/B теста. Показатель рассчитывается ежедневно и сбрасывается при создании новой версии теста