# Гайд: как анализировать нерекомендательные кампании

Эта статья поможет вам проанализировать результаты A/B и мультивариативных тестов в нерекомендательных кампаниях: от метрик до принятия решений.

Когда использовать:

Кампания не содержит рекомендательных виджетов
Тестируете тексты, кнопки, блоки, дизайн, структуру страниц
Хотите принять решение по завершению, масштабированию или изменению кампании

# 1. Проверка корректности эксперимента

Перед началом анализа:

Убедитесь, что вариации корректно настроены
Проверьте превью и таргетинг, убедитесь, что все выглядит именно так, как вы задумывали
Посмотрите на распределение трафика — доля Users в вариациях должна соответствовать ожидаемой

# 2. Задание периода анализа

Установите период вручную (по умолчанию — весь период теста)
Избегайте анализа только первых 1–2 дней
Убедитесь, что поведение пользователей уложилось в выбранный период

# 3. Анализ сводки (Summary)

Изучите раздел Summary, убедитесь, что его содержимое позволяет переходить к интерпретации данных или продолжите сбор данных

Основная метрика (Revenue/User, Purchases и др.)
Uplift — изменение основной метрики
Probability to be best (P2BB)
Статус теста:
- No statistically significant results yet
- Stat significant
- Winner
Оценка мощности (Power):

Эффект (Uplift)	Дни до Power
30%	3
20%	5
15%	7
10%	10–12
5%	14–18
3%	21+

# 4. Анализ графика

Выберите метрику Revenue/User, чтобы посмотреть, растит ли вариация выручку на пользователя. Также рекомендуем посмотреть на метрику Purchase/User.
В зависимости от гипотезы, вам потребуется анализ различных метрик. Мы советуем обращать внимание на несколько ключевых метрик: Purchases, Revenue и ближайшую к тестируемому функционалу метрику.
Смотрите на тренды по дням или кумулятивно

Как подобрать ближайшую метрику? Например, если мы тестируем иконку “Добавить в корзину”, то нам следует дополнительно анализировать метрику Add to cart. Если мы тестируем расположение иконки “Избранное”, то нам следует дополнительно анализировать метрику Add to Favorites.

# 5. Таблица метрик

Purchases, Revenue, Add to cart, CTR и др.
Значения: Uplift, P2BB, абсолютные метрики
Используйте “ближнюю” к гипотезе метрику для анализа

# 5.1 Анализ на примере метрики Purchases

# Шаг 1: Смотрите на Uplift

Посмотрите на значение в колонках Uplift. Положительное зеленое значение в тестовой вариации говорит о том, что кампания повышает заданную метрику (Пример 1). Отрицательное красное значение говорит о том, что кампания понижает заданную метрику (Пример 2)

Пример 1: Кампания статистически значимо увеличивает конверсию на +38%

Пример 2: Кампания статистически значимо понижает конверсию на -11%

# Шаг 2: Смотрите на P2BB

Посмотрите на значение в колонке Probability to be best у тестовой вариации - она говорит о том, с какой вероятностью та или иная вариация показывает наилучший результат.

Мы советуем принимать решение и делать выводы о работе кампании при значении 95% и выше. Если значение ниже 95%, то результаты теста не стоит считать статистически значимыми.

# Шаг 3: Проверьте мощность (Power)

Мощность теста - Power. При проведении А/В тестов необходимо принимать во внимание не только статистическую значимость, но и достоверность тестов (Power). Вскоре в платформе появится показатель Power. В его отсутствие, советуем обращать внимание на абсолютные числа продаж в колонке Purchases.

Внимание: данных недостаточно для достоверности, если:

покупок менее 100 в каждой вариации
или разница между Purchases в вариации и контрольной группе менее 10
или количество пользователей в вариации меньше 1000,

# 5.2 Анализ других метрик

Revenue Проверьте те же метрики, что и в случае Purchases: Uplift, Probability to be best

Внимание: если вы видите, что:

покупок менее 100 в каждой вариации
или разница между Revenue/User в вариации и контрольной группе менее 10
или количество пользователей в вариации меньше 1000, то скорее всего, данных недостаточно для достоверности.

Users with Purchases Если цель вашей кампании вырастить конверсию в покупку, то обратите внимание на метрику Users with Purchases. Эта метрика ведет подсчет уникальных покупок на пользователя.

Значение в колонке Uplift будет отражать изменение конверсии в покупку.

# 6. Сегментация

Платформа Gravity Field позволяет анализировать результаты теста в разрезах различных аудиторий. Тем самым платформа помогает получить более глубокие инсайты по результатам теста, а также понять, на каких сегментах пользователей кампания работает успешно, а на каких - нет.

Используйте Audiences: OS, Device, City, Source и др.
Выявляйте, где тест сработал лучше/хуже
Исключайте слабые сегменты из таргетинга

# Шаг 1: Под графиком кликните на Select Audiences → Audiences.

Смотрите далее скриншот в шаге 3.

Совет: в платформе Gravity Field по умолчанию собираются основные аудитории:

User Type: New Users и Returning Users
Operating System: Windows, Mac, iPhone, Android
Device: Desktop и Mobile
Города: Москва, Санкт-Петербург, Нижний Новгород, Казань и другие
Traffic Source или Channel

# Шаг 2: Выберите необходимые аудитории, кликните “Apply”

# Шаг 3: Вы увидите результаты теста в рамках каждой из выбранных аудиторий.

Так, на скриншоте ниже видны результаты теста в рамках сегментов пользователей, которые зашли на сайт с девайсов на iOS, Android, Windows и macOS соответственно (отмечены зеленой рамкой)

Внимание: при анализе сегментов вы можете обнаружить, что кампания приносит статистически значимые отрицательные результаты в рамках каких-то сегментов (например, кампания работает отрицательно в сегменте пользователей из Москвы). В таком случае, перед масштабированием кампании на 100% имеет смысл исключить такие сегменты в таргетинге.

# 7. Принятие решения

Последовательность действий для принятия бизнес-решений на основе данных:

Шаг 1: Убедитесь, что тест настроен и работает, как ожидалось

Шаг 2: Убедитесь, что накопилась достаточная статистическая значимость и достоверность. Обратите внимание на раздел Summary.

Шаг 3: Проверьте, что сегментация показывает, что все ключевые сегменты ведут себя ожидаемо (Ключевые сегменты: десктоп и мобайл устройства, новые и вернувшиеся пользователи, Москва и СпБ / регионы)

Шаг 4: Проверьте, что прошло более 2 недель с запуска теста.

После этого можно принимать решение о завершении, перезапуске или масштабировании теста на 100%

Условие	Рекомендация
P2BB ≥ 95% + хороший Uplift	Завершить и масштабировать
P2BB ≥ 95% + отрицательный Uplift	Остановить
P2BB < 95%, тест < 14 дней	Ждать

# ❓ Часто задаваемые вопросы (FAQ)

1. Один сегмент занижает метрику, остальное в плюсе — что делать?
→ Исключить сегмент и перезапустить тест 50/50

2. Низкий P2BB, но Uplift отрицательный — выключать?
→ Нет, пока результат незначимый — ждём больше данных

3. Рост Add to cart, но выручка не изменилась — успех?
→ Зависит от цели гипотезы. Возможно, "серединный" успех

4. Когда можно начинать анализировать?
→ Через 7 дней минимум, оптимально — 14+

5. Пропадут ли данные после теста?
→ Нет, отчет доступен и после остановки

6. Тест на 20% трафика — норм?
→ Да, если объем данных достаточный

7. Как запустить A/B/C тест?
→ Используйте мультивариативную кампанию (33/33/34 или 25/25/25/25)

8. Какие кампании не анализируются?
→ Templates, Helpers, AA тесты, Global Control Group

9. Почему P2BB = 0?
→ Вариация с 0% трафика или мало данных

10. Как проверить равномерность трафика?
→ Используйте метрику Users или Impressions на графике

11. График “скачет” — что делать?
→ Увеличьте период анализа, используйте кумулятивный вид

12. Нужно ли учитывать внешний контекст?
→ Да — акции, сезонность, трафик, маркетинг

13. Как мы можем протестировать сразу несколько идей?

Платформа Gravity Field позволяет проводить мульти-вариативные тесты. Например:

A/B/C тест:

33% вариация 1
33% вариация 2
34% контрольная группа

или A/B/C/D тест:

25% вариация 1
25% вариация 2
25% вариация 3
25% контрольная группа