# Гайд: как анализировать нерекомендательные кампании

Эта статья поможет вам проанализировать результаты A/B и мультивариативных тестов в нерекомендательных кампаниях: от метрик до принятия решений.

**Когда использовать:**  
- Кампания не содержит рекомендательных виджетов  
- Тестируете тексты, кнопки, блоки, дизайн, структуру страниц  
- Хотите принять решение по завершению, масштабированию или изменению кампании

---

## 1. Проверка корректности эксперимента

Перед началом анализа:
- Убедитесь, что вариации корректно настроены
- Проверьте превью и таргетинг, убедитесь, что все выглядит именно так, как вы задумывали
- Посмотрите на распределение трафика — доля Users в вариациях должна соответствовать ожидаемой

---

## 2. Задание периода анализа

- Установите период вручную (по умолчанию — весь период теста)
- Избегайте анализа только первых 1–2 дней
- Убедитесь, что поведение пользователей уложилось в выбранный период

---

## 3. Анализ сводки (Summary)
![](./assets/test_results/image.png)

Изучите раздел Summary, убедитесь, что его содержимое позволяет переходить к интерпретации данных или продолжите сбор данных

- Основная метрика (Revenue/User, Purchases и др.)
- Uplift — изменение основной метрики
- Probability to be best (P2BB)
- Статус теста:
  - `No statistically significant results yet`
  - `Stat significant`
  - `Winner`
- Оценка мощности (Power):

| Эффект (Uplift) | Дни до Power |
|-----------------|--------------|
| 30%             | 3            |
| 20%             | 5            |
| 15%             | 7            |
| 10%             | 10–12        |
| 5%              | 14–18        |
| 3%              | 21+          |

---

## 4. Анализ графика
![](./assets/test_results/image1.png)

- Выберите метрику Revenue/User, чтобы посмотреть, растит ли вариация выручку на пользователя. Также рекомендуем посмотреть на метрику Purchase/User.
- В зависимости от гипотезы, вам потребуется анализ различных метрик. Мы советуем обращать внимание на несколько ключевых метрик: Purchases, Revenue и ближайшую к тестируемому функционалу метрику.
- Смотрите на тренды по дням или кумулятивно

!!!
**Как подобрать ближайшую метрику?** Например, если мы тестируем иконку “Добавить в корзину”, то нам следует дополнительно анализировать метрику Add to cart. Если мы тестируем расположение иконки “Избранное”, то нам следует дополнительно анализировать метрику Add to Favorites.
!!!

---

## 5. Таблица метрик

- Purchases, Revenue, Add to cart, CTR и др.
- Значения: Uplift, P2BB, абсолютные метрики
- Используйте “ближнюю” к гипотезе метрику для анализа

---

## 5.1 Анализ на примере метрики **Purchases**

### Шаг 1: Смотрите на **Uplift**
Посмотрите на значение в колонках Uplift. Положительное зеленое значение в тестовой вариации говорит о том, что кампания повышает заданную метрику (Пример 1). Отрицательное красное значение говорит о том, что кампания понижает заданную метрику (Пример 2) 

![](./assets/test_results/image3.png)

*Пример 1: Кампания статистически значимо увеличивает конверсию на +38%*

![](./assets/test_results/image4.png)

*Пример 2: Кампания статистически значимо понижает конверсию на -11%*

### Шаг 2: Смотрите на **P2BB**
Посмотрите на значение в колонке Probability to be best у тестовой вариации - она говорит о том, с какой вероятностью та или иная вариация показывает наилучший результат. 

Мы советуем принимать решение и делать выводы о работе кампании при значении 95% и выше. Если значение ниже 95%, то результаты теста не стоит считать статистически значимыми.

![image.png](./assets/test_results/image5.png)

### Шаг 3: Проверьте **мощность (Power)**
Мощность теста - Power. При проведении А/В тестов необходимо принимать во внимание не только статистическую значимость, но и достоверность тестов (Power). Вскоре в платформе появится показатель Power. В его отсутствие, советуем обращать внимание на абсолютные числа продаж в колонке Purchases.

!!!
**Внимание**: данных недостаточно для достоверности, если:
- покупок менее 100 в каждой вариации 
- или разница между Purchases в вариации и контрольной группе менее 10
- или количество пользователей в вариации меньше 1000, 
!!!

---

## 5.2 Анализ других метрик

**Revenue**
Проверьте те же метрики, что и в случае Purchases: Uplift, Probability to be best

!!!
**Внимание**: если вы видите, что:
- покупок менее 100 в каждой вариации 
- или разница между Revenue/User в вариации и контрольной группе менее 10
- или количество пользователей в вариации меньше 1000, 
то скорее всего, данных недостаточно для достоверности.
!!!

**Users with Purchases**
Если цель вашей кампании вырастить конверсию в покупку, то обратите внимание на метрику Users with Purchases. Эта метрика ведет подсчет уникальных покупок на пользователя.

Значение в колонке Uplift будет отражать изменение конверсии в покупку.

## 6. Сегментация
Платформа Gravity Field позволяет анализировать результаты теста в разрезах различных аудиторий. Тем самым платформа помогает получить более глубокие инсайты по результатам теста, а также понять, на каких сегментах пользователей кампания работает успешно, а на каких - нет.

- Используйте Audiences: OS, Device, City, Source и др.
- Выявляйте, где тест сработал лучше/хуже
- Исключайте слабые сегменты из таргетинга

### Шаг 1: Под графиком кликните на Select Audiences → Audiences. 
Смотрите далее скриншот в шаге 3.

![](./assets/segments/image.png)

!!!
**Совет:** в платформе Gravity Field по умолчанию собираются основные аудитории:
- User Type: New Users и Returning Users
- Operating System: Windows, Mac, iPhone, Android
- Device: Desktop и Mobile
- Города: Москва, Санкт-Петербург, Нижний Новгород, Казань и другие
- Traffic Source или Channel
!!!

### Шаг 2: Выберите необходимые аудитории, кликните “Apply” 

![](./assets/segments/image1.png)

### Шаг 3: Вы увидите результаты теста в рамках каждой из выбранных аудиторий. 
Так, на скриншоте ниже видны результаты теста в рамках сегментов пользователей, которые зашли на сайт с девайсов на iOS, Android, Windows и macOS соответственно (отмечены зеленой рамкой)

![](./assets/segments/image2.png)

!!!
**Внимание**: при анализе сегментов вы можете обнаружить, что кампания приносит статистически значимые отрицательные результаты в рамках каких-то сегментов (например, кампания работает отрицательно в сегменте пользователей из Москвы). В таком случае, перед масштабированием кампании на 100% имеет смысл исключить такие сегменты в таргетинге. 
!!!

---

## 7. Принятие решения

**Последовательность действий для принятия бизнес-решений на основе данных:**

**Шаг 1:** Убедитесь, что тест настроен и работает, как ожидалось

**Шаг 2:** Убедитесь, что накопилась достаточная статистическая значимость и достоверность. Обратите внимание на раздел Summary.

![](./assets/test_results/image.png)

**Шаг 3:** Проверьте, что сегментация показывает, что все ключевые сегменты ведут себя ожидаемо (Ключевые сегменты: десктоп и мобайл устройства, новые и вернувшиеся пользователи, Москва и СпБ / регионы) 

**Шаг 4:** Проверьте, что прошло более 2 недель с запуска теста.

После этого можно принимать решение о завершении, перезапуске или масштабировании теста на 100%

| Условие                                | Рекомендация           |
|----------------------------------------|------------------------|
| P2BB ≥ 95% + хороший Uplift            | Завершить и масштабировать |
| P2BB ≥ 95% + отрицательный Uplift      | Остановить             |
| P2BB < 95%, тест < 14 дней             | Ждать                  |

---

## ❓ Часто задаваемые вопросы (FAQ)

**1. Один сегмент занижает метрику, остальное в плюсе — что делать?**  
→ Исключить сегмент и перезапустить тест 50/50

**2. Низкий P2BB, но Uplift отрицательный — выключать?**  
→ Нет, пока результат незначимый — ждём больше данных

**3. Рост Add to cart, но выручка не изменилась — успех?**  
→ Зависит от цели гипотезы. Возможно, "серединный" успех

**4. Когда можно начинать анализировать?**  
→ Через 7 дней минимум, оптимально — 14+

**5. Пропадут ли данные после теста?**  
→ Нет, отчет доступен и после остановки

**6. Тест на 20% трафика — норм?**  
→ Да, если объем данных достаточный

**7. Как запустить A/B/C тест?**  
→ Используйте мультивариативную кампанию (33/33/34 или 25/25/25/25)

**8. Какие кампании не анализируются?**  
→ Templates, Helpers, AA тесты, Global Control Group

**9. Почему P2BB = 0?**  
→ Вариация с 0% трафика или мало данных

**10. Как проверить равномерность трафика?**  
→ Используйте метрику Users или Impressions на графике

**11. График “скачет” — что делать?**  
→ Увеличьте период анализа, используйте кумулятивный вид

**12. Нужно ли учитывать внешний контекст?**  
→ Да — акции, сезонность, трафик, маркетинг

**13.  Как мы можем протестировать сразу несколько идей?**

Платформа Gravity Field позволяет проводить мульти-вариативные тесты. Например:

A/B/C тест:
- 33% вариация 1
- 33% вариация 2
- 34% контрольная группа

или A/B/C/D тест:
- 25% вариация 1
- 25% вариация 2
- 25% вариация 3
- 25% контрольная группа