# Гайд: как анализировать рекомендательные кампании

Этот гайд поможет вам проанализировать результаты A/B или мультивариативных тестов для кампаний, использующих рекомендательные виджеты. Он охватывает весь процесс: от проверки настройки до анализа стратегий и принятия решений.

Когда использовать:
Кампания использует рекомендательные блоки
Цель — оценить влияние на поведение и выручку
Необходимо связать результаты кампании с качеством стратегий

# 1. Подтверждение типа кампании

Откройте кампанию → сценарий → View report.
В разделе Version details убедитесь, что:

Присутствуют виджеты рекомендаций
Указаны конкретные стратегии (см. Strategy ID)

# 2. Обзор отчета

В отчете по кампании доступны:

Основная сводка: метрика, uplift, P2BB
График: по дням и кумулятивный
Таблица вариаций: полные данные по метрикам
Сегментация: OS, устройства, география, тип пользователя
Version Details: настройки вариаций

# 3. Метрики кампании (A/B теста)

Оцените изменение метрик: покупок, выручки, добавлений в корзину и тд. Обратите внимание, что в рамках А/В вы видите инкрементальную выручку, а не прямую выручку из рекомендаций.
Проверьте, что сегментация показывает, что все ключевые сегменты ведут себя ожидаемо (Ключевые сегменты: десктоп и мобайл устройства, новые и вернувшиеся пользователи, Москва и СпБ / регионы, операционные системы iOS, Android, Windows)

🔍 Следуйте инструкции

# 4. Метрики стратегий

После анализа инкрементальной выручки в рамках А/В перейдите к анализу отчета по стратегии (Assets → Strategies → View Report).
Помогают объяснить поведение кампании.

Выберите нужный временной интервал и установите окно аттрибуции
Изучите ключевые показатели стратегий, которые нужно проанализировать:
- Direct revenue per 1000 visible Impressions (прямая выручка на 1000 показов)
  
  Важно:
  Если Direct revenue на 1000 показов у конкретной стратегии ниже, чем в среднем у других стратегий в дашборде, то она приносит меньше денег.
  Поработайте над заголовком и дизайном рекомендательного виджета, измените рекомендательный алгоритм, измените условия таргетинга кампании.
- % Видимости стратегий
  
  Важно:
  Если видимость рекомендаций менее 20%, то до нее долистывает очень маленький процент пользователей и вы недополучаете прямую выручку из рекомендаций.
  Поднимите рекомендательный виджет выше на странице/экране, чтобы большее число пользователей увидело виджет и могло им воспользоваться.
- CTR (кликабельность)
  
  Важно:
  Если CTR менее 4%, то с виджетом мало взаимодействуют и вы недополучаете прямую выручку из рекомендаций.
  Поработайте над заголовком и дизайном рекомендательного виджета, измените рекомендательный алгоритм, измените условия таргетинга кампании.
- Прямая выручка (или прямая выручка — все варианты)
  
  Важно:
  Если Direct revenue у конкретной стратегии ниже, чем в среднем у других стратегий в дашборде, то вы недополучаете денег.
  Поработайте над расположением виджета на странице, измените рекомендательный алгоритм, измените условия таргетинга кампании.
- Коэффициент конверсии (какой % пользователей, кликнувших на товар из виджета, в итоге его купил)
Сравните результаты стратегий друг относительно друга
Совет:
1. Оцените несколько стратегий, расположенных на одном экране. Например, несколько стратегий на Карточке товара.
2. Оцените несколько одинаковых алгоритмов на разных экранах. Например, сравните результат от стратегии Affinity на Homepage, Каталоге и в Избранном.
3. Оцените метрики стратегии относительно топовых стратегий сайта: лучше/хуже?
Совет:
1. Не существует идеальных показателей видимости, CTR, прямой выручки на 1000 показов. Эти показатели индивидуальны для каждого сайта или приложения.
2. Помните о том, что если прямая выручка стратегии небольшая, а инкрементальная выручка в рамках А/В теста отрицательна, то необходимо оптимизировать стратегию или остановить кампанию.
Сравните свои показатели стратегии с универсальными Benchmarks для ecom сайтов и приложений.
Если вы видите, что ваша стратегия демонстрирует более слабые результаты, то оптимизируйте стратегию.
Выберите стратегии, которые нужно оптимизировать или заменить.
Также стратегии, которые показывают хороший результат, можно масштабировать.

# Универсальные benchmarks для ecom сайтов и приложений

Метрика стратегии	Хороший показатель	Низкий показатель
Прямая выручка на 1000 показов	выше средней стоимости одного SKU	ниже средней стоимости одного SKU
Видимость стратегии	выше 35%	ниже 35%
CTR	выше 5%	ниже 5%
Коэффициент конверсии (CR click → buy)	выше 1.5%	ниже 1.5%

# 🔹 Direct Revenue

Выручка от товаров, кликнутых в виджете → купленных
Основной показатель эффективности стратегии

# 🔹 Direct Revenue per 1000 visible impressions

Нормированная выручка на 1000 показов
Позволяет сравнивать стратегии между собой

Значение	Интерпретация
Выше среднего	Стратегия эффективна
Ниже среднего	Рекомендовано заменить / оптимизировать

# 🔹 CTR (Click-Through Rate)

Процент пользователей, кликнувших по виджету

CTR	Интерпретация
< 4%	Низкий интерес / плохой UI
4–6%	Средний уровень вовлечения
> 6%	Хорошее вовлечение

# 🔹 Visibility

% показов, при которых виджет был реально виден

Visibility	Интерпретация
< 20%	Виджет расположен слишком низко
> 30–40%	Оптимальное размещение

# 🔹 Fallback responses / Empty responses

Проблемы с алгоритмом стратегии

Метрика	Проблема
Fallback > 10%	Алгоритм не находит товары
Empty > 5%	Нет выдачи — стратегия сбоит

# 5. Как принимать решение

# Проверьте:

Uplift > 0
P2BB ≥ 95%
1000+ пользователей в каждой группе
≥ 100 покупок на группу
Разница между группами ≥ 10

# Сценарии:

Ниже представлены базовые ориентиры, по которым можно оценить метрики стратегии в отчете Assets → Strategies → View report:

Условия	Решение
Uplift > 0, P2BB ≥ 95%	Масштабировать
Uplift < 0, P2BB ≥ 95%	Остановить
Данных мало или P2BB < 95%	Продолжить тест
Хорошие метрики кампании, но стратегия слабая	Заменить стратегию

📌 Важно: если стратегия показывает низкие значения в двух и более метриках — скорее всего, стоит:

изменить алгоритм
улучшить визуальный блок
изменить позицию на странице
или отключить стратегию

# Примеры позитивного сценария:

инкрементальная выручка по A/B тесту растет и отчет по стратегии демонстрирует высокую прямую выручку, то рекомендации можно масштабировать до 100%
инкрементальная выручка по A/B тесту незначительно снижается, но отчет по стратегии демонстрирует высокую прямую выручку, то ситуация погранична. В зависимости от целей кампанию можно либо масштабировать, либо попробовать оптимизировать
инкрементальная выручка по A/B тесту нейтральная, но отчет по стратегии демонстрирует высокую прямую выручку, то рекомендации можно масштабировать до 100%

# Примеры негативного сценария:

инкрементальная выручка по A/B тесту растет, но отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать (подбирать иной алгоритм или правила)
инкрементальная выручка по A/B тесту незначительно снижается и отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать
инкрементальная выручка по A/B тесту нейтральная и отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать

# 🧠 Зачем анализировать результаты A/B теста и отчет по стратегиям?

Анализ A/B теста в связке с отчетом по стратегиям помогает решить сразу несколько задач:

Проверка контекста размещения

Рекомендации не живут в вакууме — они размещаются в карточке товара, каталоге, на главной странице и т.д.
Мы должны оценить не только прямую выручку, но и то, как рекомендации влияют на поведение пользователя и не ухудшают ли пользовательский опыт.

Сегментация и персонализация

A/B тест позволяет сегментировать пользователей и понять, какие аудитории лучше реагируют на рекомендации.
Эти знания можно использовать для донастройки таргетинга и повышения общей выручки.

Сравнение стратегий

Через A/B тест можно напрямую сравнивать две и более рекомендательных стратегии между собой или против контроля (без рекомендаций).

Ограничения отчета по стратегиям

Отчет по стратегии показывает эффективность самой стратегии (выручка, клики, видимость и т.д.), но он не учитывает контекст страницы.
Например, хорошая стратегия может давать слабые результаты, если виджет находится слишком низко или плохо оформлен. Поэтому результаты A/B теста — критически важны.

# ❓ Часто задаваемые вопросы (FAQ)

# Вопрос 1: Что делать, если в A/B тесте показатели положительные, но прямая выручка стратегии низкая?

Ответ:
A/B тест показывает, что виджет положительно влияет на пользовательский опыт, поэтому мы рекомендуем масштабировать кампанию. Однако низкая прямая выручка указывает на необходимость доработки стратегии:

Проверьте CTR и Direct Revenue per 1000 impressions в отчете по стратегии
Сравните показатели с другими аналогичными стратегиями
Попробуйте изменить:
- Тип стратегии (например, на "популярные со скидкой")
- Алгоритм (фильтры по наличию/рейтингу)
- Расположение и оформление виджета
- Таргетинг (расширить или скорректировать)

# Вопрос 2: Что делать, если в A/B тесте показатели отрицательные, но прямая выручка стратегии высокая?

Ответ:
Стратегия эффективна и приносит выручку, но потенциально мешает пользовательскому сценарию. Возможные причины:

Некорректный заголовок или визуальный "шум"
Неудачное размещение на странице
Технические проблемы с отображением

Рекомендации:

Проверьте, корректно ли отображается виджет на всех устройствах
Измените дизайн блока или заголовок
Переместите виджет выше
Протестируйте альтернативные форматы

# Вопрос 3: В A/B тесте видим падение выручки, но стратегия показывает высокую прямую выручку. Останавливать кампанию?

Ответ:
Нет. Это сигнал к тому, что стратегия работает, но контекст её использования неудачен (см. Вопрос 2).
Рекомендуется:

Перепроверить формат блока и его соответствие странице
Изменить подачу (заголовок, карточки, логика выдачи)
Протестировать другое размещение или гипотезу

# Вопрос 4: Инкрементальная выручка в A/B тесте отрицательная, но прямая выручка стратегии высокая. Что делать?

Ответ:
Та же ситуация: стратегия генерирует ценность, но не вписывается в текущий пользовательский сценарий.

Что стоит сделать:

Проверить, не "каннибализирует" ли виджет другие элементы (например, основную выдачу)
Изменить оформление или таргетинг
Сравнить с другими страницами или форматами виджетов

💡 Вывод: низкая прямая выручка у стратегии — это сигнал к переосмыслению оформления или контекста, а не к её отключению.