# Гайд: как анализировать рекомендательные кампании Этот гайд поможет вам проанализировать результаты A/B или мультивариативных тестов для кампаний, использующих рекомендательные виджеты. Он охватывает весь процесс: от проверки настройки до анализа стратегий и принятия решений. **Когда использовать:** Кампания использует рекомендательные блоки Цель — оценить влияние на поведение и выручку Необходимо связать результаты кампании с качеством стратегий --- ## 1. Подтверждение типа кампании Откройте кампанию → сценарий → **View report**. В разделе **Version details** убедитесь, что: - Присутствуют виджеты рекомендаций - Указаны конкретные стратегии (см. Strategy ID) --- ## 2. Обзор отчета В отчете по кампании доступны: - Основная сводка: метрика, uplift, P2BB - График: по дням и кумулятивный - Таблица вариаций: полные данные по метрикам - Сегментация: OS, устройства, география, тип пользователя - Version Details: настройки вариаций --- ## 3. Метрики кампании (A/B теста) - Оцените изменение метрик: покупок, выручки, добавлений в корзину и тд. Обратите внимание, что в рамках А/В вы видите *инкрементальную* выручку, а не прямую выручку из рекомендаций. - Проверьте, что сегментация показывает, что все ключевые сегменты ведут себя ожидаемо (Ключевые сегменты: десктоп и мобайл устройства, новые и вернувшиеся пользователи, Москва и СпБ / регионы, операционные системы iOS, Android, Windows) 🔍 Следуйте [инструкции](./non_recs_campaigns_guide.md#1-проверка-корректности-эксперимента) --- ## 4. Метрики стратегий После анализа инкрементальной выручки в рамках А/В перейдите к анализу **отчета по стратегии** (Assets → Strategies → View Report). Помогают объяснить поведение кампании. - Выберите нужный временной интервал и установите окно аттрибуции - Изучите ключевые показатели стратегий, которые нужно проанализировать: - **Direct revenue per 1000 visible Impressions** (прямая выручка на 1000 показов) > **Важно:** > Если Direct revenue на 1000 показов у конкретной стратегии ниже, чем в среднем у других стратегий в дашборде, то она приносит меньше денег. > Поработайте над заголовком и дизайном рекомендательного виджета, измените рекомендательный алгоритм, измените условия таргетинга кампании. - **% Видимости стратегий** > **Важно:** > Если видимость рекомендаций менее 20%, то до нее долистывает очень маленький процент пользователей и вы недополучаете прямую выручку из рекомендаций. > Поднимите рекомендательный виджет выше на странице/экране, чтобы большее число пользователей увидело виджет и могло им воспользоваться. - **CTR (кликабельность)** > **Важно:** > Если CTR менее 4%, то с виджетом мало взаимодействуют и вы недополучаете прямую выручку из рекомендаций. > Поработайте над заголовком и дизайном рекомендательного виджета, измените рекомендательный алгоритм, измените условия таргетинга кампании. - **Прямая выручка** (или прямая выручка — все варианты) > **Важно:** > Если Direct revenue у конкретной стратегии ниже, чем в среднем у других стратегий в дашборде, то вы недополучаете денег. > Поработайте над расположением виджета на странице, измените рекомендательный алгоритм, измените условия таргетинга кампании. - **Коэффициент конверсии** (какой % пользователей, кликнувших на товар из виджета, в итоге его купил) - Сравните результаты стратегий друг относительно друга > **Совет:** > 1. Оцените несколько стратегий, расположенных на одном экране. Например, несколько стратегий на Карточке товара. > 2. Оцените несколько одинаковых алгоритмов на разных экранах. Например, сравните результат от стратегии Affinity на Homepage, Каталоге и в Избранном. > 3. Оцените метрики стратегии относительно топовых стратегий сайта: лучше/хуже? > **Совет:** > 1. Не существует идеальных показателей видимости, CTR, прямой выручки на 1000 показов. Эти показатели индивидуальны для каждого сайта или приложения. > 2. Помните о том, что если прямая выручка стратегии небольшая, а инкрементальная выручка в рамках А/В теста отрицательна, то необходимо оптимизировать стратегию или остановить кампанию. - Сравните свои показатели стратегии с универсальными Benchmarks для ecom сайтов и приложений. Если вы видите, что ваша стратегия демонстрирует более слабые результаты, то оптимизируйте стратегию. - Выберите стратегии, которые нужно оптимизировать или заменить. Также стратегии, которые показывают хороший результат, можно масштабировать. --- ### Универсальные benchmarks для ecom сайтов и приложений | **Метрика стратегии** | **Хороший показатель** | **Низкий показатель** | |----------------------------------------|------------------------------------------|--------------------------------------------| | Прямая выручка на 1000 показов | выше средней стоимости одного SKU | ниже средней стоимости одного SKU | | Видимость стратегии | выше 35% | ниже 35% | | CTR | выше 5% | ниже 5% | | Коэффициент конверсии (CR click → buy) | выше 1.5% | ниже 1.5% | --- ### 🔹 Direct Revenue Выручка от товаров, кликнутых в виджете → купленных **Основной показатель эффективности стратегии** --- ### 🔹 Direct Revenue per 1000 visible impressions Нормированная выручка на 1000 показов **Позволяет сравнивать стратегии между собой** | Значение | Интерпретация | |------------------|---------------------------------------------------| | Выше среднего | Стратегия эффективна | | Ниже среднего | Рекомендовано заменить / оптимизировать | --- ### 🔹 CTR (Click-Through Rate) Процент пользователей, кликнувших по виджету | CTR | Интерпретация | |---------|-------------------------------| | < 4% | Низкий интерес / плохой UI | | 4–6% | Средний уровень вовлечения | | > 6% | Хорошее вовлечение | --- ### 🔹 Visibility % показов, при которых виджет был реально виден | Visibility | Интерпретация | |------------|-------------------------------------------| | < 20% | Виджет расположен слишком низко | | > 30–40% | Оптимальное размещение | --- ## 5. Как принимать решение ### Проверьте: - Uplift > 0 - P2BB ≥ 95% - 1000+ пользователей в каждой группе - ≥ 100 покупок на группу - Разница между группами ≥ 10 ### Сценарии: Ниже представлены базовые ориентиры, по которым можно оценить метрики стратегии в отчете **Assets → Strategies → View report**: | Условия | Решение | |----------------------------------------|----------------------------------| | Uplift > 0, P2BB ≥ 95% | Масштабировать | | Uplift < 0, P2BB ≥ 95% | Остановить | | Данных мало или P2BB < 95% | Продолжить тест | | Хорошие метрики кампании, но стратегия слабая | Заменить стратегию | **📌 Важно: если стратегия показывает низкие значения в двух и более метриках — скорее всего, стоит:** - изменить алгоритм - улучшить визуальный блок - изменить позицию на странице - или отключить стратегию #### Примеры позитивного сценария: - инкрементальная выручка по A/B тесту растет и отчет по стратегии демонстрирует высокую прямую выручку, то рекомендации можно масштабировать до 100% - инкрементальная выручка по A/B тесту незначительно снижается, но отчет по стратегии демонстрирует высокую прямую выручку, то ситуация погранична. В зависимости от целей кампанию можно либо масштабировать, либо попробовать оптимизировать - инкрементальная выручка по A/B тесту нейтральная, но отчет по стратегии демонстрирует высокую прямую выручку, то рекомендации можно масштабировать до 100% #### Примеры негативного сценария: - инкрементальная выручка по A/B тесту растет, но отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать (подбирать иной алгоритм или правила) - инкрементальная выручка по A/B тесту незначительно снижается и отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать - инкрементальная выручка по A/B тесту нейтральная и отчет по стратегии демонстрирует низкую прямую выручку, то стратегию нужно оптимизировать --- ## 🧠 Зачем анализировать результаты A/B теста и отчет по стратегиям? Анализ A/B теста в связке с отчетом по стратегиям помогает решить сразу несколько задач: **Проверка контекста размещения** - Рекомендации не живут в вакууме — они размещаются в карточке товара, каталоге, на главной странице и т.д. - Мы должны оценить не только прямую выручку, но и то, как рекомендации влияют на поведение пользователя и не ухудшают ли пользовательский опыт. **Сегментация и персонализация** - A/B тест позволяет сегментировать пользователей и понять, какие аудитории лучше реагируют на рекомендации. - Эти знания можно использовать для донастройки таргетинга и повышения общей выручки. **Сравнение стратегий** - Через A/B тест можно напрямую сравнивать две и более рекомендательных стратегии между собой или против контроля (без рекомендаций). **Ограничения отчета по стратегиям** - Отчет по стратегии показывает эффективность самой стратегии (выручка, клики, видимость и т.д.), но он не учитывает контекст страницы. - Например, хорошая стратегия может давать слабые результаты, если виджет находится слишком низко или плохо оформлен. Поэтому результаты A/B теста — критически важны. --- ## ❓ Часто задаваемые вопросы (FAQ) ### **Вопрос 1:** Что делать, если в A/B тесте показатели положительные, но прямая выручка стратегии низкая? **Ответ:** A/B тест показывает, что виджет **положительно влияет на пользовательский опыт**, поэтому мы рекомендуем масштабировать кампанию. Однако низкая прямая выручка указывает на необходимость доработки стратегии: - Проверьте **CTR** и **Direct Revenue per 1000 impressions** в отчете по стратегии - Сравните показатели с другими аналогичными стратегиями - Попробуйте изменить: - Тип стратегии (например, на "популярные со скидкой") - Алгоритм (фильтры по наличию/рейтингу) - Расположение и оформление виджета - Таргетинг (расширить или скорректировать) --- ### **Вопрос 2:** Что делать, если в A/B тесте показатели отрицательные, но прямая выручка стратегии высокая? **Ответ:** Стратегия **эффективна и приносит выручку**, но потенциально **мешает пользовательскому сценарию**. Возможные причины: - Некорректный заголовок или визуальный "шум" - Неудачное размещение на странице - Технические проблемы с отображением **Рекомендации:** - Проверьте, корректно ли отображается виджет на всех устройствах - Измените дизайн блока или заголовок - Переместите виджет выше - Протестируйте альтернативные форматы --- ### **Вопрос 3:** В A/B тесте видим падение выручки, но стратегия показывает высокую прямую выручку. Останавливать кампанию? **Ответ:** Нет. Это сигнал к тому, что **стратегия работает**, но **контекст её использования неудачен** (см. Вопрос 2). Рекомендуется: - Перепроверить формат блока и его соответствие странице - Изменить подачу (заголовок, карточки, логика выдачи) - Протестировать другое размещение или гипотезу --- ### **Вопрос 4:** Инкрементальная выручка в A/B тесте отрицательная, но прямая выручка стратегии высокая. Что делать? **Ответ:** Та же ситуация: стратегия генерирует ценность, но не вписывается в текущий пользовательский сценарий. **Что стоит сделать:** - Проверить, не "каннибализирует" ли виджет другие элементы (например, основную выдачу) - Изменить оформление или таргетинг - Сравнить с другими страницами или форматами виджетов --- > 💡 **Вывод:** низкая прямая выручка у стратегии — это сигнал к переосмыслению оформления или контекста, а не к её отключению.