Это вторая часть введения в моделирование медиа-микса. Расскажу подробнее о моделировании и оптимизации: как выбрать подход и метрики, собрать и предварительно обработать данные и перейти к моделированию.

Каковы различные подходы к моделированию?

Существует два подхода к построению МММ: байесовский и частотный. Давайте разберемся, в чем принципиальная разница между ними.

Частотный подход

Этот подход используется в пакете Robin MMM. Что это? Робин подходит к MMM как к задаче оптимизации, основанной на двух (иногда трех) метриках:

1. Точность показателя, то есть насколько хорошо ваша модель медиа-микса описывает текущее значение показателя и прогнозирует будущее значение.

2. Метрика коммерческого соответствия, или степень, в которой ажиотаж, полученный моделью в СМИ, совпадает с расходами на конкретный канал. Для этой метрики важно иметь хорошее представление о том, как расходовать маркетинговый бюджет, а также чтобы маркетинг работал хорошо. Почему это важно?

Несмотря на то, что идея метрики бизнес-пригодности проста и гениальна, она скрывает проблему, которая может быть не видна на первый взгляд. Часто эта мера пытается оправдать неэффективные бюджетные расходы. И это может стать проблемой, если вы не знаете, что делаете.

3. Третий дополнительный показатель показывает, насколько хорошо результат испытания на подъемную силу соотносится с эффектом, предсказанным моделью. Тест воздействия рассчитывается как процентное изменение оценок среди пользователей, получивших новую кампанию, по сравнению с контрольной группой. Эта метрика частотного подхода актуальна, если такие испытания проводились и есть данные о них.

В качестве параметра моделирования вы указываете количество моделей — чем их больше, тем больше времени будет потрачено на расчеты и тем точнее будет результат. На основе этих входных данных Робин конструирует множество моделей и, таким образом, составляет фронт Парето — список лучших моделей с точки зрения первого и второго показателей. Задача дата-сайентиста — в сотрудничестве с компаниями выбрать ту или иную модель, которая лучше всего отражает реальность.

Я расскажу вам больше о создании шаблонов медиа-миксов с помощью Robin в следующей и третьей статье серии.

Байесовский подход

Байесовский подход отличается от частотного подхода тем, что он использует байесовскую регрессию. Для оптимизации используется только апостериорное ожидание потерь, аналогично первой метрике Робин. Другими словами, мы можем судить, насколько уверена наша модель в своих предсказаниях.

Почему для первого подхода мы используем две функции потерь, а для этого — только одну? Можно предположить, что один лучше, чем два, и тогда возникает вопрос: зачем выбирать один подход, если можно использовать только байесовский метод?

Дело в том, что в байесовской регрессии мы должны указать априорное знание наших параметров; В данном случае это априорное распределение играет роль метрики соответствия бизнесу. В этом смысле у вас появляется немного больше свободы в определении параметров модели и определении эффективности того или иного канала.

Основное преимущество байесовского метода заключается в том, что он дает не точечную оценку, а распределение. Так вы сможете оценить, насколько модель уверена в том или ином результате при заданных параметрах. Это позволяет вам экспериментировать с априорными знаниями и, не выбирая среди сотен моделей, не имеющих никакого отношения к реальности, дать модели три-пять альтернативных версий реальности, в которые верит ваша компания. В результате сравнительный анализ предложит вам наименее рискованные действия.

Выбор метрики

Начать работу над моделированием нужно с выбора метрики, которую вы собираетесь моделировать. В зависимости от потребностей бизнеса и задач, поставленных перед моделью, выбор может пасть на совершенно разные метрики. После того как вы выбрали метрику, вам нужно будет выбрать уровень детализации. Вот несколько советов.

Какую метрику выбрать?

Не ограничивайте свой выбор только денежными показателями, такими как доход или прибыль. Метрикой также может быть количество новых пользователей или количество покупок через N дней после маркетинговых затрат.

Проблема с денежными показателями заключается в том, что они иногда имеют очень большой разброс. Например, если один человек в вашем бизнесе может принести вам месячный доход за одну покупку, возможно, хорошей стратегией будет выбор количества заказов в качестве показателя. В то же время, если разрыв не такой большой, вы можете упустить тот факт, что один из каналов приводит к вам менее ценных пользователей.

Какой уровень детализации мне выбрать?

Ответ здесь на самом деле точно такой же, как и на предыдущий вопрос: это зависит от вашего бизнеса и доступных данных. Если у вас регулярные изменения в течение дня, возможно, стоит использовать дневную детализацию. Для такой операции понадобится меньше данных – около года наблюдений и до 10 каналов. Если у вас есть явная недельная сезонность, берите неделю. В этом случае вам потребуются данные как минимум за два-три года. Если у вас нет четкой сезонности, попробуйте разные варианты в разных производствах и выберите тот, который дает наиболее точный замер.

Сбор и предварительная обработка данных

Канальный отдел

Разделение каналов, пожалуй, самая важная часть создания МММ. На этом этапе вам понадобится информация о распределении расходов между маркетинговыми компаниями.

Итак, у вас достаточно данных для создания модели медиамикса. Это важный шаг. Начните с визуализации временных рядов расходов на вашу кампанию. Уже на этом этапе результаты могут вас удивить, и вы можете начать исключать выбросы, то есть экстремальные значения расходов, возникшие случайно или по ошибке.

Следующий шаг, который я рекомендую, — изучить коллинеарность бизнеса в разных медиа-каналах. Если вы обнаружите две кампании, временные ряды которых ведут себя одинаково, возможно, стоит объединить их в один медиаканал.

Этот эффект в статистике называется мультиколлинеарностью. Из-за их совпадения во времени было бы невозможно разделить эффекты двух кампаний, сравнивая их по отдельности. Вот почему имеет смысл объединить их и оценить вместе.

Анализ пробелов и выбросов

Это важный шаг, на котором вам нужно будет сотрудничать с маркетологами, ответственными за конкретный канал. Спросите их, как, по их мнению, сработал тот или иной бизнес. Не бойтесь удалять компании, которые, по словам маркетинга, не оказали влияния на продажи.

То же самое следует сделать с выбросами или аномалиями. Я использовал сервис ETNA Тинькофф для замены выбросов средними значениями.

Возможно, было бы разумно исключить из анализа расходы, связанные с брендом, независимо от того, идут ли они на защиту бренда или его узнаваемость.

• Защита бренда — это затраты в самом низу воронки, и избежать их невозможно: если ваш конкурент предложит ключевое слово для вашего бренда, он украдет вашего покупателя. В то же время эти расходы являются наиболее эффективными. В некотором смысле это связано с расходами на органику и маркетингом по другим каналам. Модель уже учитывает их, поэтому имеет смысл их исключить.

• С другой стороны, узнаваемость бренда находится на самом верху воронки и обычно не приводит к значительным краткосрочным бизнес-эффектам. В то же время затраты могут быть одними из самых высоких. В этом случае, если априорное распределение плохо определено в байесовском подходе, а также при моделировании с использованием Робина, модель будет «попытаться найти оправдание» столь больших затрат и обнаружить эффект там, где в действительности его нет. не какой-либо.

Приступаем к моделированию

Выбор окна моделирования

Когда вы будете готовы приступить непосредственно к моделированию, выберите окно «Моделирование». Мы проанализировали минимальный набор данных выше — это примерно годовые наблюдения в разбивке по дням. А верхняя планка? Применяется ли здесь правило, как и во всем машинном обучении: «Чем больше, тем лучше»?

Не совсем. Оптимальное окно моделирования зависит от вашего бизнеса и постановки задачи. В предыдущей статье я уже описал два основных эффекта в МММ-анализе: адский запас и насыщение. Дело в том, что параметры этих эффектов в реальном мире не фиксированы во времени.

Это можно проиллюстрировать на примере Covid-19 и авиакомпаний. Видно, что глубина каналов поиска во время локдауна существенно снизилась. Это связано с тем, что количество людей, желающих купить билеты на самолет, резко сократилось из-за ограничений. Аналогичные эффекты, но в меньшей степени, фиксируются без столь резких изменений.

Как это учесть? На момент написания этой статьи все решения с открытым исходным кодом записывали эти типы параметров на протяжении всего периода обучения модели. Это означает выбор периода обучения, для которого действительно все эффекты насыщения и рекламного стока находятся в одном диапазоне и не меняются резко.

Итак, если у вас стабильный бизнес, на который не сильно влияют внешние факторы, то вы можете выбирать длительные периоды. Если ваш бизнес в значительной степени зависит от факторов, которые меняются со временем, попробуйте собрать данные за периоды, когда ваши бизнес-показатели были наиболее стабильными.

Моделирование

Вот и все готово, мы выбрали все необходимые метрики и параметры. Теперь нам просто нужно запустить модель и проверить значение точности на лаговой выборке.

Ну и что ? Затем вы начинаете процесс снова. В частности, вы фиксируете настройку эксперимента, добавляете или удаляете данные, настраиваете параметры, а затем повторяете все, пока не получите результат, который удовлетворит вас и вашего клиента.

Мы об этом много не говорим, но МММ не приводит к четкому результату в 100% случаев. Установите ограничение по времени, чтобы вы могли в определенный момент остановиться, оценить успешность эксперимента и при необходимости остановить эксперимент.