Исследователи из Южного методистского университета и Мичиганского университета опубликовали исследование, в котором изучается AB-тестирование онлайн-рекламы на платформах, выявляющее существенные ограничения, которые могут привести к ошибочным выводам об эффективности рекламы.

Изучение, опубликовано в Маркетинговый журналКнига озаглавлена ​​«Где AB-тестирование идет не так: как расходящиеся поставки влияют на то, что онлайн-эксперименты не могут (и могут) рассказать вам о том, как клиенты реагируют на рекламу», и была написана Майклом Брауном и Эриком М. Шварцем.

Представьте себе компанию, занимающуюся ландшафтным дизайном, чьи проекты сосредоточены на местных растениях и сохранении воды. Компания создает два рекламных объявления: одно посвящено устойчивому развитию (Объявление А), а другое — эстетике (Объявление Б).

Поскольку платформы персонализируют рекламу, которую получают разные пользователи, реклама А и Б показывается группам с разным составом. Пользователи, интересующиеся активным отдыхом на свежем воздухе, могут увидеть рекламу устойчивого развития, а пользователи, интересующиеся домашним декором, — эстетическую рекламу. Ориентация рекламы на конкретных потребителей является ключевой частью ценности, которую платформы предоставляют рекламодателям, поскольку они стремятся показывать «правильную» рекламу «нужным» пользователям.

В этом исследовании исследователи Браун и Шварц обнаружили, что онлайн-тестирование AB в цифровой рекламе может не дать надежную информацию, которую ожидают маркетологи. Их исследование выявило существенные ограничения в инструментах экспериментирования, предоставляемых платформами онлайн-рекламы, которые потенциально могут привести к ошибочным выводам об эффективности рекламы.

Проблема с «разной доставкой»

В исследовании подчеркивается явление, называемое «дивергентной доставкой», когда алгоритмы, используемые платформами онлайн-рекламы, такими как Meta и Google, нацелены на разные типы пользователей с разным рекламным контентом. Проблема возникает, когда алгоритм отправляет разные объявления разным группам пользователей с помощью AB-тестирования: эксперимента, предназначенного для сравнения эффективности двух объявлений.

Браун объясняет: «Объявление-победитель могло оказаться более эффективным просто потому, что алгоритм показал его пользователям, которые с большей вероятностью отреагировали на это объявление, чем пользователи, которые видели другое объявление. Одна и та же реклама может работать лучше или хуже в зависимости от состава пользователей, которые ее видят, а не от креативного содержания самой рекламы».

Для рекламодателя, особенно с широкой аудиторией и ограниченным бюджетом, таргетинг имеет большую ценность. Вот почему крупные компании, такие как Google и Meta, используют алгоритмы, которые назначают рекламу конкретным пользователям. На этих платформах рекламодатели делают ставки за право показывать рекламу пользователям целевой группы.

Однако победитель аукциона на право размещения рекламы на экране конкретного пользователя зависит не только от денежного выражения ставок, но и от содержания объявления и релевантности объявления пользователю. Точные входные данные и методы, которые определяют релевантность рекламы для пользователей, то, как релевантность влияет на результаты аукциона и, следовательно, на каких пользователей нацелено каждое объявление, являются собственностью конкретных платформ и не видны рекламодателям.

Неизвестно, как именно алгоритмы определяют релевантность типам пользователей, и это может даже не подсчитываться или воспроизводиться самими платформами.

Результаты исследования имеют большое значение для маркетологов, которые полагаются на AB-тестирование своей онлайн-рекламы для формирования своих маркетинговых стратегий.

«Из-за их низкой стоимости и, казалось бы, научной привлекательности, маркетологи используют эти тесты онлайн-рекламы для разработки стратегий, помимо простого решения, какое объявление включить в следующую кампанию. «Поэтому, если платформам не ясно, что эти эксперименты не являются действительно рандомизированными, они дают маркетологам ложное чувство безопасности в отношении их решений, основанных на данных», — говорит Шварц.

Фундаментальная проблема интернет-рекламы

Исследователи утверждают, что эта проблема — не просто технический недостаток этого инструмента, а фундаментальная особенность работы онлайн-рекламного бизнеса. Основная цель платформы — максимизировать эффективность рекламы, а не предоставлять маркетологам экспериментальные результаты.

Таким образом, у этих платформ мало стимулов позволять рекламодателям отделять влияние рекламного контента от влияния их собственных алгоритмов таргетинга. Маркетологи оказались в затруднительном положении, поскольку им придется либо принять предвзятые результаты этих тестов, либо инвестировать в более сложные и дорогостоящие методы, чтобы по-настоящему понять влияние креативных элементов в их рекламе.

В исследовании используются модели, статистический анализ и демонстрация различий в доставке по сравнению с фактическим испытательным запуском AB на месте. Это бросает вызов широко распространенному предположению, что результаты AB-тестов, сравнивающих несколько рекламных объявлений, дают такую ​​же возможность делать причинно-следственные выводы, что и рандомизированные эксперименты.

Маркетологи должны знать, что различия в воздействии объявлений А и Б, о которых сообщают эти платформы, могут не полностью отражать фактическое воздействие их рекламы. Признавая эти ограничения, маркетологи могут принимать более обоснованные решения и избежать ошибок, связанных с неправильной интерпретацией данных этих тестов.