Я собирался не рассказывать о том, что я тестировал совершенно идентичные наборы объявлений, как о большом открытии, но решил испортить сюрприз, поместив это в заголовок. Я не хочу, чтобы вы пропустили то, что я здесь сделал.

Тот факт, что я тестировал идентичные наборы объявлений, не станет сюрпризом. Но здесь можно найти много такого, что вызовет удивление.

Это какое-то безумие. Это смешно. Кто-то может посчитать это пустой тратой денег. И в этом так много уроков.

Пойдем…

Вдохновение

Тестировать вещи — мое любимое занятие. Всегда есть чему поучиться.

Несколько моих недавних тестов заставили меня задуматься, имеет ли вообще значение сегментация (прочитайте это и это). Дело не в том, что не важно, чтобы вы дошли до нужных людей. Из-за расширения аудитории при оптимизации конверсий алгоритм достигнет всех, кого он достигнет.

Этот «мираж контроля» остается со мной. Но есть еще кое-что: Если алгоритм собирается делать то, что собирается делать алгоритм, что это говорит о влиянии случайности?

Предположим, вы тестируете четыре различных метода таргетинга при оптимизации конверсий:

• Преимущество+ Аудитория без предложений
• Преимущество+Аудитория с предложениями
• Исходные аудитории с подробным таргетингом (детальный таргетинг Advantage включен и не может быть отключен)
• Исходные аудитории с похожими аудиториями (преимущество похожих включено и не может быть отключено)

В трёх из этих вариантов вы можете предоставить некоторую информацию. Но во всех из них таргетинг в конечном итоге контролируется алгоритмами. Расширение произойдет.

Если это так, что мы можем сделать с результатами теста? Являются ли они значительными? Сколько из них произошло благодаря вашему вкладу, а сколько — благодаря расширению? Являются ли они совершенно случайными? Можем ли мы увидеть другой результат, если протестируем четыре раза?

Как только я начал рассматривать вклад случайности, это заставило меня подвергнуть сомнению каждый тест, который мы проводим на основе достаточно небольших выборок. И давайте будем честными: рекламодатели постоянно принимают важные решения на основе небольших выборок.

Но, возможно, я схожу с ума здесь. Возможно, я захожу слишком далеко. Я хотел это проверить.

Тест

Я создал коммерческую кампанию, состоящую из трех групп объявлений. Все три имели идентичную конфигурацию во всех отношениях.

1. Цель эффективности: максимизировать количество конверсий.

2. Конверсионное событие: полная регистрация.

Обратите внимание: причина, по которой я использовал коммерческую кампанию, заключалась в том, чтобы получить больше информации о том, как доставляется реклама для ремаркетинга и поиска аудитории. Это можно сделать с помощью сегментов аудитории. Я использовал полную регистрацию, чтобы мы могли добиться значимых результатов, не тратя тысячи долларов на дублирующие группы объявлений.

3. Настройка атрибуции: клик за 1 день.

В частности, я не хотел, чтобы результаты бесплатной регистрации были искажены или завышены из-за результатов просмотра.

4. Сегментация: Преимущество+ Аудитория без предложений.

5. Страны: США, Канада и Австралия.

Я не включил Великобританию, поскольку она не разрешена при проведении A/B-тестирования.

6. Размещения: Преимущество+.

7. Реклама: идентична.

Реклама в каждом случае была одинаково персонализирована. Нет никакой разницы по тексту или креативу, по каналу или креативу Advantage+. Эти объявления также были созданы с нуля, поэтому они не использовали взаимодействие с предыдущей кампанией.

Результаты на поверхностном уровне

Во-первых, давайте проверим, была ли доставка этих трех групп объявлений в основном одинаковой. В этом случае основное внимание будет уделяться в первую очередь цене за тысячу показов, которая повлияет на охват и показы.

Это близко. Хотя цена за тысячу показов составляет около 1 доллара, группа объявлений C оказалась самой дешевой. Хоть это и не является существенным преимуществом, но может привести к большему результату.

Меня также интересует распространение среди ремаркетинговой и потенциальной аудитории. Поскольку мы используем цель «Продажи», мы можем визуализировать эту информацию с помощью сегментов аудитории.

Она находится в пределах около 9 долларов США, но мы не можем игнорировать тот факт, что большая часть бюджета была потрачена на ремаркетинг для группы объявлений Б. Это может означать преимущество для большего количества конверсий. Имейте в виду, что конверсии по показам не будут способствовать повышению результатов, поскольку мы используем атрибуцию кликов только за 1 день.

Результаты конвертации

Давайте сразу перейдем к делу. На три одинаковых набора объявлений было потрачено в общей сложности более 1300 долларов. Что приведет к увеличению конверсий? И насколько это близко?

Группа объявлений Б обеспечила наибольшее количество конверсий и не была особенно близка к этому.

• Группа объявлений Б: 100 конверсий (4,45 доллара США за конверсию).
• Группа объявлений C: 86 конверсий (5,18 доллара США за конверсию).
• Группа объявлений А: 80 конверсий (5,56 доллара США за конверсию).

Имейте в виду, что группа объявлений А выиграла от более низкой цены за тысячу показов, но это не помогло. Группа объявлений А принесла на 25% меньше конверсий, чем группа объявлений Б, а цена за конверсию была более чем на доллар выше.

Привлекла ли группа объявлений Б больше конверсий благодаря дополнительным 9 долларам, потраченным на ремаркетинг? Нет, я не думаю, что у вас там будет особенно сильный аргумент…

Группа объявлений C обеспечила наибольшее количество конверсий благодаря ремаркетингу — 16. Только 7 из группы объявлений B (и 5 из группы объявлений A).

Результаты сплит-теста

Помните, это был A/B-тест. Итак, Мета активно искала победителя. Победитель был найден быстро (я не позволял Мете останавливать тест после обнаружения победителя), и даже был бы процент уверенности в том, что победитель останется прежним или изменится, если тест будет запущен снова.

Давайте проанализируем, что означает это безумие…

Основываясь на статистическом моделировании тестовых данных, Meta уверена, что группа объявлений B выиграет в 59% случаев. Хотя эта поддержка не является подавляющей, она в два раза выше, чем доверие к группе объявлений C (27%). В то же время группа объявлений А явно проигрывает с показателем 14%.

Статистическое моделирование Meta явно не предполагает, что эти наборы объявлений и объявления были полностью идентичны.

Возможно, прогнозируемая эффективность не имеет ничего общего с тем фактом, что все в каждой группе объявлений идентично. Возможно, именно благодаря раннему вовлечению и динамике группы объявлений Б у нее теперь есть статистическое преимущество.

Я не знаю. В колледже я не изучал статистику, но мне кажется, что это предел.

Извлеченные уроки

Все эти испытания могут показаться странным занятием и пустой тратой денег. Но это, возможно, один из самых важных тестов, которые я когда-либо проводил.

В отличие от других тестов, мы знаем, что различия в эффективности не связаны с тем, как настроено объявление, его текст или креатив. Мы игнорируем разницу в 25 %, поскольку знаем, что ярлык «Группа объявлений Б» не обеспечил какого-либо улучшения доставки и привел к увеличению конверсий на 25 %.

Разве это не говорит о том, как мы рассматриваем результаты тестов, когда все не настроено одинаково?

ДА!!

Допустим, вы тестируете разные объявления. Вы создаете три разных набора объявлений и тратите 1300 долларов на тестирование этих трех объявлений. Один генерирует на 25% больше конверсий, чем другой. Ты победитель, да? Вы выключаете другой?

Те, кто на самом деле изучал статистику в колледже, вероятно, кричат ​​на меня в комментариях по поводу небольших выборок. ДА! Это ключевой момент!

Случайность естественна, но со временем она должна уравновеситься. В случае этого теста, каковы будут результаты следующих потраченных 1300 долларов? А потом следующий? Скорее всего, результаты будут продолжать колебаться, и мы увидим, как различные наборы объявлений возьмут на себя инициативу в гонке, которая никогда не будет окончательно решена.

Маловероятно, что если бы мы потратили на этот тест 130 000 долларов вместо 1300 долларов, мы бы увидели выигрышный набор объявлений с преимуществом на 25% над худшим. И это важная тема этого теста – и случайности.

Что означает снимок расходов на рекламу в размере 1300 долларов? Всего около 266 конверсий? Можете ли вы принять решение о выигрышном наборе объявлений? Выигрышный рекламный креатив? Победный текст?

Не стоит недооценивать вклад случайности в ваши результаты.

Я не хочу, чтобы вывод заключался в том, что все результаты случайны и ничего не значат. Вместо этого я призываю вас ограничить свою одержимость результатами тестов и поиском победителей, если вы не можете создать объем, который будет подкреплен уверенностью в сохранении тенденций.

Некоторые рекламодатели тестируют все. И если у вас есть бюджет для создания объема, который принесет вам значительные результаты, отлично!

Но нам нужно положить конец этой одержимости тестированием на небольших выборках. Если вы вряд ли добьетесь существенного изменения, нет необходимости «находить победителя».

Это не парализует. Это освобождает.

Подход с меньшим размером выборки

Сколько вам нужно потратить, чтобы получить значительные результаты, будет зависеть от нескольких факторов. Но типичным рекламодателям, у которых нет доступа к большим бюджетам, я предлагаю использовать скорее «тестовый» подход.

Во-первых, консолидируйте любой бюджет, который у вас есть. Частично проблема тестирования с меньшим бюджетом заключается в том, что оно еще больше разделяет сумму, которую вы можете потратить. Значимые результаты становятся еще менее вероятными, если разделить бюджет в 100 долларов на пять частей.

Вам все равно следует что-то тестировать, но это не всегда должно быть с желанием найти победителя.

Если то, что вы делаете, не работает, сделайте что-нибудь другое. Используйте другую оптимизацию. Другой подход к таргетингу. Другой текст объявления и креатив. Попробуйте это в течение нескольких недель и посмотрите, улучшатся ли результаты.

Если они этого не сделают? Попробуйте что-нибудь еще.

Я знаю, что это сводит с ума тех, кто чувствует, что им нужно постоянно проводить A/B-тестирование с целью найти «победителей», но когда вы понимаете, что случайность определяет значительную часть ваших результатов, эта навязчивая идея ослабевает.

Ваше время

Замечали ли вы подобный вклад случайности в ваши результаты? Как вы относитесь к этому восприятию?

Дайте мне знать в комментариях ниже!