Это может быть случайно…

Вы тестируете все. Вы хотите выделить лучший текст, лучший заголовок, лучший креатив. Какая комбинация работает лучше всего? Вы делаете то же самое с сегментацией, хотя я все еще сомневаюсь, стоит ли вам это делать.

Моя самая большая проблема заключается в том, что вы слишком остро реагируете на результаты, которые могут ничего не значить. Вы тестируете три разные версии текста, и одна из них дает лучшие результаты.

Почему результаты лучше? Потому что разница статистически значима? Это небольшой размер выборки? Получите ли вы те же результаты, если проведете один и тот же тест 10 раз?

Случайность

Не исключается возможность случайности результатов.

Я часто задаюсь этим вопросом. Выбор того, кто увидит нашу рекламу, зависит от длинного списка сложных факторов и может быть в некоторой степени случайным. Многие факторы влияют на то, сможет ли человек не только увидеть рекламу, но и увидеть ее и действовать в соответствии с ней.

Это не должно вызывать удивления. Но когда вы начинаете анализировать результаты, чтобы изолировать отдельные объявления, заголовки и креативы, эта потенциальная случайность становится более эффективной. Чем меньше набор данных, с которым вы работаете, тем менее он надежен.

сделай это

Я призываю вас попробовать что-нибудь. Запустите сплит-тест трех групп объявлений. Каждый из них совершенно одинаковый. Оптимизация, таргетинг, места размещения, реклама – все. Они являются дубликатами.

Получите ли вы точно такие же результаты? Вероятно, нет. Получите ли вы набор объявлений, который будет заметно превосходить другие? Возможно.

Если вы получите заметно разные результаты, что это будет означать? Что это скажет о некоторых ваших решениях, основанных на статистически незначимых результатах или результатах небольшого размера выборки?

Я планирую попробовать именно это. Следите за обновлениями…