Они не только слышали об A / B -тестах, они, вероятно, удалось записать их в панацеи всех маркетинговых проблем. В каждом секунде блога на каждом третьем вебинаре и в каждом первом списке проверки: «Тест! Сравните! Win!»

Да, все это правда. Да, A / B -тесты важны. Но по любой причине мало кто знает, как их сделать (это мое оценочное суждение, основанное на опыте взаимодействия, а не на анализе рынка, но все же).

A / B -тесты — это способ сравнить два варианта (A и B) и понять тот, который работает лучше. Например, какая кнопка привлекает больше щелчков, и раздел приводит к покупкам. На самом деле, это классическое определение. Все просто: мы разделяем публику на два, показываем разные версии и смотрим, где результат выше. Но если в простом смысле: это способ понять, какая версия вашей идеи работает, и не только это кажется крутым.

И теперь, даже проще, без воды и ненужной теории (хотя я не думаю, что она лишняя), мы проанализируем пример конкретного случая на примере конкретного случая, как быстро и без боли запустить A / B -тест через Yandex.metrika и Cookies. Даже если вы не являетесь докладчиком и анализом гуру.

И в своем собственном Телеграмма Я пишу еще больше обо всем реальном маркетинге.

Итак, давайте начнем шаги любого теста:

1. Поймите, что мы всегда проходим тест и какую гипотезу

2. Понять, как долго мы пройдемся и какой результат статистически значимым

3. Случай технологии: запустите сценарий для разделения трафика и начните собирать статистику

4. Мы анализируем результат

Мы понимаем, что мы ездим и проходим тест и предлагаем гипотезу

Чтобы сделать это действительно тестом, а не «чувство маркетинга», необходимы три вещи:

• Гипотеза — ваша идея: «Если мы изменим x, то улучшитсяПолем Например: «Если мы изменим цвет кнопки на красный, CTR будет развиваться»Полем

• Нулевая гипотеза (H₀) — скучная, но необходимая: «Нет разницы между опциями»Полем Это против того, что мы «боремся».

• Альтернативная гипотеза (H₁) — но это уже интересно: «Есть разница, а красная кнопка — верхняя часть»Полем

Чтобы сделать это более интересным, давайте поймем живые примеры. Наиболее распространенным примером тестов AB является либо полностью посадка (что странно, потому что существует множество факторов, влияющих на решение и, тем не менее, не так часто, как вступительный тест), либо важные разделы страниц назначения. Чаще всего блоки CTA. Возьмите такой пример.

Пусть наша гипотеза будет следующей: если мы передаем текущий блок CTA в новый, преобразование увеличится. Нулевая гипотеза — никакой разницы не произойдет, мы только что изменили элементы блока в местах. Альтернативная гипотеза — это разница, мы не только изменили местоположение, но и слушали всего гуру UX и делали все из книг.

Оттуда следуют следующие концепции: Вариант а — Старый блок CTA не изменился и Вариант б — Новый блок с идеями от гуру UX.
Есть только 2 варианта, что означает, что мы разделим пользователей на 2 группы. Чтобы показать одно, другой.

Как долго мы будем тестировать?

Теперь вы должны понимать (таутологию) и как мы действительно понимаем, что тест успешен или нет? А после того, сколько мы поймем?

Это все еще нуждается в небольшой теории, но на самом деле немного. Эти концепции, которые нам нужны сейчас:

• Случайное распределение является одинаково возможной целью в группах.

• Уровень значения (α) является вероятностью ложного положительного результата. Мы не волнуемся и всегда принимаем 5%, говорят они, чтобы сделать классику и против кого мы против.

• Минимальное значительное увеличение (MDE) — это минимальное увеличение, которое может быть надежно фиксировано.

• Статистическое значение является достаточным доверием, чтобы разница была случайной.

• Сила теста (1 — β) является вероятностью обнаружения реального эффекта. Мы не волнуемся и не принимаем 80%, как в случае с α.

Необходимо рассчитать минимальный период для текущего трафика и минимального статистического роста, необходимого для статистической значимости теста. Для расчета мы будем собирать текущую статистику.

Пусть они будут такими:

• Период (полный месяц до даты измерения) — 01.04.2025 — 30/04/2025

• Всего посещений — 17 509

• Целевые визиты (посещения которых достигли цели спроса) из конкретной посадки — 917

• Конверсия — 917/17509 = 5% (0,0524)

• Уровень значения (α — постоянная всегда занимает 5%): 5%

• 50/50 распределение

Расчет минимального значительного увеличения конверсии (MDE):

Мы рассчитываем по формуле:

Или:

• P — преобразование (0,0524)

• n — количество посещений в каждый Группа (17 509)

• Zα / 2 = 1,96 — Квантиль нормального распределения за 5%. Это постоянная, заменить его всегда и не беспокоиться о сложном квантиле Слова

• Zβ = 0,84 — квантиль для мощности 80%. Точно так же.

Подпима:

Статистически значимое минимальное увеличение ≈ 0,00667 или 0,67 процентного пункта.

(От 5,24% до 5,91%) — + 12,7% рост по сравнению с текущей конверсией.

Почему статистические тесты необходимы?

Зачем рассчитывать минимальное время пасты (MDE)? Но чтобы не выполнять слишком долго или слишком быстро испытания.

Проблема 1: Если вы остановите тест A / B слишком рано, результаты могут быть случайными из -за удачи или неудачи.

Проблема 2: тест уже может быть остановлен из -за увеличения трафика на страницу (по любой причине), и мы продолжим его скручивать.

Зачем рассчитывать статистически значимое увеличение

Ясно, что дает ответ, что такое увеличение интереса не является случайностью, а моделью нашей гипотезы. Статистика дает ответ на вопрос о том, какое увеличение не является случайным для рассмотрения. Статистика будет избегать выполнения того же типа теста с незначительным результатом.

Ливхак: Вам не нужно считать все это, просто используйте приглашение CHATGPT, в зависимости от следующей модели:

Рассчитайте для меня тест AB.

Посадка А:

Период измерения 01.04.2025 — 30.04.2025

Всего посещений — 17 509

Приложения — 917

Конверсия — 5%

Уровень значения α составляет 5%

Тестовая сила (1 β) — 80%

50/50 распределение

Хорошо, мы были отвлечены тем, что имеем: тест предназначен для того, чтобы сделать выборку из 17 509 посещений, и статистически значимое увеличение конверсии должно составлять + 12,7%. При такой посещаемости мы понимаем, что тест продлится около 1 месяца. Если необходимо быстрее провести тест, необходимо увеличить трафик. Мы изменяем данные при расчете значения этого трафика.

Случай технологий, разделить трафик на статистику посадки и сбора

Здесь я сразу же подготовил для вас сценарий JS, который просто будет работать в коде сайта или в GTM. Конечно, не без адаптации, но, тем не менее, / давайте проанализируем это.

document.addEventListener("DOMContentLoaded", function () {
    // Функция для установки куки
    function setCookie(name, value, days) {
        var date = new Date();
        date.setTime(date.getTime() + (days * 24 * 60 * 60 * 1000));
        document.cookie = name + "=" + encodeURIComponent(value) + ";expires=" + date.toUTCString() + ";path=/";
    }

    // Функция для получения куки
    function getCookie(name) {
        var matches = document.cookie.match(new RegExp(
            "(?:^|; )" + name.replace(/([.$?*|{}\\()\[\]\\/\\+^])/g, '\\$1') + "=([^;]*)"
        ));
        return matches ? decodeURIComponent(matches[1]) : undefined;
    }

    // Определение группы пользователя
    var abTestCookie = getCookie('abtest');

    if (!abTestCookie) {
        abTestCookie = Math.random() > 0.5 ? 'A' : 'B';
        setCookie('abtest-presto', abTestCookie, 365);
    }

    // Перенаправление пользователей в зависимости от группы
    if (abTestCookie === 'A') {
        window.location.href="
    } else {
        window.location.href="
    }

    // Дождаться загрузки скрипта Яндекс.Метрики
    function waitForYandexMetrika(callback) {
        if (typeof ym !== 'undefined') {
            callback();
        } else {
            setTimeout(function () {
                waitForYandexMetrika(callback);
            }, 100);
        }
    }

    waitForYandexMetrika(function () {
        var abGroup = getCookie('abtest-presto');
        if (abGroup) {
            ym(YOUR_METRIKA_ID, 'params', {
                ab_group: abGroup
            });
        }
    });
});

Сценарий:

1. Он определяет, введен ли пользователь группу A или B (если он еще не ударил, он определяет случайно).

2. Сохраните выбор в печенье.

3. Пользователь перенаправляет по желаемому URL -адресу в зависимости от группы.

4. Live Yandex заряды. Метрики и передавайте группу имен TODA в качестве персонализированного параметра.

Простой тест A / B работника с подразделением пользователя, перенаправлением и журнализацией группы на yandex.metrica. Для MVP или быстрого опыта — отличное решение. Но для продвинутых целей (сегментация, сбор конверсии, аналитик отказа) — необходимо доработать механику перенаправления и подсчета событий.

Что получено результатами метрики?

Самое главное, что после расчетного периода мы удалим статистику. Не в течение дня, не через неделю, но и после того, как математика это сказала. Статистики нет, и вы можете отслеживать поток теста, никто не запрещает, но не остерегается ложных выводов, которые вы поэтому хотите принять на первых этапах, когда вы видите, например, удаление 50 в версии. В отчете о параметрах посещений мы видим такое изображение. (Простите меня, имя параметра распространения).

Но это ничего не сообщило нам, мы должны добавить здесь обращение в основные меры, но удалить избыток. Добавьте преобразование посещения в целевое посещение и количество целевых посещений и получите следующее изображение.

Что ж, есть только один вывод, нулевая гипотеза, две версии абсолютно идентичны пользователям. Наш тест AB отмечен, гипотеза не преуспевает, и следующая книга следующего гуру UX идет в мусор. Но мы не отчаиваемся, но давайте двигаться дальше.

Таким образом, вы проведете самый простой тест AB с минимальным участием разработчиков, на протяжении всего классического теста AB, а статус анализа довольно прост и быстр. И как поставить вещи в гипотезы и регулярно проводить тесты, и что некоторые результаты не мешают другим, я буду говорить в следующих статьях, если они прибудут.