Основы A/B-тестирования: что и как этим методом проверяют в маркетинге


Какого цвета кнопка на сайте будет более кликабельной — зеленая или голубая? Что дольше удержит на главной странице — статичный или анимированный баннер? Какой CTA будет более успешно закрывать воронку продаж? Можно бесконечно предполагать и пробовать варианты наугад, а можно провести A/B-тестирование и быстрее найти эффективное решение. Об этом маркетинговом методе исследования — в нашей статье.
Что такое A/B-тестирование
A/B-тестирование в маркетинге — достаточно простой и удобный способ проверить гипотезы по улучшению метрик воронки продаж. Чаще всего его применяют при разработке сайтов и мобильных приложений, но метод подходит и для исследований в интернет-рекламе или в коммуникациях с целевой аудиторией, например, в email-рассылках.
A/B-тест — это сравнение двух вариантов одного элемента интернет-ресурса. То есть при A/B-тестировании сайта запускают две альтернативные версии веб-страницы и определяют, какая дает наибольшую конверсию. Простой пример: если разным группам посетителей показывать страницы с разным дизайном, через какое-то время можно провести оценку результатов A/B-теста и выяснить, какой дизайн вызвал наибольший интерес и привел к наилучшему итогу — к увеличению заявок, повышению продаж.
Такой метод для проверки гипотез проводят продакт-менеджеры, дата-аналитики, программисты, маркетологи и другие специалисты, заинтересованные в повышении продаж и развитии продуктов. И в зависимости от цели тестирования можно добиться разных результатов, например:
-
улучшить метрики воронки продаж — пользовательский трафик, кликабельность, показатель отказов, продолжительность сессии и другие;
-
повысить юзабилити;
-
увеличить конверсию при рациональных рисках, так как 50 % посетителей будут видеть старую версию элемента, а половина — новую.
Что проверяют с помощью А/В-тестирования
A/B-тесты в маркетинге чаще всего применяют для проверки гипотез по самым разным элементам сайта. Это может быть:
-
кнопки призыва к действию (текст, цвет, размер);
-
дизайн и расположение на сайте формы заявки;
-
контент;
-
баннеры и изображения;
-
метатеги title и description;
-
способы оплаты;
-
варианты доставки.
В интернет-рекламе этот метод подойдет для определения наиболее эффективного заголовка, оформления быстрых ссылок, содержания рекламы, креативов.
В email-рассылках можно протестировать разные варианты тем и заголовков, приветствий и содержания обращений, визуалов.
Применяя А/В-тестирование, можно оптимизировать затраты на рекламу и продвижение и сократить риски нерационального распределения ресурсов.
Как работает А/В-тестирование — на простом примере
Представим, что коэффициент конверсии веб-страницы составляет 4 %. Маркетолог полагает, что если изменить цвет кнопки «Купить», показатель конверсии увеличится на 2-3 %.
Разработчики меняют цвет кнопки и для проверки гипотезы запускают две версии веб-страницы: 50 % посетителей видят кнопку в старом цвете, а остальные — в новом. Через месяц эксперимента оказывается, что конверсия старой версии не изменилась и осталась на уровне 4 %, а новая версия показала результат лучше — 6,5 %. В итоге — получаем рост продаж более чем в полтора раза при минимальных затратах и изменениях стратегии привлечения ЦА.
Как проводить А/В-тестирование
Важно, чтобы сравнения были максимально простыми и понятными. Если одновременно изменить цвет, текст, формат и размер CTA-кнопки на сайте, будет сложно понять, что именно сделало ее более выигрышной. Правильнее будет сначала поменять, например, только цвет, а если эффекта не будет, пробовать другие варианты и гипотезы.
Проведение A/B-тестирования состоит из четырех этапов:
-
Определяем, что меняем и какие метрики используем для измерений.
Другими словами, на первом этапе нужно задать цель тестирования. Для этого определяем проблему, выясняем, где она находится, выбираем вид изменения и аналитические инструменты, которые помогут измерить и оценить результаты.
Например, цель — увеличить число пользователей, добавляющих товары в корзину. Для достижения цели решили изменить текст кнопки с призывом к действию с «Купить» на «В корзину».
Метрикой для измерения в данном случае будет коэффициент кликабельности (Click through rate или CTR), показывающий отношение количества кликов уникальных пользователей к количеству просмотров.
Можно выбрать и несколько метрик — тогда будет больше возможностей увидеть, насколько эффективны изменения.
-
Определяем нулевую и альтернативную гипотезы.
Нулевая гипотеза при A/B-тестировании — это утверждение, что новая версия не лучше или хуже старой. То есть в примере с кнопкой при нулевой гипотезе новый коэффициент кликабельности (CTR) меньше или равен текущему.
Альтернативная или конкурирующая гипотеза отрицает нулевую и представляет собой утверждение, что новая версия лучше текущей, соответственно, и новый коэффициент кликабельности выше текущего.
-
Проводим эксперимент.
Сначала выполняем подготовительные работы: определяем размер выборки (это можно сделать с помощью специальных калькуляторов A/B-тестов), факторы воздействия, срок эксперимента, участников. А затем запускаем две версии тестируемого элемента.
Создаем контрольную и экспериментальную группы пользователей. Контрольная группа видит текущую версию, а экспериментальная — новую. Даже если пользователь обновляет интерфейс, он видит только одну версию.
-
Анализируем результаты A/B-тестирования.
На этом этапе особенно важны опыт и внимание аналитиков: от правильности расчета показателей для контрольной и экспериментальной группы зависит корректность оценки результатов эксперимента.
Для оценки метрик и демонстрации разницы применения двух версий используют различные статистические методы — распределение выборок (Sampling Distribution) с применением бутстреппинга, регрессии и иных алгоритмов машинного обучения.
Мы рассмотрели, как проводить A/B-тесты в маркетинге, выделили основные и наиболее важные моменты. Еще больше полезной и интересной информации для бизнеса — в чек-листах и памятках от экспертов СберКорус. В материалах рассказываем просто о сложном и делимся актуальным. Оставьте заявку и получите файлы на почту.

Telegram-канал СберКорус

Сфера Документы

Сфера Торговля

Сфера Отчётность
