Войти
Блог

Основы A/B-тестирования: что и как этим методом проверяют в маркетинге

13 декабря 2023

Какого цвета кнопка на сайте будет более кликабельной — зеленая или голубая? Что дольше удержит на главной странице — статичный или анимированный баннер? Какой CTA будет более успешно закрывать воронку продаж? Можно бесконечно предполагать и пробовать варианты наугад, а можно провести A/B-тестирование и быстрее найти эффективное решение. Об этом маркетинговом методе исследования — в нашей статье. 

Что такое A/B-тестирование

A/B-тестирование в маркетинге — достаточно простой и удобный способ проверить гипотезы по улучшению метрик воронки продаж. Чаще всего его применяют при разработке сайтов и мобильных приложений, но метод подходит и для исследований в интернет-рекламе или в коммуникациях с целевой аудиторией, например, в email-рассылках. 

A/B-тест — это сравнение двух вариантов одного элемента интернет-ресурса. То есть при A/B-тестировании сайта запускают две альтернативные версии веб-страницы и определяют, какая дает наибольшую конверсию. Простой пример: если разным группам посетителей показывать страницы с разным дизайном, через какое-то время можно провести оценку результатов A/B-теста и выяснить, какой дизайн вызвал наибольший интерес и привел к наилучшему итогу — к увеличению заявок, повышению продаж. 

Такой метод для проверки гипотез проводят продакт-менеджеры, дата-аналитики, программисты, маркетологи и другие специалисты, заинтересованные в повышении продаж и развитии продуктов. И в зависимости от цели тестирования можно добиться разных результатов, например:

  • улучшить метрики воронки продаж — пользовательский трафик, кликабельность, показатель отказов, продолжительность сессии и другие;

  • повысить юзабилити;

  • увеличить конверсию при рациональных рисках, так как 50 % посетителей будут видеть старую версию элемента, а половина — новую. 

Что проверяют с помощью А/В-тестирования

A/B-тесты в маркетинге чаще всего применяют для проверки гипотез по самым разным элементам сайта. Это может быть:

  • кнопки призыва к действию (текст, цвет, размер);

  • дизайн и расположение на сайте формы заявки;

  • контент;

  • баннеры и изображения;

  • метатеги title и description;

  • способы оплаты;

  • варианты доставки.

В интернет-рекламе этот метод подойдет для определения наиболее эффективного заголовка, оформления быстрых ссылок, содержания рекламы, креативов. 

В email-рассылках можно протестировать разные варианты тем и заголовков, приветствий и содержания обращений, визуалов. 

Применяя А/В-тестирование, можно оптимизировать затраты на рекламу и продвижение и сократить риски нерационального распределения ресурсов. 

Как работает А/В-тестирование — на простом примере

Представим, что коэффициент конверсии веб-страницы составляет 4 %. Маркетолог полагает, что если изменить цвет кнопки «Купить», показатель конверсии увеличится на 2-3 %.

Разработчики меняют цвет кнопки и для проверки гипотезы запускают две версии веб-страницы: 50 % посетителей видят кнопку в старом цвете, а остальные — в новом. Через месяц эксперимента оказывается, что конверсия старой версии не изменилась и осталась на уровне 4 %, а новая версия показала результат лучше — 6,5 %. В итоге — получаем рост продаж более чем в полтора раза при минимальных затратах и изменениях стратегии привлечения ЦА. 

Как проводить А/В-тестирование

Важно, чтобы сравнения были максимально простыми и понятными. Если одновременно изменить цвет, текст, формат и размер CTA-кнопки на сайте, будет сложно понять, что именно сделало ее более выигрышной. Правильнее будет сначала поменять, например, только цвет, а если эффекта не будет, пробовать другие варианты и гипотезы. 

Проведение A/B-тестирования состоит из четырех этапов:

  1. Определяем, что меняем и какие метрики используем для измерений.

Другими словами, на первом этапе нужно задать цель тестирования. Для этого определяем проблему, выясняем, где она находится, выбираем вид изменения и аналитические инструменты, которые помогут измерить и оценить результаты. 

Например, цель — увеличить число пользователей, добавляющих товары в корзину. Для достижения цели решили изменить текст кнопки с призывом к действию с «Купить» на «В корзину». 

Метрикой для измерения в данном случае будет коэффициент кликабельности (Click through rate или CTR), показывающий отношение количества кликов уникальных пользователей к количеству просмотров. 

Можно выбрать и несколько метрик — тогда будет больше возможностей увидеть, насколько эффективны изменения. 

  1. Определяем нулевую и альтернативную гипотезы.

Нулевая гипотеза при A/B-тестировании — это утверждение, что новая версия не лучше или хуже старой. То есть в примере с кнопкой при нулевой гипотезе новый коэффициент кликабельности (CTR) меньше или равен текущему.

Альтернативная или конкурирующая гипотеза отрицает нулевую и представляет собой утверждение, что новая версия лучше текущей, соответственно, и новый коэффициент кликабельности выше текущего. 

  1. Проводим эксперимент. 

Сначала выполняем подготовительные работы: определяем размер выборки (это можно сделать с помощью специальных калькуляторов A/B-тестов), факторы воздействия, срок эксперимента, участников. А затем запускаем две версии тестируемого элемента. 

Создаем контрольную и экспериментальную группы пользователей. Контрольная группа видит текущую версию, а экспериментальная — новую. Даже если пользователь обновляет интерфейс, он видит только одну версию. 

  1. Анализируем результаты A/B-тестирования. 

На этом этапе особенно важны опыт и внимание аналитиков: от правильности расчета показателей для контрольной и экспериментальной группы зависит корректность оценки результатов эксперимента. 

Для оценки метрик и демонстрации разницы применения двух версий используют различные статистические методы — распределение выборок (Sampling Distribution) с применением бутстреппинга, регрессии и иных алгоритмов машинного обучения.

Мы рассмотрели, как проводить A/B-тесты в маркетинге, выделили основные и наиболее важные моменты. Еще больше полезной и интересной информации для бизнеса — в чек-листах и памятках от экспертов СберКорус. В материалах рассказываем просто о сложном и делимся актуальным. Оставьте заявку и получите файлы на почту. 

Подписывайтесь на наш
Telegram-канал СберКорус
Наши продукты

Сфера Документы

ЭДО с контрагентами

Сфера Торговля

Цифровизация заказов и поставок

Сфера Отчётность

Отчётность в государственные органы

Удостоверяющий центр

Электронная подпись
СберКорус Контакты:
Адрес: Б.Сампсониевский пр., 68Н Санкт-Петербург,
Телефон:8 800 100-8-812, Электронная почта: help@esphere.ru