Что такое A/B-тестирование и зачем его проводить
Интернет-магазин спортивной экипировки «Экстрим» хотел узнать, поможет ли изменение заголовка на странице товара увеличить конверсию в покупку. Поэтому компания провела A/B-тест. В течение месяца покупатели видели разные заголовки — кто-то старый, кто-то новый.
После окончания теста магазин проанализировал результаты и посчитал количество покупок. Тестовая группа «B», которая видела новые заголовки, оформила больше заказов, чем группа «А», которой показывали старые заголовки. Таким образом, тест доказал, что новые заголовки работают лучше.
Разбираемся в статье, что еще можно проверить с помощью A/B-тестирования и как его провести.
Что такое A/B-тестирование
A/B-тестирование — это метод исследования, с помощью которого можно сравнить две версии продукта и выбрать более эффективную.
При проведении А/В-теста покупателей незаметно для них делят на две группы. Первой показывают старый вариант продукта, второй — альтернативный. Например, одни покупатели интернет-магазина видят персональную цену с учетом всех скидок в корзине, а другие — сразу в карточке товара. Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат.
С помощью A/B-исследования можно тестировать следующее:
- Интерфейс страницы, например расположение кнопок и других элементов.
- Дизайн отдельных элементов, например внешний вид кнопок на сайте.
- Верстку веб-страницы.
- Тексты, описания продуктов, заголовки и подзаголовки.
- Формы регистрации.
- Цены, акции, условия доставки.
- Тему письма в email-рассылке.
«Если говорить про эксперименты в рекламных кампаниях, A/B-тестирование помогает определить более эффективное рекламное предложение для аудитории — будь это текстовая или визуальная коммуникация.
Если говорить про эксперименты в цифровых продуктах, например приложениях, A/B-тестирование помогает найти более удобное для пользователя взаимодействие с продуктом».
Сергей Мороз
Продакт-менеджер сайта Бизнес-секретов
Какие задачи бизнеса решают A/B-тесты
A/B-тесты помогают компании:
- увеличить конверсию;
- увеличить кликабельность элементов;
- повысить показатель удержания;
- снизить количество негативных отзывов;
- уменьшить показатель отказов.
Увеличить конверсию. Тестирование помогает узнать, какой вариант продукта, например заголовок, текст или баннер, работает лучше и привлекает больше клиентов.
Магазин протестировал два рекламных баннера. Первый рекламировал сезонные скидки, второй — новую коллекцию. A/B-тест показал, что баннер с рекламой новой коллекции привлек больше внимания покупателей.
Увеличить кликабельность элементов. A/B-тестирование поможет узнать, какие элементы дизайна или текста непонятны для пользователей. Это нужно, чтобы повысить эффективность веб-ресурса и, как следствие, увеличить прибыль бизнеса.
Интернет-магазин заметил, что на кнопку «Добавить в корзину» почти не кликают. A/B-тест показал: если изменить цвет кнопки, пользователи будут кликать на нее чаще.
Повысить показатель удержания, CRR. Он отражает уровень удовлетворенности клиентов. Например, можно провести тестирование, чтобы определить, какие виды скидок или акций лучше работают для привлечения и удержания покупателей. Или сравнить разные шаги процесса регистрации или оплаты на сайте.
Снизить количество негативных отзывов. Метод A/B-тестирования можно использовать, чтобы улучшить технические параметры веб-ресурса, например увеличить скорость загрузки страниц или упростить процесс покупки. Это может помочь снизить количество негативных отзывов.
Уменьшить показатель отказов. Пользователи уходят с сайта по разным причинам, например из-за непонятной навигации или слишком яркого дизайна. Чтобы сделать сайт удобнее для пользователей, можно протестировать разные варианты навигации или цветов на сайте и найти оптимальное решение.
Как провести A/B-тест
А/В-тест помогает убедиться, что выбор покупателей — не случайность. Тестирование проводят за шесть шагов.
Разбираем подробно каждый шаг.
Шаг 1. Определить цели теста. На этом этапе нужно выбрать, что бизнес хотел бы улучшить в продукте.
Зоомагазин «Пушистые лапы» хочет увеличить продажи на сайте. Соответственно, увеличение продаж — это и есть цель А/В-теста. «Пушистые лапы» предполагает: нужно изменить текст на баннере, который рекламирует скидки и акции на главной странице интернет-магазина.
Шаг 2. Выбрать метрику. Она помогает понять, является ли новый вариант продукта успешнее первоначального. Метрика — количественный показатель, он должен быть выражен в цифрах. Например, число отказов или конверсия в покупку.
Магазин «Пушистые лапы» берет в качестве главной метрики число заказов и конверсию в покупку. Это поможет понять, как повлияло изменение баннера на продажи.
Шаг 3. Разработать гипотезу. Это описание того, что именно поменяется, если изменить текст баннера. Нужно понять, какие результаты компания ожидает от A/B-теста.
Магазин «Пушистые лапы» сформулировал гипотезу так: «Если на баннере подчеркнуть преимущества товара, это увеличит конверсию на 20% за месяц».
Шаг 4. Подготовить тестируемую версию. Этот этап включает в себя несколько шагов:
- Определить уровень статистической значимости, или P-value. Статистическая значимость помогает определить, была ли разница в результатах теста между вариантами A и B случайностью или это связано с изменениями. Чем ниже P-value, тем ниже риск, что результаты теста случайны. В каждом продукте задают свой процент случайности, но обычно он равен 5%.
- Рассчитать размер выборки. Это количество людей, которые нужны для проведения A/B-теста. Новый баннер интернет-магазина должно увидеть достаточное число пользователей, чтобы в результате теста получить статистически значимый результат. Рассчитать выборку можно с помощью специального калькулятора. В нем нужно указать текущие показатели конверсии, ожидаемый прирост и статистическую значимость. Сервис покажет, сколько пользователей должны увидеть каждый вариант.
- Определить продолжительность теста. Тестирование продолжается до тех пор, пока не наберется необходимое количество просмотров обеих версий тестируемого элемента. В среднем A/B-тесты длятся две недели, а тестировать нужно сразу две группы одновременно.
- Разработать варианты A и B для тестирования. Чтобы проверить гипотезу, нужно придумать тестируемые варианты. Например, у магазина «Пушистые лапы» вариант А звучит так: «Скидки — купите корм для питомцев сейчас и сэкономьте до 50%». А вариант В так: «Корм для питомцев, сертифицированный ветеринарами, — перейдите, чтобы получить скидку».
Шаг 5. Запустить тест. Это можно сделать с помощью сервиса Varioqub от Яндекс Метрики. Инструмент в случайном порядке поделит покупателей на две группы: контрольную и тестовую. Контрольная группа будет видеть текущий вариант баннера, а тестовая — новый текст.
Шаг 6. Проанализировать результаты и принять решение. На основе результатов теста принимают решение: внести изменения в продукт, доработать их или отказаться от них. Для этого нужно сравнить полученные в результате A/B-теста статистические данные с уровнем статистической значимости, или P-value, — про него рассказывали в четвертом шаге.
Результат A/B-теста «Пушистых лап» показал, что тестовая группа B сделала на 15% больше заказов, чем группа А. При этом тестовое P-value — 3%. Поэтому можно утверждать, что внедрение варианта B увеличит продажи магазина.
Если P-value ниже 5%, результаты тестирования можно считать корректными. Если P-value выше или равно 5%, значения тестирования случайны, и в этом случае менять что-либо в продукте не имеет смысла.
Ошибки при проведении A/B-тестирования
Ошибки в A/B-тесте могут быть на каждом этапе. Вот самые распространенные из них:
- неправильно выбрать цель;
- некорректно сформулировать гипотезу;
- завершить тест раньше времени;
- неправильно объяснить результаты.
Неправильно выбрать цель. Компания решила увеличить конверсию кликов рекламного баннера. Для этого они провели A/B-тест и по его результатам сделали рекламный блок кликабельным на весь экран. Но при этом упустили, что покупатель не видит преимуществ товара, не знает, какая еще есть продукция. Общий объем продаж магазина упал, и это негативно отразилось на других показателях — хотя количество кликов на баннер стало больше.
Чтобы избежать такой ошибки, нужно внимательно анализировать предполагаемые изменения и посмотреть, как они могут повлиять на остальные показатели.
Некорректно сформулировать гипотезу. Некорректная гипотеза может привести к ошибочным выводам при расшифровке результатов теста. Это может повлиять на принятие стратегически важных решений в бизнесе. Поэтому гипотеза должна быть ясной и конкретной, с описанием переменной, которая будет меняться, и ее влиянием на бизнес-показатели.
Завершить тест раньше времени. Продолжительность теста важна, чтобы убедиться: результаты являются статистически значимыми и отражают реальные изменения в поведении аудитории. Пока длится тест, нельзя смотреть результаты. Например, на протяжении 5 дней вариант B будет лучше варианта A без достижения статистически значимого результата. Может сложиться впечатление, что не нужно проводить тест две недели, тратить время и недополучать прибыль, а можно просто запустить вариант B. Но на второй неделе теста может оказаться, что конверсия второго баннера станет хуже, и результат теста покажет, что вариант A лучше. Проводите тесты до конца, чтобы получить статистически значимый результат.
«Продолжительность A/B-теста зависит от результата, который мы ожидаем увидеть. Для разной конверсии нужно разное количество людей. Например, мы проводим A/B-тест лендинга и ожидаем, что, если перекрасим кнопку „Заказать“ в красный цвет, конверсия увеличится на 1%. Для такого теста нужно много людей — пару тысяч. Если ожидаем увидеть изменение конверсии на 20%, нужно меньше людей. Чем меньше разница конверсии между вариантами A и B, тем больше людей надо привлечь».
Сергей Мороз
Продакт-менеджер сайта Бизнес-секретов
Сколько стоит провести A/B-тестирование
Чтобы провести A/B-тест, можно нанять продакт-менеджера или маркетолога в штат или воспользоваться их услугами на аутсорсе. Выбор специалиста зависит от задач бизнеса, а тип найма — от его масштаба.
Аутсорс. Если бизнес не требует постоянного проведения A/B-тестов, выгоднее работать со специалистами на аутсорсе. Для этого можно обратиться в маркетинговое агентство. Стоимость A/B-теста в агентствах колеблется от 30 000 до 300 000 ₽. Цена зависит от сложности и масштаба теста.
Штат. Этот вариант подходит тем, чей бизнес постоянно нуждается в разработке и тестировании маркетинговых стратегий, оптимизации веб-ресурсов. Для такой работы специалист должен быть погружен в продукт и работать в штате. Соответственно, такой вариант найма требует больше финансовых затрат.
1/2 Согласно зарплатному калькулятору сайта Хабр Карьера, средняя зарплата продакт-менеджера составляет 230 тысяч рублей в месяц. Зарплата рассчитана на основе данных пользователей ресурса
2/2 Согласно зарплатному калькулятору сайта Хабр Карьера, средняя зарплата маркетолога составляет 110 тысяч рублей в месяц. Зарплата рассчитана на основе данных пользователей ресурса
Главное
- A/B-тест позволяет сравнить две версии продукта и выбрать лучший для развития бизнеса.
- С помощью A/B-теста можно увеличить конверсию и кликабельность элементов, повысить показатель удержания, снизить количество негативных отзывов, уменьшить показатель отказов.
- Провести А/В-тест можно за шесть шагов: определить цели теста, выбрать метрику, разработать гипотезу, подготовить тестируемую версию, запустить тест, проанализировать результаты.
Какие показатели вы бы улучшили с помощью A/B-тестирования?