Что такое A/B-тестирование и зачем его проводить

Интернет-магазин спортивной экипировки «Экстрим» хотел узнать, поможет ли изменение заголовка на странице товара увеличить конверсию в покупку. Поэтому компания провела A/B-тест. В течение месяца покупатели видели разные заголовки — кто-то старый, кто-то новый.

После окончания теста магазин проанализировал результаты и посчитал количество покупок. Тестовая группа «B», которая видела новые заголовки, оформила больше заказов, чем группа «А», которой показывали старые заголовки. Таким образом, тест доказал, что новые заголовки работают лучше.

Разбираемся в статье, что еще можно проверить с помощью A/B-тестирования и как его провести.

A/B-тестирование — это метод исследования, с помощью которого можно сравнить две версии продукта и выбрать более эффективную.

При проведении А/В-теста покупателей незаметно для них делят на две группы. Первой показывают старый вариант продукта, второй — альтернативный. Например, одни покупатели интернет-магазина видят персональную цену с учетом всех скидок в корзине, а другие — сразу в карточке товара. Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат.

С помощью A/B-исследования можно тестировать следующее:

1. Интерфейс страницы, например расположение кнопок и других элементов.
2. Дизайн отдельных элементов, например внешний вид кнопок на сайте.
3. Верстку веб-страницы.
4. Тексты, описания продуктов, заголовки и подзаголовки.
5. Формы регистрации.
6. Цены, акции, условия доставки.
7. Тему письма в email-рассылке.

A/B-тесты помогают компании:

• увеличить конверсию;
• увеличить кликабельность элементов;
• повысить показатель удержания;
• снизить количество негативных отзывов;
• уменьшить показатель отказов.

Магазин протестировал два рекламных баннера. Первый рекламировал сезонные скидки, второй — новую коллекцию. A/B-тест показал, что баннер с рекламой новой коллекции привлек больше внимания покупателей.

Интернет-магазин заметил, что на кнопку «Добавить в корзину» почти не кликают. A/B-тест показал: если изменить цвет кнопки, пользователи будут кликать на нее чаще.

Уменьшить показатель отказов. Пользователи уходят с сайта по разным причинам, например из-за непонятной навигации или слишком яркого дизайна. Чтобы сделать сайт удобнее для пользователей, можно протестировать разные варианты навигации или цветов на сайте и найти оптимальное решение.

А/В-тест помогает убедиться, что выбор покупателей — не случайность. Тестирование проводят за шесть шагов.

Разбираем подробно каждый шаг.

Шаг 1. Определить цели теста. На этом этапе нужно выбрать, что бизнес хотел бы улучшить в продукте.

Зоомагазин «Пушистые лапы» хочет увеличить продажи на сайте. Соответственно, увеличение продаж — это и есть цель А/В-теста. «Пушистые лапы» предполагает: нужно изменить текст на баннере, который рекламирует скидки и акции на главной странице интернет-магазина.

Магазин «Пушистые лапы» берет в качестве главной метрики число заказов и конверсию в покупку. Это поможет понять, как повлияло изменение баннера на продажи.

Шаг 3. Разработать гипотезу. Это описание того, что именно поменяется, если изменить текст баннера. Нужно понять, какие результаты компания ожидает от A/B-теста.

Магазин «Пушистые лапы» сформулировал гипотезу так: «Если на баннере подчеркнуть преимущества товара, это увеличит конверсию на 20% за месяц».

Шаг 4. Подготовить тестируемую версию. Этот этап включает в себя несколько шагов:

1. Определить уровень статистической значимости, или P-value. Статистическая значимость помогает определить, была ли разница в результатах теста между вариантами A и B случайностью или это связано с изменениями. Чем ниже P-value, тем ниже риск, что результаты теста случайны. В каждом продукте задают свой процент случайности, но обычно он равен 5%.
2. Рассчитать размер выборки. Это количество людей, которые нужны для проведения A/B-теста. Новый баннер интернет-магазина должно увидеть достаточное число пользователей, чтобы в результате теста получить статистически значимый результат. Рассчитать выборку можно с помощью специального калькулятора. В нем нужно указать текущие показатели конверсии, ожидаемый прирост и статистическую значимость. Сервис покажет, сколько пользователей должны увидеть каждый вариант.
3. Определить продолжительность теста. Тестирование продолжается до тех пор, пока не наберется необходимое количество просмотров обеих версий тестируемого элемента. В среднем A/B-тесты длятся две недели, а тестировать нужно сразу две группы одновременно.
4. Разработать варианты A и B для тестирования. Чтобы проверить гипотезу, нужно придумать тестируемые варианты. Например, у магазина «Пушистые лапы» вариант А звучит так: «Скидки — купите корм для питомцев сейчас и сэкономьте до 50%». А вариант В так: «Корм для питомцев, сертифицированный ветеринарами, — перейдите, чтобы получить скидку».

Шаг 5. Запустить тест. Это можно сделать с помощью сервиса Varioqub от Яндекс Метрики. Инструмент в случайном порядке поделит покупателей на две группы: контрольную и тестовую. Контрольная группа будет видеть текущий вариант баннера, а тестовая — новый текст.

Шаг 6. Проанализировать результаты и принять решение. На основе результатов теста принимают решение: внести изменения в продукт, доработать их или отказаться от них. Для этого нужно сравнить полученные в результате A/B-теста статистические данные с уровнем статистической значимости, или P-value, — про него рассказывали в четвертом шаге.

Результат A/B-теста «Пушистых лап» показал, что тестовая группа B сделала на 15% больше заказов, чем группа А. При этом тестовое P-value — 3%. Поэтому можно утверждать, что внедрение варианта B увеличит продажи магазина.

Если P-value ниже 5%, результаты тестирования можно считать корректными. Если P-value выше или равно 5%, значения тестирования случайны, и в этом случае менять что-либо в продукте не имеет смысла.

Ошибки в A/B-тесте могут быть на каждом этапе. Вот самые распространенные из них:

• неправильно выбрать цель;
• некорректно сформулировать гипотезу;
• завершить тест раньше времени;
• неправильно объяснить результаты.

Неправильно выбрать цель. Компания решила увеличить конверсию кликов рекламного баннера. Для этого они провели A/B-тест и по его результатам сделали рекламный блок кликабельным на весь экран. Но при этом упустили, что покупатель не видит преимуществ товара, не знает, какая еще есть продукция. Общий объем продаж магазина упал, и это негативно отразилось на других показателях — хотя количество кликов на баннер стало больше.

Чтобы избежать такой ошибки, нужно внимательно анализировать предполагаемые изменения и посмотреть, как они могут повлиять на остальные показатели.

Некорректно сформулировать гипотезу. Некорректная гипотеза может привести к ошибочным выводам при расшифровке результатов теста. Это может повлиять на принятие стратегически важных решений в бизнесе. Поэтому гипотеза должна быть ясной и конкретной, с описанием переменной, которая будет меняться, и ее влиянием на бизнес-показатели.

Завершить тест раньше времени. Продолжительность теста важна, чтобы убедиться: результаты являются статистически значимыми и отражают реальные изменения в поведении аудитории. Пока длится тест, нельзя смотреть результаты. Например, на протяжении 5 дней вариант B будет лучше варианта A без достижения статистически значимого результата. Может сложиться впечатление, что не нужно проводить тест две недели, тратить время и недополучать прибыль, а можно просто запустить вариант B. Но на второй неделе теста может оказаться, что конверсия второго баннера станет хуже, и результат теста покажет, что вариант A лучше. Проводите тесты до конца, чтобы получить статистически значимый результат.

Штат. Этот вариант подходит тем, чей бизнес постоянно нуждается в разработке и тестировании маркетинговых стратегий, оптимизации веб-ресурсов. Для такой работы специалист должен быть погружен в продукт и работать в штате. Соответственно, такой вариант найма требует больше финансовых затрат.

1. A/B-тест позволяет сравнить две версии продукта и выбрать лучший для развития бизнеса.
2. С помощью A/B-теста можно увеличить конверсию и кликабельность элементов, повысить показатель удержания, снизить количество негативных отзывов, уменьшить показатель отказов.
3. Провести А/В-тест можно за шесть шагов: определить цели теста, выбрать метрику, разработать гипотезу, подготовить тестируемую версию, запустить тест, проанализировать результаты.