Если бизнес хочет оценить эффективность продукта или внести в него изменения, он может сделать A/B-тест. Разбираемся, как его провести
![Сергей Мороз](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2023%252F03%252Fphoto_2022-12-19-17.03.30.jpeg&w=128&h=128)
Сергей Мороз
Продакт-менеджер сайта
Если бизнес хочет оценить эффективность продукта или внести в него изменения, он может сделать A/B-тест. Разбираемся, как его провести
![Сергей Мороз](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2023%252F03%252Fphoto_2022-12-19-17.03.30.jpeg&w=128&h=128)
Сергей Мороз
Продакт-менеджер сайта
Интернет-магазин спортивной экипировки «Экстрим» хотел узнать, поможет ли изменение заголовка на странице товара увеличить конверсию в покупку. Поэтому компания провела A/B-тест. В течение месяца покупатели видели разные заголовки — кто-то старый, кто-то новый.
После окончания теста магазин проанализировал результаты и посчитал количество покупок. Тестовая группа «B», которая видела новые заголовки, оформила больше заказов, чем группа «А», которой показывали старые заголовки. Таким образом, тест доказал, что новые заголовки работают лучше.
Разбираемся в статье, что еще можно проверить с помощью A/B-тестирования и как его провести.
Что такое A/B-тестирование
A/B-тестирование — это метод исследования, с помощью которого можно сравнить две версии продукта и выбрать более эффективную.
При проведении А/В-теста покупателей незаметно для них делят на две группы. Первой показывают старый вариант продукта, второй — альтернативный. Например, одни покупатели интернет-магазина видят персональную цену с учетом всех скидок в корзине, а другие — сразу в карточке товара. Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат.
С помощью A/B-исследования можно тестировать следующее:
- Интерфейс страницы, например расположение кнопок и других элементов.
- Дизайн отдельных элементов, например внешний вид кнопок на сайте.
- Верстку веб-страницы.
- Тексты, описания продуктов, заголовки и подзаголовки.
- Формы регистрации.
- Цены, акции, условия доставки.
- Тему письма в email-рассылке.
![A/B-тест на баннерах](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2024%252F03%252F08xsvzvr-1.png&w=1360&h=1090)
«Если говорить про эксперименты в рекламных кампаниях, A/B-тестирование помогает определить более эффективное рекламное предложение для аудитории — будь это текстовая или визуальная коммуникация.
Если говорить про эксперименты в цифровых продуктах, например приложениях, A/B-тестирование помогает найти более удобное для пользователя взаимодействие с продуктом».
![Сергей Мороз](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2023%252F03%252Fphoto_2022-12-19-17.03.30.jpeg&w=80&h=80)
Сергей Мороз
Продакт-менеджер сайта Бизнес-секретов
Какие задачи бизнеса решают A/B-тесты
A/B-тесты помогают компании:
- увеличить конверсию;
- увеличить кликабельность элементов;
- повысить показатель удержания;
- снизить количество негативных отзывов;
- уменьшить показатель отказов.
Увеличить конверсию. Тестирование помогает узнать, какой вариант продукта, например заголовок, текст или баннер, работает лучше и привлекает больше клиентов.
Магазин протестировал два рекламных баннера. Первый рекламировал сезонные скидки, второй — новую коллекцию. A/B-тест показал, что баннер с рекламой новой коллекции привлек больше внимания покупателей.
Увеличить кликабельность элементов. A/B-тестирование поможет узнать, какие элементы дизайна или текста непонятны для пользователей. Это нужно, чтобы повысить эффективность веб-ресурса и, как следствие, увеличить прибыль бизнеса.
Интернет-магазин заметил, что на кнопку «Добавить в корзину» почти не кликают. A/B-тест показал: если изменить цвет кнопки, пользователи будут кликать на нее чаще.
![](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2024%252F03%252F2-mobile.png&w=720)
![](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2024%252F03%252F2-desktop.jpg&w=1360&h=1013)
Повысить показатель удержания, CRR. Он отражает уровень удовлетворенности клиентов. Например, можно провести тестирование, чтобы определить, какие виды скидок или акций лучше работают для привлечения и удержания покупателей. Или сравнить разные шаги процесса регистрации или оплаты на сайте.
Снизить количество негативных отзывов. Метод A/B-тестирования можно использовать, чтобы улучшить технические параметры веб-ресурса, например увеличить скорость загрузки страниц или упростить процесс покупки. Это может помочь снизить количество негативных отзывов.
Уменьшить показатель отказов. Пользователи уходят с сайта по разным причинам, например из-за непонятной навигации или слишком яркого дизайна. Чтобы сделать сайт удобнее для пользователей, можно протестировать разные варианты навигации или цветов на сайте и найти оптимальное решение.
Как провести A/B-тест
А/В-тест помогает убедиться, что выбор покупателей — не случайность. Тестирование проводят за шесть шагов.
![](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2024%252F03%252F3-mobile.png&w=720)
![](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2024%252F03%252F3-desktop.jpg&w=1360&h=896)
Разбираем подробно каждый шаг.
Шаг 1. Определить цели теста. На этом этапе нужно выбрать, что бизнес хотел бы улучшить в продукте.
Зоомагазин «Пушистые лапы» хочет увеличить продажи на сайте. Соответственно, увеличение продаж — это и есть цель А/В-теста. «Пушистые лапы» предполагает: нужно изменить текст на баннере, который рекламирует скидки и акции на главной странице интернет-магазина.
Шаг 2. Выбрать метрику. Она помогает понять, является ли новый вариант продукта успешнее первоначального. Метрика — количественный показатель, он должен быть выражен в цифрах. Например, число отказов или конверсия в покупку.
Магазин «Пушистые лапы» берет в качестве главной метрики число заказов и конверсию в покупку. Это поможет понять, как повлияло изменение баннера на продажи.
Шаг 3. Разработать гипотезу. Это описание того, что именно поменяется, если изменить текст баннера. Нужно понять, какие результаты компания ожидает от A/B-теста.
Магазин «Пушистые лапы» сформулировал гипотезу так: «Если на баннере подчеркнуть преимущества товара, это увеличит конверсию на 20% за месяц».
Шаг 4. Подготовить тестируемую версию. Этот этап включает в себя несколько шагов:
- Определить уровень статистической значимости, или P-value. Статистическая значимость помогает определить, была ли разница в результатах теста между вариантами A и B случайностью или это связано с изменениями. Чем ниже P-value, тем ниже риск, что результаты теста случайны. В каждом продукте задают свой процент случайности, но обычно он равен 5%.
- Рассчитать размер выборки. Это количество людей, которые нужны для проведения A/B-теста. Новый баннер интернет-магазина должно увидеть достаточное число пользователей, чтобы в результате теста получить статистически значимый результат. Рассчитать выборку можно с помощью специального калькулятора. В нем нужно указать текущие показатели конверсии, ожидаемый прирост и статистическую значимость. Сервис покажет, сколько пользователей должны увидеть каждый вариант.
- Определить продолжительность теста. Тестирование продолжается до тех пор, пока не наберется необходимое количество просмотров обеих версий тестируемого элемента. В среднем A/B-тесты длятся две недели, а тестировать нужно сразу две группы одновременно.
- Разработать варианты A и B для тестирования. Чтобы проверить гипотезу, нужно придумать тестируемые варианты. Например, у магазина «Пушистые лапы» вариант А звучит так: «Скидки — купите корм для питомцев сейчас и сэкономьте до 50%». А вариант В так: «Корм для питомцев, сертифицированный ветеринарами, — перейдите, чтобы получить скидку».
Шаг 5. Запустить тест. Это можно сделать с помощью сервиса Varioqub от Яндекс Метрики. Инструмент в случайном порядке поделит покупателей на две группы: контрольную и тестовую. Контрольная группа будет видеть текущий вариант баннера, а тестовая — новый текст.
Шаг 6. Проанализировать результаты и принять решение. На основе результатов теста принимают решение: внести изменения в продукт, доработать их или отказаться от них. Для этого нужно сравнить полученные в результате A/B-теста статистические данные с уровнем статистической значимости, или P-value, — про него рассказывали в четвертом шаге.
Результат A/B-теста «Пушистых лап» показал, что тестовая группа B сделала на 15% больше заказов, чем группа А. При этом тестовое P-value — 3%. Поэтому можно утверждать, что внедрение варианта B увеличит продажи магазина.
Если P-value ниже 5%, результаты тестирования можно считать корректными. Если P-value выше или равно 5%, значения тестирования случайны, и в этом случае менять что-либо в продукте не имеет смысла.
Ошибки при проведении A/B-тестирования
Ошибки в A/B-тесте могут быть на каждом этапе. Вот самые распространенные из них:
- неправильно выбрать цель;
- некорректно сформулировать гипотезу;
- завершить тест раньше времени;
- неправильно объяснить результаты.
Неправильно выбрать цель. Компания решила увеличить конверсию кликов рекламного баннера. Для этого они провели A/B-тест и по его результатам сделали рекламный блок кликабельным на весь экран. Но при этом упустили, что покупатель не видит преимуществ товара, не знает, какая еще есть продукция. Общий объем продаж магазина упал, и это негативно отразилось на других показателях — хотя количество кликов на баннер стало больше.
Чтобы избежать такой ошибки, нужно внимательно анализировать предполагаемые изменения и посмотреть, как они могут повлиять на остальные показатели.
Некорректно сформулировать гипотезу. Некорректная гипотеза может привести к ошибочным выводам при расшифровке результатов теста. Это может повлиять на принятие стратегически важных решений в бизнесе. Поэтому гипотеза должна быть ясной и конкретной, с описанием переменной, которая будет меняться, и ее влиянием на бизнес-показатели.
Завершить тест раньше времени. Продолжительность теста важна, чтобы убедиться: результаты являются статистически значимыми и отражают реальные изменения в поведении аудитории. Пока длится тест, нельзя смотреть результаты. Например, на протяжении 5 дней вариант B будет лучше варианта A без достижения статистически значимого результата. Может сложиться впечатление, что не нужно проводить тест две недели, тратить время и недополучать прибыль, а можно просто запустить вариант B. Но на второй неделе теста может оказаться, что конверсия второго баннера станет хуже, и результат теста покажет, что вариант A лучше. Проводите тесты до конца, чтобы получить статистически значимый результат.
«Продолжительность A/B-теста зависит от результата, который мы ожидаем увидеть. Для разной конверсии нужно разное количество людей. Например, мы проводим A/B-тест лендинга и ожидаем, что, если перекрасим кнопку „Заказать“ в красный цвет, конверсия увеличится на 1%. Для такого теста нужно много людей — пару тысяч. Если ожидаем увидеть изменение конверсии на 20%, нужно меньше людей. Чем меньше разница конверсии между вариантами A и B, тем больше людей надо привлечь».
![Сергей Мороз](/api/image/?src=https%253A%252F%252Fpublic-static.tinkoffjournal.ru%252Fbusiness-secrets%252Fuploads%252F2023%252F03%252Fphoto_2022-12-19-17.03.30.jpeg&w=80&h=80)
Сергей Мороз
Продакт-менеджер сайта Бизнес-секретов
Сколько стоит провести A/B-тестирование
Чтобы провести A/B-тест, можно нанять продакт-менеджера или маркетолога в штат или воспользоваться их услугами на аутсорсе. Выбор специалиста зависит от задач бизнеса, а тип найма — от его масштаба.
Аутсорс. Если бизнес не требует постоянного проведения A/B-тестов, выгоднее работать со специалистами на аутсорсе. Для этого можно обратиться в маркетинговое агентство. Стоимость A/B-теста в агентствах колеблется от 30 000 до 300 000 ₽. Цена зависит от сложности и масштаба теста.
Штат. Этот вариант подходит тем, чей бизнес постоянно нуждается в разработке и тестировании маркетинговых стратегий, оптимизации веб-ресурсов. Для такой работы специалист должен быть погружен в продукт и работать в штате. Соответственно, такой вариант найма требует больше финансовых затрат.
Главное
- A/B-тест позволяет сравнить две версии продукта и выбрать лучший для развития бизнеса.
- С помощью A/B-теста можно увеличить конверсию и кликабельность элементов, повысить показатель удержания, снизить количество негативных отзывов, уменьшить показатель отказов.
- Провести А/В-тест можно за шесть шагов: определить цели теста, выбрать метрику, разработать гипотезу, подготовить тестируемую версию, запустить тест, проанализировать результаты.
Какие показатели вы бы улучшили с помощью A/B-тестирования?