6 сентября 2018
2 мин на чтение
219

Что такое A/B-тестирование и как его провести

author__photo
Елизавета Теряева
Редактор блога
Нет времени читать?



A/B-тестирование – метод маркетингового исследования, в ходе которого тестируется 2 и более вариантов некоторого звена воронки продаж с целью выявления наиболее эффективного из них. A/B-тестирование, оно же – сплит-тестирование – может применяться для лендингов, интернет-магазинов и других типов сайтов, а также для рекламных кампаний и почтовых рассылок
a/b тестирование.

Для чего это нужно?

Любые интерфейсы, которые взаимодействуют с клиентом, имеют разные составные элементы, которые можно улучшать, чтобы клиент превратился из потенциального в действительного.

Как понять – улучшать?

Изначально почти нет чётких критериев хорошего, эффективного инструмента онлайн-продаж. Рассмотрим методологию на примере сайтов. Конечно, известны элементарные правила в духе того, что салатовый текст на красном фоне – не самое профессиональное решение. Или, скажем, кнопка «купить» должна быть по размеру больше, чем курсор мыши. Но если не брать в расчёт азы, а пойти в сторону гроус-хакинга, то правильных ответов становится всё меньше, а потребности в тестах – больше.

Вряд ли опытный маркетолог даст однозначный ответ, стоит ли перекрашивать CTA на вашей продающей странице из фиолетового в синий или добавлять новое поле в лид-форму. Во многих случаях рекомендацией будет проведение Аб-теста, и это абсолютно взвешенное решение.

Аудитории из разных регионов и источников, разного пола и возраста, в разное время дня и года могут непредсказуемо отличаться по поведению. Факторов насчитывается тысячи, и именно поэтому необходимо проводить исследования на практике.

Что именно улучшат A/B-тесты?

Существует несколько основных категорий показателей, оптимизируемых с помощью A/B-тестирования.

  • Конверсии

Доля пользователей, совершающих целевые действия. Благодаря улучшениям страницы больший процент посетителей будет регистрироваться, оформлять подписку или совершать покупки.

  • Финансовые показатели

Одна из главных целей работы сайта – обеспечение наибольшего количества продаж. Чем более «дружелюбно» интерфейс настроен к пользователю, тем больше денег он будет оставлять. Конкретное выражение финансовые метрики находят в величине среднего чека, ежемесячном объёме продаж, стоимости привлечения клиента (CAC). Полезно в данном случае внедрять специфические дополнения, связанные непосредственно с покупками. Например, suggestive алгоритмы, которые предлагают пользователю товары, чаще других добавляемые в корзину с теми, что он выбрал.

  • Поведенческие факторы

Под поведенческими факторами понимают взаимодействие пользователя с сайтом – время, проведённое на нём, глубина просмотра, выраженная в количестве страниц. Также сюда относят процент постоянных посетителей, долю отказов (bounce rate), CTR сниппета в поисковой выдаче и ряд других факторов.

Настройка и проведение аб-теста

Подготовка

Когда лучше не пытаться

Для начала, необходимо удостовериться, что A/B-тестирование в вашем случае уместно и актуально. Существует ряд обстоятельств, когда к аб-тестам лучше даже не приступать. В каких случаях следует воздержаться?

  • Полное непонимание методологии

Казалось бы, очевидно, но смотрите пункт выше об очевидных ассоциациях. Если вы ни разу не проводили аб-тестирование и с трудом представляете, что это такое, то передайте задачу профессионалу. Если же вам просто необходимо самостоятельно научиться проводить аб-тесты, ознакомьтесь с теорией и успешными кейсами, учитывающими отраслевую специфику. Следует как можно тщательнее подготовиться и обезопасить себя от непредвиденных результатов.

  • Отсутствие потока конверсий

Нет смысла прибегать к аб-тестированию, если нет стабильного и, главное, статистически значимого потока заявок или продаж. Эффект масштаба от применения изменений, описанных ранее, зачастую не такой грандиозный и играет роль лишь в случаях, когда пара процентов прибавки к конверсии означают условный дополнительный миллион прибыли. Вместе с тем, полезно иметь налаженную систему аналитики, иначе информация останется сухими цифрами, между которыми нет взаимосвязей

  • Нет чёткой гипотезы

A/B-тестирование проводится с опорой на допущение об улучшении показателей при конкретном изменении частного элемента страницы. Должно присутствовать ясное предположение о том, что данный элемент настроен неэффективно и есть возможность его улучшить. Когда предположение отсутствует, формулируется случайно и безосновательно, A/B-тестирование становится обычной забавой и тратой времени. Кажется, что кнопка не того цвета – тестируем цвет кнопки. Кажется, что pop-up форма всплывает слишком быстро при прокрутке – меняем время появления.

Если всё в порядке – алгоритм действий

У A/B-тестирования есть понятный алгоритм, следуя которому, вы запустите тест с достоверными результатами.

  • Сформулировать гипотезу

Как было упомянуто ранее, аб-тест должен иметь лаконичное обоснование: «В данный момент конверсии неудовлетворительны, так как данный элемент страницы расположен неправильно, и если мы изменим его координаты, конверсии могут улучшиться.» Никаких размытых «Давайте сделаем страницу более продающей» быть не должно.

  • Определить границы изменений

Тестируется один элемент за один раз. Тем более, недопустимо проводить полную переделку страницы. У каждой модификации – свои последствия, которые выражаются как качественно (лучше/хуже), так и в абсолютных величинах (больше на 10 конверсий, на 100 и так далее). Если видоизменяются 2 и более элементов, результаты не скажут ни о чём, кроме того, какой эффект даёт совокупность изменений. При этом, эффект каждого изменения по отдельности проследить не удастся. Подобное применимо только в случае создания сайта с нуля, когда не ясно вообще ничего и требуется выбрать не дизайн отдельного элемента, а концепцию как таковую, чтобы в дальнейшем дорабатывать её.

  • Определить продолжительность а/б теста

Продолжительность зависит от посещаемости ресурса, но в любом случае лучше проводить a/b-тестирование не менее 2 недель.

  • Обеспечить идентичность трафика

Нужно постараться направить на оба варианта страницы абсолютно однородную аудиторию. Если ab-тестирование проводится с помощью Google Experiments в связке с Google Ads, можно настроить автоматическое выполнение всех необходимых условий – система сама будет делить трафик. Если вы используете несколько источников посещений, следует везде прописать разные адреса ссылок, либо воспользоваться сервисами по проведению ab-тестов (о них – дальше).

  • Контролировать процесс и анализировать результаты

В ходе настройки теста что-то может пойти не так и всегда важно быть в курсе происходящего. По окончании аб-теста соберите все результаты и проверьте их статистическую значимость.

Полезные рекомендации

Существует несколько правил проведения качественных аб-тестов, которые необходимо соблюдать:

Это уже было сказано, но важно повторить: тестируйте лишь один элемент за один эксперимент. Даже два изменённых элемента на странице могут дать противоположные или на порядки различающиеся результаты, оставив неопределённость – какой же из них подействовал.
Тестирование всех вариантов проводится одновременно. На результаты могут повлиять любые факторы, зависящие от периода проведения. Если одна из страниц будет протестирована прямо перед сезоном отпусков, а другая – во время, поведение клиентов может радикально отличаться в обоих случаях.
Из предыдущего пункта также следует, что для тестов лучше выбирать как можно более стандартный период времени, не сопровождаемый какими-либо резкими изменениями в экономике и обществе (те же отпуска, праздники, масштабные события).

Инструменты

Для того, чтобы рассчитать оптимальные параметры а/б-тестирования – длительность и охват, можно воспользоваться онлайн-инструментами, разработанными специально для этих целей.

  • tools.driveback.ru

Инструменты для a/b тестов

Во вкладке «Размер выборки» пользователь задаёт исходную конверсию и процент, на который она должна измениться для признания теста успешным. В ответ система выведет число уникальных посетителей для каждого из вариантов страницы, необходимое для достижения эффекта.

  • vwo.com/ab-split-test-duration/

Инструменты для аб-тестирования

Этот калькулятор содержит большее количество параметров, чем предыдущий, включая посещаемость сайта, изначальную конверсию, количество вариантов для теста и другие. Результатом подсчёта будет количество дней, в течение которых необходимо проводить а/б-тестирование.

Запуск а/б-тестирования

Что крутить в процессе?

При аб-тестировании обычно изменяют несколько составляющих сайта:

  • Структура и дизайн страницы

На лендингах зачастую главным экраном служит обычная промо-иллюстрация, растянутая на весь экран, которую необходимо пролистать. Возможно, эта необходимость отталкивает многих пользователей и стоит добавить элементы взаимодействия сразу на первый экран. Бывает, что порядок блоков не соответствует логике сбора информации и принятия решения со стороны пользователя. Скроллинг 10 экранов с описанием преимуществ товара в ожидании цены может попросту утомить. Тогда несостоявшийся клиент вернётся к поисковой выдаче в расчёте на более быстрое ознакомление с условиями у конкурентов.

  • Описания товаров и услуг

Имеет значение как сам текст, так и расположение блока с товарами и услугами, его плотность (количество столбцов на странице), соотношение размеров изображения и текста. Последние должны быть релевантны тому, что вы действительно продаёте, коротко и внятно описывать суть.

  • Дизайн конверсионных форм

У конверсионной формы есть своё оптимальное место и размер. Также важно количество и содержание полей. Многие злоупотребляют объёмом информации, собираемой у пользователей. Часто для качественного обслуживания владельцу компании достаточно знать имя клиента, но вместо этого некоторые стремятся вытянуть из пользователя и фамилию, и отчество, и как можно больше контактных данных. Определитесь с тем набором информации, который вам реально необходим и не отпугнёт клиента.

  • Дизайн кнопок

Существует правило BOB – big orange button. Согласно исследованиям, большая оранжевая кнопка чаще других способствует совершению покупок. Но в случае, когда фон сайта того же цвета или соблюдаются любые другие стандарты дизайна, не позволяющие разместить именно такую кнопку, приходится искать индивидуальные решения. Можно взять какой-либо шаблон, как отправную точку, но обязательно при этом провести A/B-тестирование для поиска более эффективных альтернатив.

  • Тексты и CTA

Иногда копирайтеры пишут настолько расплывчато, что далеко не всем ясно, какой товар продаётся, в чём его преимущество и где окажется пользователь, перейдя по ссылке. В данном случае – чем проще, тем лучше. Призывы к действию должны быть ясными и односложными: «Купить», «Узнать», «Заказать звонок», «Подписаться на рассылку». Не забывайте чаще упоминать элементарные, но полезные свойства своих фич и продуктов. Они очевидны для вас и, возможно, даже для потенциального клиента, но у него нет повода вытянуть эту ассоциацию из подсознания. Именно поэтому ему нужно помочь и напомнить, что, между прочим, рассылка, на которую он подписывается, бесплатна, а служба поддержки берёт трубку после первого гудка.

Инструменты

Конструкторы сайтов могут иметь встроенный функционал проведения a/b-тестирования. Вы и сами можете провести эксперимент, вручную разделив потоки пользователей, собирая и анализируя статистику. Но есть ряд сервисов, которые специально предназначены для проведения подобного рода тестов.

  • optimizely.com

Наиболее выдающийся и известный сервис в мире. Аналитика в любой плоскости и удобные визуальные редакторы.

  • vwo.com

Также зарубежный сервис. Достаточно мощный, но требует навыков работы с вёрсткой.

  • abtasty.com

Примечательна интеграция с Google Analytics, что позволяет быстро и точно синхронизироваться с уже настроенной системой аналитики.

  • realroi.ru

Отечественный аналог сервисов аб-тестирования. Прост и удобен в использовании.

Пример настройки

Для демонстрации удобнее рассмотреть Google Experiments, как инструмент, который наиболее вероятно будет использовать веб-мастер. Он доступен и стандартен.
В Google Analytics зайдите во вкладку Поведение → Эксперименты. Создайте эксперимент.
Целью является действие, совершаемое пользователем на странице.
Процент трафика лучше сделать небольшим, если планируются существенные изменения. Для ускорения аб-теста можно увеличить долю.
Введите адреса страниц, которые участвуют в тестировании.
Получите код для вставки. Важно: скрипт добавляется только на исходную страницу.
Запустите тест.
Стоит отметить, что вопреки расхожему мнению Google не воспринимает а/б-тесты в качестве маскировки и накрутки. Напротив, компания в руководстве по настройке говорит обратное: Google относится к конструктивному тестированию абсолютно нейтрально.
Анализ результатов
Практика показывает, что большая часть a/b-тестов не может похвастаться статистической значимостью. Проще говоря, полученные результаты не могут указывать на устойчивые закономерности. Чтобы этого не произошло, необходимо тщательно проводить настройку аб-тестирования, а в конце – аналитику по собранным данным.
Ранее упоминавшийся сервис tools.driveback.ru помогает веб-мастерам также оценить и статистическую значимость результатов тестирования. Чтобы воспользоваться функцией оценки, нажмите на вкладку «Статистическая значимость» и внесите в поля свои данные.
Ещё лучше, если вы владеете статистическим анализом. В таком случае полезно будет рассмотреть разброс значений по каждому варианту и определить пересечение между двумя распределениями. Если оно достаточно велико, и у каждой выборки большая дисперсия, результаты вряд ли можно назвать значимыми – в них много случайной составляющей. А проанализиравоть результаты и выявить самые эффективные каналы с наибольшей конверсией вам помогут отчеты Calltouch.

 

Оцените
Что такое A/B-тестирование и как его провести
Rate this post
Поделитесь с друзьями
Подпишитесь на обновления
Пришлите свою статью

Комментарии:

Рекомендуем прочитать