Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Если в детстве вы любили разбирать на части машинки с моторчиком или смешивать все жидкости, которые были в доме, то эта статья для вас. Сегодня разбираемся с A/B тестированием сайта и выясняем, почему в умелых руках оно превращается в мощное оружие. Откапываем в глубинах сознания дух экспериментатора, стряхиваем с него пыль и читаем.

Что это такое – А/Б тестирование сайта?

Если вкратце, то это метод оценки эффективности двух вариантов одной и той же страницы. Например, есть два дизайна карточки товара и оба они настолько круты, что вы даже спать и есть не можете. Логичный выход – проверить, какой вариант работает лучше. Для этого половине посетителей показывается вариант №1, а половине – вариант №2. Побеждает тот, кто лучше справляется с поставленными задачами.

Это не единственный способ применения А/Б (или сплит) тестирования сайта. С его помощью можно проверять сумасшедшие гипотезы, удобство новой структуры страницы или разных вариантов текста.

Как проводится A/B тестирование сайта

Постановка задачи

Сначала нужно определиться с целью. Поймите, чего вы хотите добиться: увеличения конверсии, времени пребывания на сайте или снизить процент отказов. Если с целями и задачами все ОК, меняйте контент или дизайн, опираясь на них. Например, можно пойти по пути всех growth-хакеров и изменить расположение и дизайн кнопки «Купить». Сейчас она висит слева внизу и вы хотите посмотреть, что будет, если поменять ее внешний вид и передвинуть кнопку выше и правее.

Техническая реализация

Здесь все просто – либо создается отдельная страница, на которой меняется только объект тестирования, либо программист применяет магию и реализует все в рамках одного документа.

Подготовка контрольных данных

Страница переделана и все готово к запуску теста. Но сперва нужно измерить исходные показатели конверсии и всех остальных параметров, которые мы будем учитывать. Исходному варианту страницы присваиваем имя «A», а новому – «B».

Тест

Теперь нужно случайным образом разделить трафик пополам. Половине пользователей показывается страница A, а остальным – B. Для этого можно воспользоваться специальными сервисами (их очень много) или сделать все руками программиста.

При этом важно, чтобы «состав» трафика был одинаковым. Эксперимент не будет объективным, если всем пользователям, пришедшим по клику на контекст будет доступен только первый вариант, а всем посетителям из социальных сетей – только второй.

Анализ

Теперь нужно ждать, пока наберется достаточно статистики и сравнить результаты А/Б тестирования. Сколько именно придется ждать, зависит от популярности сайта и некоторых других параметров. Выборка должна представлять статистическую значимость. Это значит, что вероятность случайности результата должна быть не выше 5%. Пример: Допустим, на обеих страницах одинаковое количество визитов – по тысяче. При этом у страницы A 5 целевых действий, а у страницы B – 6. Результат отличается слишком незначительно, чтобы говорить о закономерности, поэтому он не годится.

Большинство специальных сервисов сами рассчитывают, порог статистической значимости. Если делаете все руками, можете воспользоваться калькулятором .

Выработка решения

Как поступить с результатами теста – решать вам. Если новый подход сработал, можно оставить его на сайте новый вариант страницы. При этом не обязательно останавливаться на достигнутом, особенно если вы видите, что потенциал для роста показателей еще остался. В этом случае оставляйте на сайте вариант B и готовьте новое тестирование.

Как сделать A/B и сплит-тестирование объективным

Снизить влияние внешних факторов. Мы уже немного затронули эту тему – нужно проводить тест в один и тот же период времени, а источники трафика должны быть одинаковыми для обеих страниц. Если не позаботиться о равных условиях, то получите нерепрезентативную выборку. Люди из поиска ведут себя на странице не так, как посетители из группы в «Фейсбуке» или «Вконтакте». То же самое с объемом трафика – он должен быть примерно одинаковым.

Минимизировать влияние внутренних факторов. Это актуально для сайтов крупных компаний – на статистику могут сильно влиять сами сотрудники фирмы. Они заходят на сайт, но не совершают никаких целевых действий. Поэтому их нужно исключить из статистики. Для этого нужно установить фильтр в системах веб-аналитики.

Плюс, есть довольно очевидная вещь, про которую иногда забывают. Тестировать нужно один элемент. Если вы поменяли сразу пол-страницы, но при этом полного редизайна сайта не было, результаты эксперимента не будут валидными.

Влияет ли A/B тестирование сайта на SEO?

Есть популярный миф, что А/Б тестирование может выйти боком, потому что из-за дублирования страниц можно попасть под фильтры поисковиков. Это неправда. Google даже рассказывает , как сделать все правильно и дает для этого специальные инструменты.

Что и как можно улучшить с помощью A/B тестирования

Конверсию. Самый популярный вариант. Даже незначительное изменение страницы может повлиять на показатель конверсии. При этом целевым действием может считаться и покупка, и регистрация, и просмотр какой-либо страницы, и подписка на рассылку, и переход по ссылке.
Средний чек. В этом случае часто тестируют новые блоки дополнительных продаж: «похожие товары» и «с этим товаром часто покупают».

Поведенческие факторы. К ним относят глубину просмотра, среднее время на сайте и отказы.

Обычно пробуют менять:

Дизайн кнопок «Купить», «Оставить заявку».
Контент страницы: заголовки, описание продукта, изображения, призывы к действию и все остальное.
Расположение и внешний вид блока с ценами.
Структуру страницы.
Расположение, структуру и дизайн формы заявки.

В принципе, сработать может что угодно, точно сказать, как повысить конверсию или средний чек не сможет ни одна Ванга. Рекомендаций куча, но учесть их все просто нереально, да и сработать они могут с противоположным эффектом. А иногда к улучшению показателей приводят совсем нелогичные вещи, например, отказ от развернутого описания товаров. Пробуйте разные подходы и варианты, это же тест.

Инструменты для A/B тестирования сайта

Их просто куча, поэтому мы выбрали самые лучшие. Все они англоязычные и поэтому дорогие, но у каждого есть бесплатный пробный период. В России что-то подобное делает только lpgenerator.ru, но тестировать там можно только лендинги, созданные в конструкторе сервиса. Свою страничку загрузить не получится.

Optimizely.com

Один из самых популярных сервисов. Умеет тестировать все и в любых комбинациях. Из других плюсов: возможность мультиканального тестирования, эесперименты с мобильными приложениями, удобные фильтры результатов, таргетинг, визуальный редактор и немножко веб-аналитики.

Changeagain.me

Достаточно удобный сервис, главное преимущество – простая и полная интеграция с Google Analytics: цели можно создавать прямо в сервисе, а они потом автоматически подгружаются в систему. Остальные функции более-менее стандарны: простой визуальный редактор, таргетинг по устройствам и странам. конкретный набор зависит от тарифного плана..

ABtasty.com

Этот сервис отличается большим пробным периодом – он длиться аж 30 дней, вместо стандартных 14-15-ти. Плюс, инструмент интегрируется в WordPress, Google Analytics и несколько других сервисов, которыми пользуются забугорные маркетологи и веб-мастера. Из дополнительных плюсов: удобный интерфейс и детальный таргетинг.

Как провести A/B тестирование через Google Analytics

Для этого нужно зайти в свой аккаунт, открыть меню отчета, досскроллить до вкладки «Поведение» и в ней нажать «Эксперименты». Там все предельно просто.

Даем эксперименту имя, распределяем трафик по страницам в нужной пропорции, выбираем цели и переходим к следующему этапу – детальной настройке.

Там задаются адреса страниц A и B. Если поставить галочку «Унификация вариантов для других отчетов по содержанию», то в остальных отчетах показатели всех вариантов будут учитываться как показатели исходной страницы.

После этого Analytics выдаст код, который нужно разместить на странице A и запустить эксперимент. Отчеты по эффективности можно будет увидеть в том же меню «Эксперименты».

Как настроить «Яндекс Метрику» для A/B тестирования

Работа делится на две части. Сначала нужно либо создать две страницы, либо настроить одну на показ пользователю двух разных типов элементов. Как это сделать – тема для отдельной большой статьи, поэтому ее, пока что, обойдем

После этого нужно передать в метрику информацию о том, какой вариант сайта увидел пользователь. Небольшую инструкуцию дает сам «Яндекс» . Для нам нужно создать параметр А/Б тестирования и присвоить ему нужное значение. В случае с кнопкой мы определяем параметр как:

var yaParams = {ab_test: "Кнопка1" };

или

var yaParams = {ab_test: "Кнопка2" };

После этого параметр передается в «Метрику» и его можно использовать для формирования отчета по «параметрам визитов».

Итоги

А/Б (или сплит) тестирование сайта – это важный, нужный и почти обязательный инструмент. Если регулярно проверять новые гипотезы, эффективность страницы можно вывести на новый уровень. Но нельзя сказать, что усилий для этого нужно минимум. Чтобы просто поменять расположение или цвет кнопки придется подключить к делу программиста или дизайнера, пусть это и не займет много времени. Плюс, любое предположение может оказаться ошибочным. Но кто не рискует, тот не получает возросший поток заявок и не бегает по офису счастливым.

О том, как с помощью A/B-тестирования выясняем, какая реклама работает лучше всего. В процессе выбора лучшей площадки для проведения экспериментов, мы протестировали и составили подборку сервисов для проведения тестирования. С полезными комментариями. И делимся с вами!

Какой функционал был для нас важен?

Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большими потоками посетителей.
Возможность подгрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест.
Удобный и неглючный онлайн-редактор страниц.
Правильное подцепление целей тестирования. Несложные цели можно настраивать прямо в сервисах. Собственно, по ним и по промежуточным целям можно сравнивать конверсии вариантов и выбирать выигрышный.

Как разобраться в подборке?

Сервис — адрес сервиса, тут все просто.
A/ B или MVT — какой из вариантов тестирования поддерживает сервис.

A/ B-тестирование — это когда варианты тестируемой страницы отличаются одной переменной(разная кнопка, разный заголовок и т.д.). . Например, в одном варианте кнопка «Заказать» красная, в другом — зеленая. А в целом страницы идентичны.
MVT — это многовариантное тестирование. Когда варианты тестируемой страницы отличаются в множестве разных вещей. Первый вариант синего цвета, с красной кнопкой «Заказать» и рисунком из бабочек в шапке страницы. Второй вариант — фиолетовый, с зеленой кнопкой «Заказать» и рисунком из единорогов. Третий вариант — вообще черно-белый, с мигающей кнопкой «Заказать» и фотографией заказчика на заднем фоне.

Некоторые сервисы лэндингов поддерживают функцию только A/ B-тестирования, некоторые и A/ B, и MVT.

Тарифные планы — сколько денег хочет сервис за свои услуги. По каким параметрам определяется крутость тарифного плана?

Количество посетителей, которое может перейти на страницу (если посетителей больше, чем разрешает тарифный план, эксперимент отключается).
Количество доменов, на которых размещаются лэндинги.
Количество самих экспериментов, которые можно запустить в сервисе.
Количество аккаунтов, которое можно создать на сервисе.

В разные тарифы входят разные параметры, тут уж какой сервис на что горазд.

Шаблоны\онлайн-редактор - Где-то есть готовые шаблоны, где-то есть редактор, с помощью которого можно изменять переменные.
Демоверсия — сколько дней можно пользоваться этим сервисом бесплатно.
Комментарии — наши личные замечания о работе каждого сервиса.

Подборка сервисов для A/B-тестирования

Русскоязычные сервисы

Сервис #1

Сервис: http://abtest.ru/
Поддержка тестирования: А/B
Тарифные планы: тестирование бесплатно, сервис умирает и находится в бета-версии.
Шаблоны\ редактор: онлайн-редактор.
Комментарии: Разрешает подгружать свои лэндинги. Ужасно глючный редактор.

Сервис #2

Сервис: http://lpgenerator.ru/
Поддержка тестирования: A/B.
Тарифные планы:

$37 , 3500 посетителей, 2 домена, 25 страниц.
$58 , 9000 посетителей, 5 доменов, 50 страниц.
$119 , трафик, кол-во доменов и кол-во страниц не ограничено, подключение собственных доменов.
$440 , трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

Шаблоны\редактор: шаблоны и онлайн-редактор.
Демоверсия: 14 дней.
Комментарии: Есть свой набор шаблонов и платных и бесплатных. Не нашлось инструмента загрузки собственных сайтов для изменения в редакторе. Редактор простой, но требует время для изучения.

Англоязычные сервисы

Сервис #3

Сервис: http://unbounce.com/
Поддержка тестирования: A/B.
Тарифные планы:

$49 — 5 000 посетителей.
$99 — 25 000 посетителей.
$199 — 200 000 посетителей

На всех планах: неограниченное количество тестов и страниц во всех планах, статистика, онлайн-конструктор страниц.

Шаблоны\редактор: шаблоны и онлайн-конструктор(!).
Демоверсия: 30 дней.
Комментарии: Редактор довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простой сайт с нуля.

Сервис #4

Сервис: https://vwo.com/
Поддержка тестирован ия: A/B, MVT и тестирование мобильных приложений.
Тарифные планы:

$49 , 10 000 посетителей.
$129 , 30 000 посетителей.
Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

Шаблоны\ редактор: онлайн-редактор.
Демоверсия: 14 дней.
Комментарии: у сервиса красивый интерфейс, но при подгрузке своей страницы возникают проблемы.

Сервис #5

Сервис: http://www.convert.com/ .
Поддержка тестирования: A/B & MVT
Тарифные планы:

$9 , 2000 посетителей.
$29 , 10 000 посетителей, MVT.
$59 , 30 000 посетителей, MVT.
$99 , 50 000 посетителей, MVT + тестирование мобильных сайтов.
$139-$1499 , тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

Шаблоны\ редактор: онлайн-редактор.
Демоверсия: 15 дней.
Комментарии: Удобный редактор своих страниц. Шаблонов нет. Все красиво, сочно и удобно, но периодически перестает считать цели, выявлялись ошибки/косяки сервиса, исправлялись техподдержкой, но на следующий день подцепление целей опять слетало по неизвестной причине.

Сервис #6

Сервис: http://www.clickthroo.com/
Поддержка тестирования: A/B.
Тарифные планы:

$195 , 50 000 посетителей, 5 проектов.
$395 , 100 000 посетителей, 10 проектов.
$695 , 100 000 посетителей, безлимитное количество проектов.
$1195 , 250 000 посетителей, безлимитное количество проектов.

Шаблоны\ редактор: шаблоны и онлайн-редактор.
Демо-версия: 14 дней демодоступа.
Комментарии: Делаешь запрос на демодоступ, заполняя огромную форму и не получаешь его. Ок, получаешь, но через пару рабочих дней.

Сервис #7

$1295 — до 10 000 посетителей в месяц. Неограниченное количество проектов, страниц, тестов, доменов, техподдержка.

Шаблоны\ редактор: шаблоны и онлайн-редактор.

Демоверсия: бесплатный демодоступ.

Процесс принятия дизайнерских решений всегда был популярной темой для обсуждения. Почему некоторые дизайнеры делают выбор, который не сделали бы другие, и почему некоторые дизайны, казалось бы, работают лучше, чем другие?

От академического исследования до эскизов и анекдотов, мир дизайна увлечен процессом. Дольше всего задержался анекдот о «Google» и его 41 оттенке синего.

Пытаясь определить, какой из 2 -х оттенков синего цвета использовать для текста ссылки, Google протестировал не только основные 2, но и 39 между ними. История описывает примерно минутное решение, но выделяет быстро растущий подход к принятию решений. Он базируется на экспериментах, альтернативах, и, самое главное, данных.

«A/B тестирование может обеспечить ценность, но оно не должно проводиться за счет других областей дизайна.»

Но почему Google тестировал 41 оттенок синего, и как такой подход сможет помочь вам или вашей организации? В этой статье мы рассмотрим A/B тестирование (или млуьтивариантное тестирование): что это такое, почему его нужно использовать, и его ограничения.

A/B и мультивариантное тестирование в двух словах

Вкратце, A/B тестирование представляет собой метод сравнения 2 версий чего-либо друг с другом, чтобы определить который из них успешнее. Предметом тестирования может быть изображение, кнопка, заголовок, и т.п.

Мультивариантное тестирование - это расширение тестирования A/B, где сравниваются более 2 версий и (часто) включено больше вариаций. Это позволит вам испытать сразу несколько элементов и их способы взаимодействия.

Для простоты, остальная часть этой статьи будет рассказывать только об А/В тестировании, но для мультивариантного тестирования принципы остаются теми же.

Почему А/В тестирование

Цель A/B тестирования заключается в том, чтобы позволить вам производить постепенные улучшения вашего веб — сайта или приложения. Противопоставляя ваше приложение или веб – сайт одной или больше вариациям, вы сможете постоянно улучшать свой дизайн, получать подтверждения от реальных пользователей.

В A/B тестировании, каждый тест генерирует новые данные о том, что работает, а что нет. То, что работает может быть включено в веб-сайт или приложение и станет формировать новый и улучшенный дизайн

Тестирование А / Б в реальном мире

Что бы понять, как можно использовать А/В тестирование и что оно может сделать для вас, вы можете ознакомиться с сотнями примеров на веб – сайтах, вроде Which Test Won. Вы также можете взглянуть на эти популярные исследования:

Основной процесс А/В тестирования

Шаг 1: Где проводить тест

Что бы проводить А/В тестирование вам понадобится веб-сайт или приложение. (A/B тестирование способствует постепенному улучшению существующего продукта и не подходит для тестирования редизайнов или новых продуктов и услуг).

Вы должны решить какую область вашего сайта или приложения вы хотите изучить, и в идеале, постараться улучшить. Область изучения можно подбирать исходя из разных источников:

Аналитика: показывает ли ваша аналитика, что определенная страница или экран доставляет неудобство пользователям. Все ли ваши пользователи выходят с той же страницы?
Юзабилити – тестирование: Показало ли юзабилити – тестирование проблемную область или взаимодействие? Вы тестировали новое решение, а теперь хотите проверить его в больших масштабах?
Интуиция или личная неприязнь: Вы верите, что что-то можно улучшить и хотите проверить это с данными? Есть что-то что вам всегда не нравилось, и где вы хотите применить альтернативы?

Чаще всего эти три источника определяют предмет тестирования. Вооружившись этим знанием вы можете переходить к шагу 2.

Шаг 2: Что тестировать (и что измерять)

Одним из ключевых аспектов тестирования A/B является то, что вы меняете только одну переменную за раз. На первый взгляд, это кажется простой задачей, но можно незаметно перешагнуть отметку и добавить больше переменных.

Например, если вы хотите, протестировать кнопку, вы можете попробовать изменить ее текст:

Или изменить цвет:

Но если вы объедините оба варианта и протестируете кнопку с разным текстом и разным цветом, вы бы резко снизите ценность теста.

Сравнивая эти две кнопки друг с другом, вы не смогли бы указать, почему они дают разный результат: какой прирост производительности принесло изменение текста, или изменение цвета.

«Для проведения ценного A/B тестирования, крайне важно, ограничить изменения в одной переменной.»

Итак, для проведения ценного A/B тестирования, крайне важно, ограничить изменения в одной переменной. Если вы хотите протестировать несколько переменных одновременно, вы должны провести мультивариантный тест, где вы сможете проверить эти несколько вариантов и лучше понять, какой эффект принесло каждое изменение.

Какой бы тест вы не решили провести, вы также должны выделить ключевую метрику, которую вы будете отслеживать. В случае с кнопками, вы скорее всего будете измерять количество людей, которые на нее нажимают. Если речь идет о смене заголовка, то вы наверно будете оценивать показатель отказов, или время, проведенное на сайте.

То, что вы отслеживаете, станет тем, что вы тестируете. Просто убедитесь, что знаете, что вы пытаетесь улучшить, прежде чем начать А/В тестирование.

Шаг 3: Как тестировать

Теперь, когда вы понимаете, что и где вы будете тестировать, поговорим о том, как мы будем это делать. Есть множество приложений для A/B тестирования. Вот наиболее популярные:

Google Analytics
Optimizely
Visual Website Optimizer
A/B Tasty

Эти (и другие) предлагают базовый процесс A/B тестирования, но различаются функциями. Ваш выбор будет зависеть от ваших навыков разработчика, необходимой вам гибкости, или просто цены.

Многие крупные организации часто используют более одного инструмента, в зависимости от объема необходимой работы, или личных предпочтений, так что выбор правильного инструмента будет зависеть от ваших личных обстоятельств.

Шаг 4: Насколько большой тест

Итак, вы договорились о месте проведения теста, переменных, которые вы будете оптимизировать, и как вы будете технически все это реализовать. Последний вопрос, на который осталось ответить: с каким количество пользователей будет проходить тестирование?

Некоторые инструменты (такие как Google Analytics) не позволяют установить, кто увидит оригинальную версию, а кто альтернативную, или даже, как долго будет длиться тест. Для новичка это может быть полезной функцией, поскольку упрощает весь процесс.

«A/B тестирование не может вам сказать правильную ли проблему вы решаете.»

Если вы хотите установить эти переменные сами, то стоит рассмотреть, как долго будет продолжаться тест, и какой процент пользователь увидит оригинальную версию, а какой альтернативную.

Если вы работаете в организации, которая не приемлет риски, то покажите альтернативу только 5-10% пользователей, а остальным разделите 50:50. В конечном счете выбор будет зависеть от ваших амбиций, а также уровня и типа трафика, который получает ваш сайт или приложение.

Отвечая на вопрос как разделить тест, и как долго он должен проходить спросите себя: насколько большим должно быть тестирование что бы я убедился в правильности результатов?

Это обозначается техническим термином «статистическая значимость», или «статистическая достоверность». Ваша цель: создать тест, с достаточно большим размером выборки, так что вы могли с более чем 95% уверенностью сказать, «Их изменение вызвало этот результат.»

Вам решать, как вы разделите тест, но как долго его проводить может зависеть от объема трафика, который получает веб-сайт или приложение. Не беспокойтесь, как бы пугающе это не звучало, есть много онлайн калькуляторов, которые помогут вам понять, являются ли ваши результаты статистически значимыми или нужно увеличить время проведения тестирования.

Visual Website Optimizer’s significance calculator
Kissmetrics significance calculator

Шаг 5: Анализируйте и решайте

Вот и результаты! Вы провели тест, убедились, что он статистически значим, и теперь у вас есть цифры.

С учетом всей проделанной работы, количеством задействованных людей, все ожидают увидеть примерно такой результат:

Но чаще всего, что вы получите такой:

Не расстраивайтесь (и не отчаивайтесь) — A/B тестирование делает постепенные улучшения. И хотя большие изменения возможны, любое улучшение является отличным началом и ставит вас на правильный путь.

Даже если данные показывают, вы не произвели улучшений, то теперь вы находитесь в более сильном положении, потому, что знаете, что работает, а что нет.

«Данные не равны пониманию»

Если тест был успешным, следующие шаги на ваше усмотрение. Вы можете как можно скорее представить новую версию. Или, если вы проводили небольшое тестирование, вы можете провести еще один тест, с большим количеством людей.

Что вы делаете с обретенной информацией, в конечном счете зависит от вас!

Понимание ограничений A/B тестирования

Каким бы мощным не было А/В тестирование, также важно понимать его недостатки и ограничения. Несмотря на растущую популярность, A/B тестирование - это не панацея, которая может спасти любую компанию, а скорее еще один инструмент в вашем арсенале.

Когда вы рассматриваете применение А/В тестирования важно понимать, чего оно не может:

Сказать почему. Тестирование А/В представляет собой фантастический инструмент, помогающий понять, что работает, а что нет. Однако оно не может сказать вам почему. Для этого вам необходимо провести качественное пользовательское исследование. Очень важно, чтобы вы понимали – данные не равны пониманию.
Помочь вам протестировать редизайн вашего приложения или веб – сайта . Хотя в теории, вы могли бы сравнить весь дизайн страницы с альтернативой и получить данные о успешности, — вы не смогли бы понять, что именно в дизайне вызывает разницу. Пока вы не проведете пользовательское исследование – результат будет бессмысленным.
Сказать вам правильную ли проблему вы решаете. Из – за инкрементного характера A/B тестирования, оно может быть мощным инструментом, для постоянного улучшения своего веб — сайта или приложения. A/B тестирование не может сказать вам, правильную ли проблему вы решаете. Вы можете фокусировать свои тесты на домашней странице и видеть улучшения, но проблемой может оказаться другая часть сайта. Это понятие, известное как локальный максимум.

Что может A/B тестирование для вас сделать?

Если все это разожгло в вас аппетит к A/B тестированию, то у вас наверно уже есть информация, необходимая для старта. Некоторые мелкие детали могут отличаться, или ваша организация может выдвигать особые требования, но общие принципы остаются теми же.

A/B тестирование, при правильном использовании, может быть отличным инструментом. Оно может позволить вашей компании постепенно улучшаться и увеличить ваш успех.

Но важно понимать, что A/B тестирование - это всего один инструмент в гораздо более обширном арсенале любого дизайнера. В своей увольнительной записке, Дуг Боумен, бывший глава отдела визуального дизайна в Google, также вспомнил анекдот о 41 оттенке синего Google. Таким образом, даже если A/B тестирование может обеспечить большую ценность, оно не должно проводиться за счет других областей дизайна.

Дмитрий Дементий

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

Текст и внешний вид конверсионных кнопок, а также их расположение.
Заголовок и описание продукта.
Размеры, внешний вид и расположение конверсионных форм.
Макет и дизайн страницы.
Цену товара и другие элементы бизнес-предложения.
Изображения товаров и другие иллюстрации.
Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

kak-provodit-a-b-testirovanie

Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42

Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

какие характеристики указывать в тексте, а какие нет;
какие призывы использовать в тексте;
в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺

Самые распространённые сервисы для запуска А/В-тестов:

Google Analytics (бесплатный);
VWO (платный, https://vwo.com/ );
Optimizely (платный, https://www.optimizely.com/ ).

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.