5 способов испортить A/B тестирование, и как избежать ошибок

5 способов испортить A/B тестирование, и как избежать ошибок

Рост конверсии опьянил вас?
Не торопитесь бронировать пятизвездочный отель в Вегасе,
чтобы отпраздновать свой успех, пока не убедитесь в том, что результаты A/B тестирования достоверны.

Рост конверсии опьянил вас? Не торопитесь бронировать пятизвездочный отель в Вегасе, чтобы отпраздновать свой успех, пока не убедитесь в том, что результаты A/B тестирования достоверны.

Хорошие результаты A/B тестирования создают впечатление общего успеха, и вот мы уже торопимся отпраздновать рост конверсии с коллегами. Однако уже через несколько дней вся радость сходит на нет, когда вы вдруг осознаете, что вопреки ожиданиям, доход не очень-то и увеличился. Внезапно все вокруг кажется мрачным, а вас не покидает чувство обманутости. Знакомо?

«Но ведь программа сама определила результаты тестирования!» — убеждаете вы сами себя.

Все верно, так и было. Пока вы не разберётесь во всех тонкостях A/B тестирования, так и будете винить программу в том, что рост прибыли не соответствует проценту конверсии.

Хотите узнать, где вы ошиблись? Как провести A/B тестирование, которое действительно увеличит вашу прибыль?
В этой статье мы дадим несколько советов о том, как понять свою ошибку и не допустить её в будущем.

1. В ходе тестирования вы не учли дополнительные посещения

Возьмём в качестве примера любой коммерческий сайт. Стандартный путь конверсии: Главная страница> Страница категории продукта> Страница продукта> Оформление заказа> Покупка.

Здорово, правда?

Теперь давайте предположим, что на странице категории продукта вы сделали изменение, которое должно привести большее количество посетителей к стадии оформления заказа. Глядя на результаты эксперимента, вы на 99,7% уверены, что этот шаг увеличил ваш доход на 30%. На самом же деле рост конверсии мог быть вызван посещаемостью страницы, а не вашим нововведением.

Во время тестирования вы не учли дополнительный поток посещений, и в результате дополнительная ваша прибыль будет ниже тех 30%, которые вы зафиксировали в A/B эксперименте.

Как избежать этой ошибки?

Предусмотрите все потенциальные источники трафика, которые могут повлиять на результаты тестирования. Исключите их из расчетов и стройте свои предположения, основываясь исключительно на посещаемости, которая учтена в эксперименте.

Зайдите в раздел «Пользовательские переменные» в своём аккаунте Google Analytics, чтобы получить доступ к статистике по вариантам A и B. Если ваше программное обеспечение интегрировано с GA (как, например,Visual Website Optimizer), вы сразу увидите, что цели конверсии отслеживаются на основе количества посетителей, которые вошли в тестирование. Вот как это выглядит в Google Analytics:


Стройте свои предположения, основываясь исключительно на посещаемости, которая учтена в эксперименте.

2. Вы не дождались статистической достоверности

Среди маркетологов можно встретить тех, кто произвольно останавливает тестирование ещё до его окончания — на уровне 80% или 90% статистической точности, а то и раньше. С чувством выполненного долга они объявляют победителя, а позже жалуются на то, что никаких улучшений в бизнесе не происходит.

Запомните: если остановить тестирование слишком рано, вы получите недостоверные данные. В соответствии со стандартами, вы должны продолжать эксперимент до тех пор, пока уровень статистической точности не достигнет как минимум 95%.

Как избежать подобной ситуации?

Не делайте выводов, пока уровень статистической достоверности не достигнет 95%. Это будет означать всего лишь 5% вероятности того, что результаты ошибочны. Благодаря современным инструментам для A/B тестирования, вам не нужно высчитывать статистическую достоверность — все происходит автоматически.

Запомните: если остановить тестирование слишком рано, вы получите недостоверные данные.

3. Вы не обратили внимания на объем выборки

Итак, вы дождались необходимой статистической достоверности — она составила 99%. Процент улучшения конверсии не может не радовать — 125,5%! Можно ли с уверенностью говорить, что результаты точны? Не всегда.

Вся суть A/B тестирования заключается в том, что вы делаете вывод о поведении всей своей аудитории, основываясь на эксперименте с небольшой её частью. Однако если аудитория вашего сайта — 50 000 человек, нельзя экспериментирвоать только с 50.

Если вы собираетесь вводить изменения на сайте, основываясь на результатах тестирования с недостаточной выборкой, вы сами подписываетесь на провал. Рост выручки, спрогнозированный поведением 50 человек при общей аудитории в 50 000 — это крайне сомнительное предположение.

Пример тестирования, которое будучи статистически достоверным, имеет недостаточную выборку:

5 способов испортить A/B тестирование, и как избежать ошибок

Смотреть в полном размере

Как исправить эту ошибку?

Воспользуйтесь бесплатным калькулятором продолжительности A/B тестирования. Введите показатели посещаемости и конверсии вашего сайта, чтобы вычислить необходимый объем выборки или же количество посетителей, которого необходимо достичь для оптимальных результатов эксперимента.

Даже если ваша статистическая достоверность достигла 95%, и вы можете назвать победителя, продолжайте тестирование до тех пор, пока выборка не достигнет нужного объёма.

4. Вы фокусируетесь на психологических тактиках больше, чем на потребностях своих клиентов

Главная цель оптимизации конверсий — исключить неконтролируемое мышление посетителей сайта. Показывая ценность своего предложения, вы помогаете клиентам принять правильное решение.

Используя психологические приёмы, такие как смена цветовой гаммы, вы, конечно, влияете на поведение аудитории и улучшаете показатели конверсии, но серьёзных увеличений прибыли, изменив цвет кнопки, ждать не стоит.

Как избежать ошибки?

Безусловно, вы должны активно использовать знания психологии, чтобы посетители вашего сайта проходили все этапы конверсии и в результате совершали покупку. Однако вы сможете достичь намного большего, разобравшись в том, что действительно нужно потребителям и предложив это на своем сайте. Такая тактика увеличит ваш доход куда быстрее, чем психологические трюки.

Вы сможете достичь намного большего, разобравшись в том, что действительно нужно потребителям и предложив это на своем сайте.

5. Вы анализируете не ту цель конверсии

Оптимизация веб-сайта по одной единственной цели — это нормально, если у него узкая направленность. Скажем, на коммерческих сайтах цель «Покупка», вне сомнения, превосходит все остальные.

Однако если на вашем сайте стоит несколько целей конверсии, отслеживать их также нужно в совокупности, иначе результаты A/B тестирования приведут вас к ложным выводам.

Например, веб-сайты по продвижению SaaS (software as a service) приложений, как правило, имеют несколько целей одновременно: загрузка электронной книги, бесплатная регистрация, платная регистрация, показатель отказов и т.д.

Получается, если владелец такого сайта заменит текст, призывающий бесплатно скачать книгу, это, скорее всего, увеличит количество конверсий по скачке книги. В то же время это может привести к падению платных регистраций, поскольку люди будут отвлекаться на бесплатную книгу.

Если вы будете отслеживать только одну цель конверсии, вы не сможете оценить реальную картину происходящего. За радостью от количества скачанных книг вы не заметите снижения выручки от платных регистраций.

Как избежать подобной ситуации?

Убедитесь, что вы отслеживаете все ключевые показатели. Допустим, вы видите отличные результаты по основной цели конверсии, однако, это не очень положительно сказывается на другой, не менее важной метрике. В этом случае вы должны определить, что в наибольшей степени влияет на объем выручки — и действовать в этом направлении.

Неправильный выбор инструмента для проведения A/B тестирования также может привести к тому, что результаты эксперимента не сойдутся с реальностью, поэтому лучше всего полагаться на уже проверенные программы.

Источник

tony_simonovsky180

Я Тони Симоновский, специалист по оптимизации конверсий для сайтов. Если у вас есть интернет-магазин, для которого требуется увеличить продажи или стартап с задачей увеличить пользовательскую базу, я помогу вам.

  • ЗАКАЖИТЕ БЕСПЛАТНЫЙ АУДИТ КОНВЕРСИЙ ВАШЕГО САЙТА
    0
  • Адрес сайта*
    1
  • Телефон или email для связи*
    2
  • 3

Прочитал сам — поделись с друзьями

  • Материалы, доступные только по почте
    0
  • Введите email*
    1
  • 2

No comments

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>