A b тестирование не позволяет проводить. AB test: как его проводить и что для этого нужно. Как и когда мне можно интерпретировать результаты сплит-теста

03.11.2023

“Не принимайте ничего на веру. Только решения из практических результатов, то есть - результатов тестирования. Тестировать надлежит все и вся. Я постоянно этим занимаюсь”. (с) Гари Хелберт.

И в этом с Королем продающих текстов (проще говоря, самым известным копирайтером современности) я полностью согласен.

A/Б тестирование - вот именно то, что необходимо, чтобы принять правильное решение, а не только основанное на собственных ощущениях. Что это такое и как его провести мы и поговорим в этой статье.

Дальние дали

Стандартно, A/B testing произошло от английского. Где его ещё называет split-testing или сплит-тестирование. Но самое интересное, это перевод.

A/Б тест (или сплит тест) - это один из методов маркетинга, когда одна группа элементов сравнивается с другой группой элементов с разными данными.

Цель действий - выяснить у какой группы элементов конверсия или показатели будут больше.

То есть все довольно просто. Вы создаете 2 различных варианта рекламной продукции (пусть это будут электронные письма продающие ваши услуги) и в конце этих писем делаете разный .

И просто считаете конверсия какого письма была выше. Именно это и есть суть а/б теста.

Вот наглядный пример на уровне сайтов, где мы определяем как влияет на результат изменённое расположение блоков. А именно поднятый наверх модельный ряд.

A/Б тест

А вот если Вы тестируете, к примеру, 2 посадочных страницы, в которых изменены заголовки, кнопки призыва к действию разной формы и разного размера, то это уже не просто а/b test, а многовариативное тестирование или A/B/N-test.

Так почему же про этот тест так много сейчас говорят? Все очень просто. Маркетологи любят показывать свою экспертность за счёт разного рода фишек, к которым тестирование можно отнести.

А владельцы компаний мечтают найти волшебную таблетку и считают, что сплит-тестирование - просто панацея для их рекламных материалов (в частности при ).

Что вам даст этот тест?

На самом деле не все так плохо и сплит тестирование сайта реально даёт пользу для компаний, и может за короткий промежуток времени изменить ситуацию, а именно:

. Самый простой и при этом самый желаемый показатель любого владельца, особенно в сайтах.
Изменение поведенческих факторов. Не самые очевидный, но опять же влияющий на увеличение продаж фактор.
Увеличение среднего чека. Это добавление разного рода call to action или на примере сайтов, всем знакомый блок “с этим товаром покупают”.

Если обобщить, все сводится к увеличению продаж. И определённо это стоит вашего внимания.

Но есть одно “НО”. И уже возможно на этом этапе Вы поймёте, что Вам это не нужно.

Это “НО” говорит о том, что добиться взрывных продаж с помощью замены одного элемента если и можно, то очень редко.

Примерные шансы 1 к 1000. Так как идёт замена небольших составляющих, которые редко когда отличаются кардинально друг от друга.

А когда для Вас это капля в море, то лучше сфокусировать своё внимание на более важных составляющих.

К тому же, пока у Вас нет устоявшегося трафика, пока Вы только тестируете разные каналы и способы рекламы в интернете, то можете даже не начинать тестировать.

Так как показатели будут не верны, ведь трафик не однородный, а, как известно, разные люди действуют по-разному.

Если у Вас нет опыта в проведении а/б тестов (иначе вас бы тут не было), то крайне рекомендую Вам предварительно прочитать кейсы.

И особенно обратите внимание на кейсы людей, добившихся увеличения конверсии/изменения поведения в рунете. Так Вы поймете что лучше тестировать.

Либо Вы можете пойти другим путем. Составьте предварительный список (план) того, что Вы будете тестировать на сайте.

Это нужно делать исходя из своих предположений, обратной связи фокус группы (наихудший вариант) или на основе данных из . Это для того, чтобы Вас не кидало из стороны в сторону.

Важно. Забудьте про многовариативность и делайте только один тест за раз. На нашем опыте лучше всего работает связка - 1 тест = 1 изменение.

Иначе Вы не поймёте что на самом деле дало результат. А ещё интереснее будет, когда одно изменение даст +0,5, а другое изменение на этой же странице -0,5 к конверсии.

Что в результате 0 и упущенный из виду положительно влияющий элемент. Поэтому не допускайте такой ошибки.

Важно. Забудьте про расплывчатые теории. Из серии “надо что-то изменить в сайте, сделав его более продающим”.

Нормальная теория для тестирования - на одной странице кнопка красная, на другой синяя.

На одной странице есть цена, на другой нет цен. Только тогда Вы будете уверены в результатах. Четкие критерии = понятные результаты.

Важно. Результат, полученный за очень короткий срок = плохой результат.

Особенно, если за короткий срок на Ваших сайтах побывало от силы 20 человек.

Поэтому перед тем как броситься в тестирование сайта, Вам нужно понимать сколько человек его посещает ежедневно и сколько дней тестирование должно длиться.

Калькулятор времени тестирования

Чтобы Вам было не скучно, я нашел калькулятор, благодаря которому Вы сможете рассчитать оптимальную продолжительность для тестирования сайта - vwo.com/ab-split-test-duration/

Калькулятор

Он на английском языке, поэтому на всякий случай я перевел и расшифровал строчки, которые Вам необходимо будет заполнить:

Конверсия Вашей страницы на данный момент. Как считать, читайте здесь - .
Процент, на который Вы хотите увеличить существующую конверсию.
Необходимое число комбинаций. Если Вы, к примеру, хотите узнать какой заголовок на сайте лучше конвертирует, то тогда это одна комбинация.
Если Вы хотите поменять заголовок, но при этом изменить его текст и размер, то это будет две комбинации.
Число посетителей в день на Вашем сайт (естественно, усредненное).
Число посетителей, которые будут принимать участие в тестах.

Поэтому это ещё один камень в “огород” a/б теста, касаемо его не актуальности для взрывного роста продаж.

НАС УЖЕ БОЛЕЕ 29 000 чел.
ВКЛЮЧАЙТЕСЬ

Как делать?

Теперь расскажу как сделать все правильно. Заголовок письма, кнопка призыва к действию, наличие цен в , всё это можно реализовать как вручную, так и с помощью специальных сервисов.

И сразу, без долгих объяснений в любви, вручную делать это запрещено, потому что времени займёт массу.

А если у Вас времени все-таки много, то лучше и полезнее будет вам внедрить любой канал из статьи.

Дмитрий Дементий

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

Текст и внешний вид конверсионных кнопок, а также их расположение.
Заголовок и описание продукта.
Размеры, внешний вид и расположение конверсионных форм.
Макет и дизайн страницы.
Цену товара и другие элементы бизнес-предложения.
Изображения товаров и другие иллюстрации.
Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:

Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

kak-provodit-a-b-testirovanie

(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

Самые посещаемые страницы сайта
Страницы с дорогими визитами
Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

Выдвигается гипотеза о поведении посетителя
Предлагается решение по изменению элементов (лучше брать 1-2, не более)

Добавить слово «Бесплатно»
Разместить объясняющее видео
Приклеить кнопку регистрации к верху страницы
Сократить количество полей в заявке
Добавить счетчик специального предложения
Добавить бесплатную пробную версию
Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
Трафик между страницами должен распределяться равновероятно
Делая настройки, выберите новых посетителей сайта
О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
Делайте оценку результатов в одно время
Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.

Резкий скачок конверсии не отражается на продажах? А может, его просто не существует? Если основывать решения на ложных итогах теста, в лучшем случае вы упускаете шанс оптимизации, в худшем - снижаете конверсию.

К счастью, есть способ это предотвратить. Что такое A/A тестирование, как его провести - читайте в статье.

Ложноположительный результат

Допустим, вы оцениваете комбинации кнопки и заголовка. Когда достоверность достигает 99%, делаете выводы и применяете на практике.

Через несколько бизнес-циклов наблюдаете: обновленный дизайн не приносит ожидаемой прибыли. А ведь вы проводили тестирование, вкладывали в него время и ресурсы!

Это ложноположительный результат, известный также, как «статистическая ошибка первого типа» и «ошибочное отклонение верной нулевой гипотезы». Он встречается чаще, чем вы думаете - примерно в 80% случаев.

Почему это происходит?

Эффект инструмента

В начале эксперимента важно убедиться, что конфигурация инструмента правильная и он работает как надо. Иначе - риск получить:

Неверные показатели . Всего одна ошибка может исказить данные A/B тестирования. Как минимум, интегрируйте с Google Analytics для перепроверки.
Неверное отображение посадочной страницы . Убедитесь, что лендинги выглядят корректно на всех устройствах и браузерах, и посетители не сталкиваются с фликкер-эффектом. вызывает эту же проблему.
Преждевременное завершение теста . Иногда софт объявляет «победителя» слишком рано - при недостаточных размере или репрезентативности выборки. Помните: если вы достигли статистической значимости, это не значит, что пора прекращать тест. Чем он дольше, тем точнее результаты.

Смотрите в оба: любые из этих признаков ведут к ложному выводу. Отслеживайте каждую цель и метрику. Если какой-либо показатель не фиксируется (например, добавления товара в корзину), остановите тест, устраните проблему, и начните снова.

A/A vs A/B

A/B тест пригоняет трафик на контрольную версию и вариацию и показывает, какая работает лучше.

A/A - то же самое, только для двух одинаковых страниц. Цель - не увидеть различий в их показателях.

Только 20% экспериментов дают достоверные результаты. Статистической значимости и большой репрезентативной выборки недостаточно. Поэтому профессионалы используют эту технику до A/B теста.

Как видите, эти типы дополняют друг друга.

Если в конце эксперимента показатели конверсии обеих страниц совпадают, можно запускать A/B тест. На практике не всегда все проходит гладко.

Пример 1. Как страница может переиграть своего клона

Это лендинг, который тестировала команда Copyhackers в ноябре 2012 года:

Через 6 дней система тестирования отметила «победивший» вариант при уровне достоверности 95%. Ради точности эксперимент продлили на день - и достигли 99,6% точности:

Страница на 24% эффективнее, чем точно такая же? Результат ложноположительный. Еще через 3 дня различия исчезли:

Вывод: тест слишком рано вычислил победителя.

Пример 2. Как ничего не делать и повысить конверсию на 300%

Что мы видим:

9% - рост показателя открытия писем;
На 300% выросло количество переходов по ссылкам;
На 51% упал показатель отписок от рассылки.

И все бы ничего, но это A/A тест! Контент, который конкурирует друг с другом, абсолютно идентичный.

Стоит ли проводить A/A тесты

Известный эксперт Нил Патель наблюдал большие скачки конверсии без увеличения выручки. Он советует первым делом тестировать софт, чтобы потом не расхлебывать последствия неверных решений.

По мнению Пипа Лайя, основателя агентства ConversionXL, тесты сами по себе трата времени.

Кому верить? С одной стороны, точность превыше всего, и метод A/A - способ ее обеспечить. С другой - трата ресурсов на тестирование, а также подготовку к нему.

Крейг Салливан, эксперт по пользовательскому опыту, считает, что 40 тестов в месяц - высокая нагрузка для сотрудников. Лучше убить полдня на QA, чем 2-4 недели на то, чтобы просто проверить работу инструмента.

Проблема №1 . A/A тесты занимают время и трафик, которые вы можете потратить на изучение поведения посетителей сайта.

Проблема №2 . И A/B, и A/A нужно тщательно организовывать и мониторить, чтобы не получить ложный результат. Как в примере от Copyhackers.

Потратить время или рискнуть надежностью ПО при принятии решения - решать вам.

Есть потенциально менее затратный вариант - A/A/B.

A/A/B vs A/A

Традиционное A/A тестирование ничего не говорит о посетителях. Но если добавить в процесс еще вариант - другое дело.

A/A = конкурируют 2 одинаковые страницы.

A/A/B = A/A тест + одна дополнительная вариация.

Вы поймете, стоит ли доверять инструменту. Если да, выбираете лучшую версию в соответствии с его показаниями. Если нет, их не стоит применять.

Да, нужно больше времени, чтобы достичь статистической значимости. Зато вы оцениваете и софт, а если он подтвердит свою надежность, - и поведение посетителей.

Заключение

Перевешивают ли выгоды A/A тестирования его недостатки? Нет однозначного ответа. Проводить тестирование ежемесячно - лишнее. Достаточно - при использовании нового софта (сервиса для проведения тестов). Для тех, кому совсем жалко времени, есть компромиссный вариант - A/A/B тест.

Если вы исключите ошибки сегодня, получите более точные итоги в будущем.

Высоких вам конверсий!

A/B тестирование

A/B тестирование как способ управления конверсией

A/B тестирование - один из самых эффективных маркетинговых инструментов, который используется для оценки и управления конверсией сайта. Инструмент облегчит работу маркетолога - он встроен в продукт и не требует дополнительных настроек. В продукте доступно шесть готовых сценариев A/B тестирования - новый дизайн, главная страница, детальная карточка товара, страницы корзины, страница оформления заказа и произвольно выбранная страница. На основании тестирования будет выбран наиболее эффективный вариант для показа.

Воспользоваться инструментом может обычный контент-менеджер, поскольку система все делает сама и не требуется ничего программировать. Достаточно выбрать один из предустановленных тестов, запустить его и получить подробные отчеты по эффективности.

Для чего нужны А/В тесты

Как изменения могут отразиться на конверсии?

А/В тестирование - один из лучших способов для увеличения конверсии страниц и интернет-магазина. Главная цель А/В тестирования – выяснить, какие именно составляющие сайта нравятся посетителям больше, работают лучше, а, значит, и повышают конверсию. Особенно эффективны А/В тесты для сайтов с большим трафиком.

Что именно изменить?

Хотите что-то изменить на сайте для улучшения конверсионных показателей? Проведите А/В тестирование, выясните, как изменения отразятся на этих показателях.

Даже небольшие эксперименты с контентом сайта могут изменить конверсию. В большую или меньшую сторону? Пройдите испытания, перед тем как радикально изменить, например, свои рекламные предложения.

Вручную? Сложно

Сделать А/В тест вручную очень сложно для обычного пользователя. Собирать данные, проводить анализ и вычислять наиболее удачные варианты страниц - все это связано с большими трудозатратами. Обращаться к услугам специальных сервисов - долго и дорого.

В продукте - готовые А/В тесты - абсолютно бесплатно!

Протестируйте новый шаблон сайта

"Сайт закрывается? Здесь ничего не меняется..." - может подумать клиент, наблюдая на главной странице одни и те же картинки. Включите в каталоге товаров другую сортировку - по дате, а не популярности. Но перед этим пройдите А/В тест!

Готовые А/В тесты

Не нужно программировать, не нужно настраивать!

Провести A/B тестирование самостоятельно очень сложно. Несмотря на то, что это один из самых эффективных инструментов, делают это крайне редко. «1С-Битрикс» представляет уникальный инструмент, позволяющий каждому клиенту за 5 минут провести A/B тестирование своими силами.

Шаблоны готовых тестов

В вашем распоряжении - встроенные инструменты А/В тестирования. Теперь вы легко можете проверить, какой вариант страницы работает эффективнее. С продуктом «1С-Битрикс: Управление сайтом» вы получаете комплект готовых тестов. Все тесты встроены в продукт и не требуют дополнительных технических настроек.

Тестируйте, вносите изменения на сайт и получайте прибыль.

6 сценариев A/B тестирования:

Новый дизайн
Главная страница
Детальная карточка товара
Страницы корзины
Страница оформления заказа
Произвольная выбранная страница

Список предустановленных тестов будет пополняться!

Не нужно программировать!

Нужный тест достаточно выбрать из списка предустановленных и запустить. Для выполнения теста достаточно знаний и прав обычного контент-менеджера.

Пройдите тест перед сменой дизайна

Воспользоваться инструментом может обычный пользователь, поскольку система все делает сама и не требует ничего программировать. Достаточно выбрать один из предустановленных тестов, запустить его и получить на руки подробные отчеты по эффективности. Система сама скопирует нужную вам страницу!

Отчеты и аналитика

Подробные отчеты по эффективности

Полная аналитика для выбора лучшего варианта!

Узнайте с помощью нового инструмента, как скажется на конверсии магазина смена дизайна сайта, перестройка главной страницы, новое представление карточки товара, иная сортировка товара в каталоге и другие изменения. Достаточно выбрать и запустить нужный тест.