Сравните две версии, чтобы подтвердить гипотезы A/B-тестирование - это метод улучшения продукта, при котором сравниваются две версии, чтобы проверить гипотезу и решить, какая из них работает лучше. Например, продублируйте страницу продукта, измените только текст кнопки “Добавить в корзину” на "Купить" и измерьте количество кликов. После сбора достаточного количества данных о трафике и поведении проанализируйте результаты и решите, следует ли внести изменения или оставить первоначальные.
Небольшие И Дешевые Итерации Усложняют Задачу; Радикальные Инновации Редки Из всего спектра усовершенствований, предлагаемых Якобом Нильсеном, A/B—тесты являются самыми простыми, дешевыми и доступными, хотя каждый отдельный результат в среднем составляет 1-10%. Пошаговое выполнение A/B-тестов может значительно улучшить продукт, если они будут интегрированы в полноценный эффективный процесс. Напротив, радикальные инновации редки, требуют больших ресурсов и сложны в разработке или внедрении, поэтому полагаться на них при рутинном совершенствовании нецелесообразно.
Команды, зависящие от данных, которые получают выгоду от A/B-тестирования Интернет-маркетологи используют тесты для более эффективного сегментирования, анализа и конвертации трафика. Веб-аналитики связывают выбор дизайна с показателями конверсии, а аналитики по юзабилити проверяют изменения интерфейса с помощью количественных данных. Менеджеры по продуктам, дизайнеры продуктов, разработчики и даже владельцы продуктов используют тесты для принятия решений, основанных на данных, а не на интуиции.
Результаты, которые стоит оптимизировать с точки зрения влияния на бизнес Общие цели включают повышение коэффициента конверсии и снижение показателя отказов, чтобы меньше трафика тратилось впустую перед выполнением желаемых действий. Свойства контента могут быть ориентированы на количество просмотров страниц, в то время как электронная коммерция часто проводит тесты на оптимальную цену и более высокий уровень конверсии. Рекламодатели и партнеры стремятся повысить кликабельность и снизить стоимость клика, согласовывая тесты со своими соответствующими стимулами.
Переменные интерфейса, контента и предложений для тестирования Протестируйте элементы, призывающие к действию ‑ кнопки, ссылки, изображения, ‑ варьируя цвет, размер, расположение и текст. Изучите альтернативные изображения, их размер и качество, а также расположение элементов в визуальных элементах. Отрегулируйте длину текста и полей формы, поскольку более короткие формы могут снизить сложность, а также поэкспериментируйте с цветовыми решениями, макетами страниц, ценами, специальными предложениями и элементами рекламных блоков; всегда проверяйте каждую гипотезу эмпирическим путем.
Отработанный рабочий процесс от достижения цели до принятия решения Процесс состоит из шести этапов: определение цели, выбор показателя, формулировка гипотезы, подготовка эксперимента, его проведение, затем анализ данных и принятие решения. Каждый шаг основывается на предыдущем, чтобы обеспечить четкое измерение и реальные результаты. Пропуск согласования или строгости на любом этапе может привести к потере времени и ресурсов.
Приведите цели в соответствие со стратегией компании и реалиями воронки продаж Цели должны соответствовать общим задачам компании, таким как увеличение онлайн-продаж. Анализ воронки продаж может выявить снижение на 25% на третьем этапе из четырех этапов оформления заказа, что предполагает изменение формы корзины для увеличения количества успешных заказов. Сосредоточение внимания на несогласованных гипотезах затрачивает усилия команды, но не продвигает бизнес вперед.
Выберите первичный показатель и ограничьте количество вторичных Выберите ключевой показатель, такой как объем продаж, выручка, чистая прибыль, количество посетителей, коэффициент конверсии или показатель отказов. Второстепенные показатели, такие как средняя стоимость заказа и чистая прибыль, могут дополнить интерпретацию, но отслеживание слишком большого количества показателей ослабляет фокус. Для повышения эффективности тестирования используйте строгий набор показателей.
Превращайте идеи в измеримые гипотезы Черпайте идеи из аналитики, бизнес-потребностей и моделей конкуренции, зная, что победы других могут не распространяться на вашу аудиторию. Сформулируйте гипотезы в виде: выполнение X увеличит показатель Y на Z, потому что N. Пример: сокращение этапов оформления заказа с четырех до трех должно повысить конверсию покупки на 1-3%, потому что 25% пользователей отказываются от покупки на третьем шаге; укажите стадию воронки и ожидаемый эффект.
Расставляйте приоритеты эффективно, уверенно и с легкостью Оцените каждую гипотезу с точки зрения результативности, уверенности и простоты (от 1 до 10), умножьте оценки и суммируйте по всем членам команды, чтобы ранжировать возможности. Задавайте вопросы о том, насколько эффективно изменение повлияет на цели пользователей, насколько сложно его создать и протестировать и насколько вы уверены в оценках. Существуют альтернативные системы определения приоритетов, и, хотя опытные команды могут полагаться на интуицию, структурированный подсчет баллов на начальном этапе более безопасен.
Изменяйте что-то одно в каждом тесте, чтобы изолировать эффекты Создайте новую версию, которая отражает только предполагаемые изменения, избегая множественных вариаций за один запуск. Один тест, одно изменение предотвращает взаимоисключающие эффекты, которые отменяют друг друга и затрудняют обучение. Эта дисциплина гарантирует, что вы точно знаете, какой элемент привел к результату.
Ориентируйтесь на нужных пользователей и разумно распределяйте трафик Определите, кого тестировать — новых или постоянных пользователей, источник трафика, платформу или географию — и где будут отображаться изменения. По умолчанию используется соотношение 50/50 между контролем и вариантом; для рискованных изменений измените его примерно на 70/30, чтобы ограничить риск. Четкий выбор аудитории повышает качество сигнала.
Планируйте значимость, мощность и требуемый размер выборки Установите значение альфа на 0,05, чтобы ограничить ошибки первого типа, и увеличьте мощность примерно на 80%, чтобы не пропустить реальные эффекты. Используя базовую конверсию в 2% и минимальное заметное увеличение на 1%, требуемая выборка составляет 3292 пользователя для каждого варианта. Планируйте как минимум 170 конверсий и минимальную разницу в 26 конверсий между вариантами для обеспечения надежного анализа.
Определите продолжительность и подготовьте инструменты и средства отслеживания Оцените продолжительность теста, разделив требуемую выборку для каждого варианта на ежедневную посещаемость, и проведите как минимум полную неделю, чтобы учесть разницу между буднями и выходными. Учитывайте предстоящие праздники, которые могут повлиять на поведение. Выберите платформу для распределения трафика — Google Optimize бесплатна, альтернативные варианты платные — и перепроверьте аналитику, чтобы все необходимые показатели были зафиксированы должным образом перед запуском.
Проверьте правильность настройки и проведите чистый эксперимент Перед запуском проведите AA-тест, чтобы убедиться, что идентичные версии ведут себя одинаково и что приборы работают. Убедитесь, что между вариантами нет технических различий или различий в трафике, затем запустите и отслеживайте проблемы с трафиком или инструментами. Устраняйте проблемы по мере их возникновения, чтобы обеспечить целостность эксперимента.
Избегайте подглядывания и управляйте рисками во время мониторинга Частая проверка промежуточных результатов увеличивает вероятность того, что вы остановитесь на ложноположительном результате, когда показатель на короткое время превысит значение. По мере накопления данных идентичные версии могут выходить за пределы диапазона без различий примерно в 5% случаев, поэтому ранние “выигрыши” могут быть иллюзорными. Продолжайте анализ, если показатели сильно не ухудшатся (например, продажи снизятся на 30%), и следите за доверительными интервалами или долгосрочными тенденциями для стабильного разделения.
Проанализируйте результаты и подтвердите статистическую значимость Вычислите выбранный показатель успешности для обеих версий и разницу, затем проверьте значимость. Например, версия A с 2292 сеансами и 71 конверсией по сравнению с версией B с 3311 сеансами и 106 конверсиями дает значение p, равное 0,000859, что с высокой степенью достоверности связывает повышение с изменениями. При необходимости сегментируйте по платформам, источникам или географическим регионам; когда контроль выигрывает или разницы нет, изучите причины, такие как слабый обмен сообщениями или плохое качество обслуживания, чтобы использовать их для следующих тестов.
Запустите A/B-тест в Google Optimize от настройки до запуска Создайте учетную запись и проект, выберите тип эксперимента (A/B, многовариантный, перенаправление или персонализация) и укажите URL-адрес теста. Добавьте вариант, установите расширение Chrome, отредактируйте страницу напрямую (например, измените текст кнопки формы) и просмотрите как оригинал, так и вариант. Настройте таргетинг страницы и правила для аудитории (включая триггеры с параметрами запроса для кампаний бренда), опишите тест, свяжите Google Analytics, установите цели, установите фрагмент оптимизации или разверните с помощью Google Tag Manager, включите уведомления, настройте распределение трафика и событие активации, затем начните; по мере практики расширяйте гипотезы, оценивайте их, рассчитайте размер выборки и настройте эксперимент в Google Optimize, а также опишите этапы настройки.