Вы, возможно, слышали, что вы не можете проводить A/B-тестирование, если у вас нет определенного (высокого) количества посетителей. Это не так работает — размер выборки, который вам нужен, является результатом вашего текущего коэффициента конверсии, ожидаемого роста и уровня статистической значимости, к которому вы стремитесь.
Воспользуйтесь этим калькулятором размера выборки от Эвана Миллера, чтобы узнать, насколько существенное повышение коэффициента конверсии вам необходимо для проведения одного сплит-теста в месяц с вашим текущим трафиком.
Пример: Вы хотите провести тест с двумя вариантами. Ваша страница генерирует 3500 посещений ежемесячно, коэффициент конверсии = 4%. Согласно калькулятору, вам понадобится ~50%-ный рост коэффициента конверсии, чтобы достичь 95%-ной статистической значимости за один месяц.
теста в течение 2+ месяцев, рассмотрите возможность целиться на более низкое значение. 75% будет достаточно — это означает, что 3 из 4 результатов теста будут действительными. Таким образом, Использование базы данных телемаркетинга вы завершите тесты быстрее, проверите больше гипотез и в конечном итоге заработаете больше денег (если вы будете тестировать правильные вещи).
Конечно, это работает только до определенной степени. Ограничьте использование этого исключения, когда вы видите, что рост коэффициента конверсии составляет по крайней мере 30%. Кроме того, некоторые инструменты могут показывать вам 75% уверенности, когда у вас всего дюжина конверсий на вариант — не доверяйте им. Подождите по крайней мере один полный бизнес-цикл (2 недели), прежде чем делать какие-либо выводы.
Конечно, есть некоторый риск, но окупаемость инвестиций при принятии более низкого уровня статистической значимости будет выше, чем при постоянном стремлении к 95%.
«Тесты на большие деньги» с высокой отдачей позволяют быстрее и увереннее прийти к выводу, даже без миллиона посетителей.
2. Использование микроконверсий ускоряет тестирование
У вас может быть недостаточно лидов или транзакций для проведения сплит-тестов, но те микроконверсии, которые на самом деле приводят к крупным целям, можно использовать в качестве показателя успешности и для A/B-теста.
