Советы по проведению сплит-теста

Сформулируйте гипотезу, которую нужно проверить.

Перед началом сплит-теста определитесь, что именно вы хотите проверить и как результаты повлияют на общую стратегию продвижения. Правильная формулировка гипотезы поможет выбрать целевую переменную для A/B-тестирования и провести само тестирование без нарушений.

Настройте тестовые группы с большой разницей в переменных.

При задании переменной рекомендуется, чтобы настройки тестовых групп значительно отличались друг от друга. Различия должны быть очевидны, чтобы результаты двух групп объявлений не совпали и по итогам можно было выявить победителя.

Выделите для тестирования достаточный бюджет.

Бюджет для сплит-теста должен быть таким, чтобы можно было получить достаточное количество результатов и уверенно определить наиболее эффективную стратегию. Во время создания сплит-теста система покажет ожидаемую мощность тестирования на основе заданного бюджета. Бюджет должен быть достаточно большим, чтобы обеспечить требуемую статистическую мощность.

Задайте достаточную продолжительность тестирования.

Для получения оптимальных результатов рекомендуем проводить тестирование в течение 7 и более дней. Максимальная возможная длительность сплит-теста — 30 дней. Меньшего срока тестирования может не хватить для определения победителя, а на долгие тесты уходит слишком много средств.

Используйте большую аудиторию.

Для проведения сплит-теста желательно использовать более широкую аудиторию во избежание недостаточного размера выборки.

Старайтесь, чтобы статистическая мощность была достаточно высокой.

Статистическая мощность — это вероятность выявления потенциальных различий между группами объявлений, которые позволят определить победителя. Рекомендуем использовать бюджет, обеспечивающий статистическую мощность не менее 80%.

Избегайте внесения изменений в середине теста.

Редактирование группы объявлений после запуска сплит-теста может отразиться на его результатах или привести к тому, что группа объявлений будет заново отправлена на проверку. Рекомендуем не менять настройки теста после его запуска.