Najlepsze praktyki dotyczące testów A/B

Określenie hipotezy do przetestowania

Przed skonfigurowaniem testu A/B ustal, co chcesz przetestować i w jaki sposób może to pomóc w sformułowaniu strategii reklamowej. Przemyślenie hipotezy pomoże Ci skoncentrować się na testowanej zmiennej i zapewni, że zaprojektujesz i przeprowadzisz „rzetelny” test A/B.

Skonfigurowanie grup testowych, które wykazują duże różnice pod względem zmiennych

Podczas wybierania zmiennej testu zalecamy, aby ustawienia dwóch grup testowych znacznie się różniły. Powinny istnieć oczywiste różnice, aby obie grupy reklam nie dawały podobnych wyników i system mógł określić zwycięską grupę reklam.

Ustawianie odpowiedniego budżetu testowego

Budżet przydzielony na Twój test A/B powinien umożliwić osiągnięcie wystarczających wyników, aby zapewnić możliwość określenia najlepszej strategii. Po utworzeniu testu A/B system zademonstruje szacowaną moc testową na podstawie ustawionego budżetu. Upewnij się, czy Twój budżet wskazuje, że szacowana moc testowa jest wystarczająca.

Ustanowienie odpowiedniego okresu testowego

Zalecamy, by test trwał co najmniej 7 dni, aby uzyskać najbardziej wiarygodne wyniki. Testy A/B mogą trwać maksymalnie 30 dni. Okresy testowe trwające krócej niż 7 dni mogą nie wystarczyć do wyłonienia zwycięzcy, a długie okresy testowe mogą prowadzić do niedoboru budżetu.

Skonfigurowanie dużej grupy odbiorców

Zaleca się rozszerzenie grupy odbiorców, aby uniknąć sytuacji, w której rozmiar próbki będzie niewystarczający podczas przeprowadzania testu A/B.

Zapewnienie wyższej szacowanej wartości mocy

Wartość mocy to prawdopodobieństwo wykrycia potencjalnych różnic w grupie reklam, co pomaga określić szanse na znalezienie zwycięskiego wyniku. Zalecamy budżet, który zapewnia wartość mocy na poziomie co najmniej 80%.

Unikanie wprowadzania zmian w trakcie testu

Wprowadzanie zmian w grupie reklam po uruchomieniu testu A/B może wpłynąć na jego wyniki lub spowodować ponowne uruchomienie procesu sprawdzania grupy reklam. Zaleca się, aby nie zmieniać ustawień testu A/B po jego uruchomieniu.