Osvědčené postupy pro A/B test

Stanovte hypotézu, kterou chcete otestovat.

Před nastavením A/B testu určete, co se snažíte otestovat a jak vám to může pomoct při tvorbě reklamní strategie. Promyšlení hypotézy vám pomůže zaměřit se na to, jakou proměnnou testovat, a zajistí, že navrhnete a provedete „jasný“ A/B test.

Vytvořte testovací skupiny s velkými rozdíly v proměnných

Při výběru testovací proměnné doporučujeme, aby se nastavení pro obě testovací skupiny výrazně lišila. Měly by být patrné rozdíly, aby bylo zajištěno, že obě sady reklam nebudou mít podobné výsledky, a systém tak mohl určit vítěznou sadu reklam.

Nastavte vhodný rozpočet na testování.

Rozpočet na A/B test by měl přinést dostatečné výsledky, abyste mohli s jistotou určit nejúčinnější strategii. Během vytváření A/B testu systém zobrazí odhadovou sílu testu na základě nastaveného rozpočtu. Ujistěte se, že váš rozpočet ukazuje dostatečnou odhadovanou sílu testu.

Stanovte přiměřenou dobu trvání testování.

Abyste dosáhli co nejspolehlivějších výsledků, doporučujeme testovat po dobu minimálně 7 dní. A/B testy mohou probíhat po dobu maximálně 30 dní. Testování po dobu kratší než 7 dní nemusí být dostatečně dlouhé pro určení vítěze, zatímco dlouhé testování může vést ke schodku rozpočtu.

Nastavte velký okruh uživatelů.

Během spuštění A/B testu se doporučuje rozšířit okruh uživatelů, abyste se vyhnuli nedostatečné velikosti vzorku.

Zajistěte vyšší odhadovanou hodnotu síly.

Hodnota síly je pravděpodobnost odhalení potenciálních rozdílů ve vaší skupině reklam, která pomáhá určit vaše šance na nalezení vítězného výsledku. Doporučujeme rozpočet, který vám zajistí hodnotu síly alespoň 80 %.

Vyhněte se změnám během testu.

Provádění změn v sadě reklam po spuštění A/B testu může ovlivnit jeho výsledky nebo způsobit, že sada reklam bude znovu zkontrolována. Po spuštění A/B testu doporučujeme jeho nastavení neměnit.