A/B testyCopywriting

A/B testování webu: Jak určit velikost testovacího publika a kolik dat je dost

A/B testování je způsob, jak zjistit, která varianta obsahu (A, nebo B) funguje lépe. Díky tomu můžete optimalizovat web, e-shop, CTA kartu, nebo třeba znění předmětů newsletterů.

Abyste mohli výsledek testu prohlásit za dostatečně průkazný, musí funkčnost každé z verzí prověřit dostatek uživatelů. Kolik jich má být? To se naučíte spočítat v tomto článku.

Spočítejte si parametry A/B testu pro dostatečnou průkaznost výsledků

Představte si situaci: Máte webovou stránku s formulářem a napadne vás, že ho možná vyplní víc lidí, když změníte… třeba… jeho barvu. To je vaše hypotéza.

Jenže: Jak ji ověřit? Právě k tomu slouží A/B testování.

Během něj necháváte návštěvníkům, tak jak přicházejí, střídavě (či nahodile) zobrazovat obě testované verze dané stránky s formulářem. A sledujete, která verze vykáže lepší metriky.

Hodně zjednodušeně: Každý lichý návštěvník vidí verzi A, každý sudý verzi B.

Začnou se vám hromadit výsledky a vy si položíte otázku: Která verze vyhrála?

A také: Kdy už jsou získané údaje dostatečně průkazné? Stačí mi 100 výsledků z verze A a 100 z verze B?

 

Optimizely, Dynamic Yield, AB Testguide: Nástroje pro výpočet velikosti testované skupiny

Velikostí testované skupiny se myslí počet návštěvníků (resp. page views), kteří si danou variantu obsahu zobrazí a případně na ni reagují. A tady přichází kámen úrazu:

Aby byl test dostatečně průkazný, často potřebujete desetitisíce výsledků. V případě webové stránky tedy desetitisíce návštěvníků. Co o velikosti testované skupiny rozhoduje?

  • výchozí konverze (VK)
  • nejmenší požadovaná odchylka od VK (zvaná též MDE, minimální detekovatelný efekt)
  • požadovaná statistická jistota (obvykle alespoň 95 %)

 

Co je MDE

Hodnota MDE odkazuje k nejmenšímu možnému zlepšení výsledku, které vám stojí za to detekovat.

Jinými slovy, jde o nejmenší rozdíl mezi výsledkem A a B, který ještě považujete za smysluplné identifikovat.

Vypovídá o tom, jak je váš test „citlivý“. Respektive jaká změna se už hodnotí jako významná.

Ukažme si to na příkladu:

Máte stránku s formulářem, jehož míra konverze je například 1 %. Vymyslíte, jak ho vylepšit, a chcete změřit, jestli nová verze bude úspěšnější.

Za přínos budete považovat, když se konverze zlepší alespoň na 1,1 % (MDE tedy bude 10 %). Statistickou jistotu necháte standardní (95 %).

K výpočtu potřebné velikosti testované skupiny využijte například kalkulátor od Optimizely. Nebo ten od AB Testguide.

Výsledek? Pro tento test potřebujete 200 000 návštěv na jednu verzi. (viz obr. níže)

Pokud ovšem formulář konvertuje každého desátého návštěvníka (a vy ponecháte i tentokrát MDE na 10 %), A/B test vykáže 95% statistickou jistotu už při 14 000 návštěvách.

AB test a stanovení velikosti vzorku
Minimální počet zobrazení každé z testovaných variant v závislosti na míře konverze.

 

Zmenšíte-li nejmenší požadovanou odchylku od VK na 5 % (tj. zvýšíte citlivost testu), potřebný počet zobrazení se zněkolikanásobí.

Výpočet si můžete provést na Optimizely.com

 

Jak dlouho A/B test potrvá?

Jakmile znáte potřebný počet zobrazení, snadno si uděláte představu, jak dlouho musíte nechat A/B test běžet. Závisí to totiž na návštěvnosti příslušné stránky.

Nechce se vám to počítat? Využijte kalkulátor od Dynamic Yield. Po zadání denní návštěvnosti se dozvíte, jak dlouho váš test poběží, než nasbírá dostatečný počet dat.

Vyjdeme-li z úvodního příkladu s mírou konverze 1 % a s 10% MDE, pak pro stránky s různým počtem unikátních návštěvníků (UV) za den získáme následující data:

  • 100 UV/den > test poběží roky. Jeho realizace nemá smysl.
  • 1000 UV/den > test poběží 315 dní. Jeho realizace rovněž nedává moc smysl.
  • 10 000 UV/den > 4 týdny.
  • 100 000 UV/den > 3 dny.

Všechny údaje vám přehledně spočítá i kalkulátor na AB Tasty

Čísla se samozřejmě změní ve chvíli, kdy bude výchozí konverze vyšší. Třeba: Míra okamžitého opuštění stránky je 80 % a já ji chci úpravou srazit alespoň na 72 %. Tedy minimálně o 10 %.

Podle kalkulátoru na Dynamic Yield bych měl při průměrné denní návštěvnosti dané stránky 1000 UV získat dostatečná data už za 1 den.

 

Kolik dní už je příliš?

Tak třeba Convertize uvádí, že test by neměl trvat déle než 30 dnů. Jako úplné maximum udává 60 dní, zejména s ohledem na průměrnou periodicitu promazávání cookies.

Na příkladu A/B testu stránky s 2% konverzí ilustruje vztah mezi návštěvností (početností testovaného publika) a statistickou jistotou a rozlišuje 4 jistotní zóny: zónu obav, napětí, vzrušení a bezpečí:

 

Zóna obav (Fear factor)

V této zóně je hypotéza ověřena příliš malým vzorkem testovaných (zde do 10 000 UV/měsíc). Aby bylo dosaženo dostatečné statistické jistoty, muselo by dojít ke změně konverze v řádu desítek procent.

U stránky s 2% konverzí by muselo jít o alespoň 30% změnu. (viz graf)

A/B testování: Velikost uživatelského vzorku
Čím větší je testovaný vzorek, tím menší rozdíl mezi výkonem A a B je nutný k dosažení dostatečné statistické jistoty o výsledku testu. (graf Convertize)

 

Zóna napětí (Thrilling)

V této fázi je hypotéza ověřena už 10 až 100 tisíci UV/měsíc. Podmínkou pro dosažení vysoké statistické jistoty je ale i nadále výrazná změna konverze, konkrétně alespoň 9% rozdíl mezi A a B. V případě nižšího rozdílu je statistická jistota nedostatečná.

Zóna vzrušení (Exciting)

Hypotézu ověřilo 100 000 až 1 000 000 UV. Na alespoň 95 % statistickou jistotu stačí 2–9% změna (podle toho, v jaké části intervalu počtu ověření zrovna jsme).

Zóna bezpečí (Safe)

Hypotézu ověřilo nejméně 1 000 000 UV/měsíc. Dostatečnou statistickou jistotu vykážou i výsledky, v nichž vyjde najevo jen nepatrný rozdíl výkonu mezi A a B.

 

Je můj A/B test už dostatečně průkazný?

Můžete na to jít i opačně. Ptát se, jestli aktuálně nasbíraná data z testu již s dostatečnou statistickou jistotou ukazují, která z testovaných verzí je lepší. K tomu se vám hodí tenhle kalkulátor od Neila Patela. Spočítá vám aktuální hodnotu statistické jistoty.

Zkusme to u našeho příkladu s formulářem:

Stránka A po 500 návštěvách vykázala konverzi 1 % (5 registrací). Stránka B po 500 návštěvách vykázala konverzi 2 % (10 registrací). Existuje 91% statistická jistota, že verze B zlepšuje konverzi o 100 %.

Bude-li trend stejný i po 1000 návštěvách, statistická jistota vzroste:

Stránka A po 1000 návštěvách vykázala konverzi 1 % (10 registrací). Stránka B po 1000 návštěvách vykázala konverzi 2 % (20 registrací). Existuje 97% statistická jistota, že verze B zlepšuje konverzi o 100 %.

Nástroj pro AB testování a výpočet statistické jistoty
Neil Patel nabízí kalkulátor na výpočet průběžné míry statistické jistoty.

 

Tento nástroj oceníte zejména při těsných výsledcích obou variant nebo když se chcete vyvarovat zbrklého závěru (tj. když test zatím signalizuje nízkou statistickou jistotu).

Pokud je totiž testovací publikum příliš malé, hrozí, že výsledky testu ukazují spíše na náhodu než na statisticky významný trend. 

 

Nástroje, které vám pomůžou

Závěrem ještě jednou připomeňme šikovné kalkulátory, které vám se stanovením parametrů při A/B testování pomůžou:

Kalkulátory Optimizely, Dynamic Yield či AB Tasty vám spočítají potřebnou velikost publika. Stačí zadat výchozí hodnotu míry konverze a MDE.

Kalkulátor na webu Neila Patela vám řekne, jakou statistickou jistotu vykazují dosavadní výsledky vašeho A/B testu.

Hodně štěstí při testování!

 

 

Zajímají vás A/B testy? Přečtěte si i tyto články

Copywriting a A/B testování: Headline na landing page

Co vám na školení copywritingu neřeknou: A/B testování copy s ukázkami

A/B testování předmětu e-mailu – 10 testů, které potřebujete znát

 

Co je nového v blogu

A/B testování webu: Jak určit velikost testovacího publika a kolik dat je dost

A/B testování je způsob, jak zjistit, která varianta obsahu (A, nebo B) funguje lépe. Díky tomu můžete optimalizovat web, e-shop, CTA kartu, nebo třeba znění předmětů newsletterů. Abyste mohli výsledek testu prohlásit za dostatečně průkazný, […]

Žádný komentář
texty pro doplňky stravy

Copywriting pro doplňky stravy: Jak dodržet zákon a neodejít s pokutou

Už jste někdy dostali za copy pokutu? A víte, na co si dát pozor třeba při psaní o doplňcích stravy? Tvořit texty o nich je jako řídit auto. Jakmile neznáte předpisy, zavání to tučným flastrem. Doplňky stravy […]

Pošli to dál
Žádný komentář

Cvičení pro copywritery: Naming aneb Tvorba názvu produktu

Naming je zábava. Ale taky dřina. V dnešním cvičení si vyzkoušíte, čeho je víc. Mám pro vás totiž zadání, které si v ničem nezadá s těmi, která mi tu a tam přistávají na stole. Zaujalo vás to? Tak pojďme […]

Pošli to dál
Žádný komentář

Tvorba názvu firmy: Proč jsem dceru pojmenoval Mersigo

Tvorba názvů firem, značek a produktů je činnost zábavná, kreativní a zodpovědná zároveň. Vyberete-li jedinečné, či dokonce exotické jméno dítěti, může ho to do života vybavit pocitem vlastní výjimečnosti, ale také těžkými šrámy na duši. Zejména v období […]

Žádný komentář

Abeceda copywritingu aneb Pojmy pro copywriting od A do Ž: Díl druhý (B)

První díl Abecedy copywritingu vás zaujal natolik, že patří k nejčtenějším příspěvkům blogu. Bude bit bukovými bidly bohatýrské bukvy B?  B B2B copywriting Reklamní psaní, které se zaměřuje na komunikaci obchodní nabídky směrem k jiné firmě či […]

Žádný komentář

Spouštím aVVízo. Dá vám echo o novinkách na mém blogu

Spouštím službu aVVízo. Když si ji aktivujete a vyznačíte, která rubrika vás zajímá, pošlu vám e-mail, kdykoli v dané rubrice uveřejním nový článek. Samozřejmě zdarma. Službu aVVízo si můžete aktivovat na téhle podstránce.

Žádný komentář

Dneska losuju multimilionáře. Vyhrajete vy?

Dneska neformálně. Dnešek je totiž jinej než jiný dny. Čím? Místo psaní copy budu u toho, když někdo vyhraje dva míče. Jako fakt. Dokonce přes dva miliony korun. Jak to? Mám to štěstí, že kromě jinýho […]

Žádný komentář

Copywriting a typografie: Jednoznakovky na konci řádku si odpusťte

Také necháváte jednoznakové předložky a spojky v textech bannerů a dalších reklamních vizuálů na konci řádku? Setkávám se s tím stále častěji. Takže prosím vás: Nechcete-li působit jako amatéři, nedělejte to. Nejenže to působí odpudivě. Je to navíc chyba! […]

Pošli to dál

3 knihy pro copywritery na rok 2021

V závěru loňského roku vyšly dvě knížky o copywritingu: aktualizované vydání titulu Copywriting –⁠ Pište texty, které prodávají (Anna Sálová, Zuzana Veselá, Michaela Raková) a Manuál copywritingu Vojty Untermüllera. V obou případech platí: Tohle by si na […]

Preview pane neboli pre-header

Preheader i pre-header: Co to je a jak tím zvýšit míru otevření o 100 %

Preheader (nebo chcete-li pre-header) je ta část e-mailu, kterou vidíte při pohledu do e-mailové schránky hned za předmětem. Pokud chcete dělat komerční e-mailing, rozesílat newslettery nebo propagační e-maily, je ve vašem zájmu preheader správně otextovat. […]

Žádný komentář

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.