PPCčkaři bývají velmi ledabylými statistiky

Performance marketing (pod který PPCčka spadají) je říše čísel a exaktně měřitelných výsledků. Někdy to působí dojmem, že to, co najdete v Google Analytics je do kamene vytesaná pravda a každý výkyv grafu vypovídá něco důležitého o vašem webu nebo byznysu.

Jenže pravda je taková, že data jsou plná náhodných akcí náhodných lidí a jejich náhodných rozmarů. Vzpomeňte si, kdy jste naposledy opustili libovolný eshop, na který vás zavála reklama. Bylo to proto, že tlačítko pro přidání do košíku mělo špatnou barvu? Kvůli tomu, že reklamní banner byl umístěný na nerelevantní stránce? Nebo vám jen začalo křičet dítě ve vedlejším pokoji, vzpomněli jste si, že podobné tričko máte ve skříni, že se vám tenčí zůstatek na účtu, nebo se vám zrovna začaly připalovat brambory na sporáku?

Klienti se na mě často obracejí s otázkami typu “včera nám spadl konverzní poměr – co se stalo a jak to můžeme zlepšit?” A i když někdy je důvod zřejmý – zapnula se nová kampaň, změnil se design nákupního košíku atp. – často je odpověď: “nevím, dost možná se jen vaši zákazníci dneska špatně vyspali”.

A to je fakt, na který bych dnes rád vrhl trochu více světla.

Chronický nedostatek dat

Málokterý byznys má takové množství dat, aby mohly v řádu dní statisticky závažně vypovědět o chování zákazníků a dopadu změn, které jste na webu provedli. Schválně zde používám termín “statistická závažnost”, neboť to je něco co velká spousta klientů a bohužel i specialistů naprosto ignoruje.

Pokud se jako statistik snažíte prokázat nějaký jev, potřebujete vždy dostatečně velkou testovací skupinu, kterou zároveň doplňujete kontrolní skupinou. Obě skupiny musí být samozřejmě nějakým způsobem reprezentativní a navzájem podobné, ideálně stejné.

Pokud například farmaceutická firma testuje nový lék, používá testovací skupinu v řádech tisíců lidí a samozřejmě odpovídající kontrolní skupinu, která dostane placebo.

Takovému testování předchází předem daná jednoduchá otázka, na kterou lze většinou odpovědět ano/ne. “Prokázal se nárůst počtu červených krvinek u testovací skupiny, které byl podáván preparát XY ve srovnání s testovací skupinou?” Ano. Ne.

Ve světě PPC, potažmo webové analytiky, vypadají podobné otázky spíše jako: “Dneska máme nějak málo objednávek, proč?” či “Někdy minulý týden jsme upravili objednávkový formulář, co to udělalo?”

Změny se samozřejmě dějí nahodile a publikum se neustále mění. Testovací skupina jsou “lidi co na web přišli dneska”, kontrolní skupina pak “ti co na web přišli včera”. To, že jste včera publikovali tiskovou zprávu, přes kterou přišla vlna nových návštěvníků, kteří váš web neznají (ale zároveň i pár věrných zákazníků, kteří se zajímají o to, jak se vám daří) a že minulý týden skončila možnost dopravit zboží ještě před Vánoci, je jen bonus, se kterým si analytik samouk musí poradit.

Nenechte se zmást tím, že na webu máte tisíce návštěvníků každý den. Jakmile začnete řešit průchod nákupním košíkem, návštěvníky na mobilu nebo vliv nově spuštěné kampaně, vzorek se vám nutně smrskne na jednotky, desítky, v lepším případě stovky případů.

Pokud máte denně deset objednávek, pokles konverzního poměru o třetinu může značit jak závažný problém, tak i to, že dvěma lidem se začala na sporáku pálit večeře a jeden se odešel dívat na Ordinaci v růžové zahradě.

Modla segmentace

S tím souvisí i další populární téma online marketingu – segmentace. Občas bojuji s klienty, kteří si přečtou dobře míněný článek o cílení a oboří se na mě, proč více nesegmentujeme.

Nejdřív brambory a teď tohle? Že by byl dnes nějaký kuchařský díl? Segmentace papriky v přímém přenosu.

Kdeže máme reklamní sestavu zacílenou na lidi, kteří opustili nákupní košík včera, v posledních třech dnech, minulý týden a minulý měsíc?! A co remarketing na lidi, kteří si prohlédli detail produktu, kategorii produktů, ty kteří prošli minimálně 5 stránek webu, nebo použili vyhledávací filtr v kategorii bezsáčkových vysavačů. Samozřejmě rozdělené na ty, co tuto akci provedli včera, v posledních třech dnech, minulý týden a minulý měsíc!

Všechno to samozřejmě dává smysl. Hypoteticky. Člověk, který včera opustil váš nákupní košík se samozřejmě bude chovat jinak, než ten který před měsícem omylem zabloudil na vaší vstupní stránku a hned odešel. A určitě pomůže každému z nich napsat reklamu na míru.

Ale pokud vám z vaší pečlivě vysegmentované kampaně přijdou na web 4 návštěvníci za den (zažil jsem i kampaň, která přiváděla v průměru 1 návštěvníka za 2 měsíce), nemáte moc podnětů k tomu, jak kampaň optimalizovat a vyhodnocovat.

Vadí to něčemu? Když budu mít malé publikum, které nebude utrácet moc peněz a jednou za měsíc mi přinese objednávku, tak to je přece v pořádku, ne? Pravda, nevadí – pokud tedy máte nějakou robustnější kampaň, která vám přivádí objednávky každý den. Ale co když máte 15 malých publik a ještě nevíte, jak které z nich funguje? Sestavu nemá smysl vypínat, dokud neutratí nějakou významnou částku, aby se ukázalo, jestli se vyplatí – a ne, dvě, nebo tři objednávky nejsou statisticky relevantní množství pro spolehlivé vyhodnocení takové kampaně. A když to vynásobíte patnácti, může se stát, že utratíte celkem slušný balík (nemluvě o spoustě práce) ještě předtím, než zjistíte, že jste se vydali do slepé uličky.

Situace je samozřejmě jiná, pokud sypete každý měsíc do kampaní miliony a máte čas, prostor a dostatečnou finanční rezervu na důkladné testování. Ale pokud jste zrovna spustili svůj eshop a v kapse vám cinká hrst drobných, raději zchlaďte své nadšení, které ve vás vzbudil článek protřelého marketingového guru ze Států. Třeba tady: Funnely, frameworky a dekadentní pičovinky.

Prokletí dimenzionality

Ani když se vám podaří sesbírat relativně velké množství dat, vyhráno nemáte. Představte si, že už vám kampaně nějaký ten pátek běží. Sednete k počítači a hledáte, co by se ještě dalo vylepšit. Díváte se, jak funguje které remarketingové publikum, jednotlivá klíčová slova, mobily a počítače, muži a ženy… Otevřete přehled lokalit a je to tam!

Vlkov pod Oškobrhem! Zapomenutá díra kousek od Poděbrad. Konverzní poměr krásných 37,5 % a 25 objednávek za poslední rok. 25 v takhle malé vesnici! To už nemůže být náhoda. Ve Vlkově je asi něco, co jeho obyvatele nezadržitelně pudí k tomu, aby nakupovali právě u vás. Celý marketingový rozpočet tak zacílíte na Vlkov, na návsi si postavíte billboard a přestěhujete tam sídlo firmy. Protože, co by se mohlo pokazit?

Tohle popravdě není Vlkov, ale podoba je výrazná…

Věc se má tak, že když máte dostatek proměnných a metrik, které můžete vyhodnocovat a srovnávat, dříve nebo později se najde některá, která bude falešně pozitivně korelovat s tím, co chcete sledovat. Laicky řečeno může to být náhoda.

Abych to ještě lépe ilustroval, vypůjčím si příklad z knihy Všichni lžou od Setha Stephens-Davidowitze. Představte si, že máte 1000 mincí. Každé ráno po dobu dvou let si každou z nich hodíte a poznamenáte si, jestli odpovídá růstu / poklesu vybraného akciového indexu. Po dvou letech velmi pravděpodobně najdete jednu, jejíž výsledky budou do značné míry odpovídat vývoji akciového trhu. Znamená to, že jste narazili na kouzelnou minci a teď zázračně zbohatnete? Možné to je, ale životní úspory bych na to nevsadil.

Která to byla ta kouzelná???

Podobné je to s PPC kampaněmi. Měřených metrik zde najdete tolik, že často narazíte na metriku, která zdánlivě ovlivňuje váš konverzní poměr. A to třeba i na relativně velkém vzorku dat. Myslete na to, než překopete celou kampaň, kvůli něčemu, co jste vyčetli z dat.

Jak se s tím vypořádat?

Je tedy řešením data ignorovat, řídit se pocitem a doufat, že všechno dobře dopadne? Rozhodně ne! Většina práce PPCčkaře nespočívá v psaní geniálních textací reklam ani vymýšlení podvratných reklamních kampaní. Spočívá v testování a vyhodnocování dat. Online marketing je ve srovnání třeba s venkovní reklamou nebo PR velmi dobře měřitelný a kvantifikovatelný. A v tom spočívá jeho velká síla.

Takhle nějak si internet představuje kreativce…

Ale právě proto musíme k datům, která dostáváme, přistupovat s respektem a zároveň s velkou dávkou opatrnosti. Práce nás PPCčkařů leží ve vyhodnocování a interpretaci čísel, a proto bychom měli být schopni s nimi pracovat pečlivě a seriózně. Hledat vzorce a souvislosti, ale zároveň se nenechat unést zdánlivě slibnou korelací. Pandy mají dvě oči, teroristi mají dvě oči. Náhoda?!

Ideální by bylo stanovit si už dopředu cíl a metriku, kterou budeme vyhodnocovat a relativní vzorek, na kterém to budeme vyhodnocovat. Přímo v Google Ads pak najdeme nástroj pro tvorbu experimentů. Pro úpravy stránek pak podobně funguje skvělý nástroj Google Optimize, který umožňuje A/B testovat změny na webu.

To je však luxus, který si nemůžeme dovolit vždy. Občas prostě přijdou dotazy typu “proč nám to dneska tak spadlo” nebo prostě hledáte něco, ale ještě nevíte co. V takových případech je třeba snažit se o dvě věci:

  • mít výsledek podepřený co největším množstvím dat
  • zapojit selský rozum hledat příčinnou souvislost mezi korelujícími metrikami

U toho druhého bodu se ještě na chvíli zastavím. Buďte v tomto opravdu důslední a opatrní. Myslete na to, že mozek je dokonalý nástroj na hledání smyslu a dokáže si ospravedlnit i ty nejpodivnější propojení. Vzpomeňte si na Rorschachův test – to jsou takové ty skvrny, ve kterých lidé vidí nejrůznější věci.

To že lidé z Vlkova nakupují ve velkém klimatizace může souviset s tím, že v polabí je tepleji než ve zbytku republiky a slunce vám tam odpoledne svítí přímo do obýváku, ale pokud se vám to nepodaří potvrdit i u dalších obcí v polabí, pravděpodobně to bude prostě jen náhoda.

Na druhou stranu pokud lidé, kteří na vašem webu strávili přes 5 minut, nakupují více než ti, kteří odešli hned po načtení úvodní stránky, dává to celkem smysl a asi se vám vyplatí zapnout remarketing na ty, kteří u vás na webu tráví více času.

Optimalizace kampaní zkrátka musí obsahovat obě složky – dostatek relevantní dat i zdravý rozum a nějaké ty zkušenosti. Jakmile jednu z těchto složek opominete, zaděláváte si na problém.

Představujte si, že jedno prkno jsou data a druhé rozum, jinak by tenhle obrázek nedával vůbec žádný smysl…

Svět je bohužel značně nedokonalé místo a navzdory tomu, že se v datech občas doslova topíme, stále jich není dost. Málokdo si může dovolit pracovat s datovým vzorkem, který by seriózního statistika uspokojil. Na základě nedostatečného množství informací musíme dělat často zásadní rozhodnutí. A je to tak v pořádku, často prostě jiná možnost neexistuje. Jen je potřeba mít to neustále na paměti, snažit se eliminovat rizika a občas nějaké rozhodnutí poopravit, pokud se ukáže, že bylo mylné.

A jak jsou na tom vaše data? Podělte se v komentáři!

Ladislav Vitouš

2 komentáře

  • Jiří Šeda

    27. 2. 2020

    Zdravím, skvělý článek, pod který bych se podepsal. Nedávno jsem něco podobného rozebíral i u sebe na blogu „občas řež a neměř“. Rád bych na tvůj článek odkázal jestli mohu. Lidé někdy chtějí měřit neměřitelné, řešit poklesy jedno úterý a díky tomu si škodí, překopou kampaně jen kvůli pitomému výkyvu, jak píšete, že se jim zrovna pálí večeře, nebo začal nějaký nový připitomělý seriál na nově.

    Reply
    • Ladislav Vitouš

      3. 3. 2020

      Zdravím, děkuji za komentář. Jsem rád, že to vidíme podobně. Koukal jsem na tvůj článek a úplně s ním souhlasím. O tomhle by se zkrátka mělo mluvit častěji. S odkazem samozřejmě problém nemám. Díky a ať se daří.
      Láďa

      Reply