Aktuāli! Bezmaksas stratēģiskā konsultācija par “Mājas lapas attīstību”

Kā pareizi attēlot A/B testa rezultātus

ab_attēlo.png

Jūs noteikti prātojat, par to, kādēļ Jums pašam nepieciešams apkopot iegūtos A/B testa rezultātus. Ir zināms, ka A/B testēšanas rīki nodrošina Jūs ar visām nepieciešamajām tabulām un diagrammām. Tās atspoguļo gan to, kādi ir iegūtie dati, gan to, kad ir sagaidāma rezultātu īstenošanās. Kāpēc sevi lieki apgrūtināt?

Ja Jūs esat uz datu analīzi orientēts analītiķis, tad šīs tabulas un grafiki Jums ir viegli izprotami. Bet, ja Jūs esat menedžeris, bieži vien neizprotot iegūto rezultātu jēgu, ievietojat tos prezentācijā vai nosūtat e-pastā.

Vēl jo vairāk A/B testa rezultātu pareizai analizēšanai ieteicams izmantot datu analītikai paredzētos rīkus, vienīgā problēma – analītikai paredzētie rīki neatspoguļo to, vai A/B tests deva ievērojamus rezultātus. Tas nenodrošina Jūs ar informāciju par kļūdu robežām vai statistisko nozīmīgumu, Jums šie rādītāji jāaprēķina patstāvīgi.

A/B testa rezultātu attēlošanas pieeja

Problēma ir viltīgais iegūto rezultātu atspoguļojums. Tomēr izejot cauri šim procesam ir iespējams izprast to, kā šie rezultāti ir pareizi atspoguļojami turpmākajai izmantošanai. Sekojot vienkāršiem padomiem, kā vizualizēt iegūtos rezultātus, Jūs paaugstināsiet savu profesionālo kvalifikāciju un darba efektivitāti. Jāatceras, ka ar skaistu diagrammu ir par maz, lai noticētu A/B testa iegūto rezultātu ticamībai.

1. Kādēļ ritenis jāizgudro no jauna?

Ja pirmajos mēnešos, kad tiek izmantota A/B testēšana, rezultātu analīzei netiek izmantotas diagrammas, iespējams izmantot visvienkāršāko excel tabulu, kurā ievietot iegūtos rezultātus. Vēloties kļūt par labiem statistiķiem tabulā var ietvert – standartkļūdu, z-vērtību, p-vērtību un jaudu, tikai vēlāk sapratīsiet, ka neviens Jūs nesaprot.

A/B testa variāciju analīze.

Tālāk, tiek pievienota diagramma, lai šiem garlaicīgajiem un grūti izprotamajiem skaitļiem būtu jēga.

Tālākajiem eksperimentiem ar rezultātu attēlošanu tikai kopētas diagrammas, kuras piedāvā katrs otrais A/B tests: uzkrāto jeb akumulēto reklāmguvumu līmeni dienā, tomēr galvenā problēma slēpjas tajā, ka reklāmguvumu līmenis par konkrētu laiku, nesniedz nepieciešamo ieskatu. Šāda diagramma varētu būt interesanta tikai web analītiķiem, jo atspoguļo tikai to, vai ir novērojams nozīmīgs un stabils ieguvums.

A/B testa rezultātu attēlošanas diagramma.

2.Problēmas risinājumam  – cita pieeja

Galvenais uzdevums ir atbrīvoties no akumulētā reklāmguvuma līmeņa, lai atspoguļotu galveno rezultātu. Tas nozīmē  skaidri attēlot variācijas A un variācijas B reklāmguvumu līmeni. Lai spētu saskatīt, kur ir atrodama nozīmīga atšķirība variācijā A un variācijā B, ir jāatrod 90% no to augšējās un apakšējās vērtību robežas.

Galvenais mērķis ir saprotamāk attēlot to, ko statistiķi izmanto testa vizualizācijā: divas līknes, kritisko vērtību un iekrāsoto laukumu. Tomēr galvenā problēma – šī zvanveida līkne nesniedz pārliecinošu un skaidru ziņojumu, kurš būtu noderīgs Jūsu uzņēmumam.

A/B testa rezultātu attēlošanas pieeja.

Ja uz šo problēmu paraudzītos savādāk:

Atšķirības konversijā.

Tas, ko Jūs redzat ir divi punkti, kuri atspoguļo variācijas A un variācijas B reklāmguvumu līmeni. Punktotās līnijas ir to uzticības intervāli. Ja variācijas B reklāmguvuma līmeņa uzticības intervāls atrodas ārpus variācijas A, variācija B ir ievērojami veiksmīgāka. Punkts A sarkanajā laukumā norāda uz tās variācijas rezultātu, kurš, kā var noprast, ir pretējs cerētajam.

Problēma: diagramma nav pilnībā automatizēta

Diagrammu varētu viegli atjaunot, mainot katras variācijas lietotāju un darījumu skaitu, bet sarkanie un zaļie iekrāsotie laukumi būtu jāveido manuāli. Tam nav nozīmes, ja Jūsu uzdevums ir pārvaldīt tikai dažus šādus testus, bet, ja Jūsu darba pienākumos ietilpst vairāk kā 10 šādu testu analizēšana nedeļā, tas kļūst apgrūtinoši. Otra neliela piezīme – diagramma nav saprotama visiem, to var salīdzināt ar skolas laiku matemātikas mājasdarbu.

3.Viss, kas darīts līdz šim ir darīts nepareizi

Viendimensionālā diagrammā tika attēlotas divas zvanveida līknes ar mērķi noskaidrot vai A/B tests bijis nozīmīgs. Pareizāk būtu bijis diagrammā attēlot variācijas A un variācijas B  atšķirīgo sadalījumu.

Šo sadalījumu var aprēķināt aprēķinot standarta kļūdu no starpības un izmantojot to tālākajam uzticības intervāla aprēķinam. Aprēķini ir pareizi, bet tas iespaido rezultātu attēlojumu. Nav iespējams katru variāciju ietilpināt vienā rindā, bet, lai atspoguļotu variācijas A un variācijas B sadalījuma starpību nāksies veikt šūnu sapludināšanu.

Standartkļūdas aprēķins.

Ko atspoguļo šī diagramma? Ja reklāmguvuma līmenis iekļausies uzticības intervālā, šī variācija nav uzskatāma par ievērojami labāku, bet, ja ta izies ārpus intervāla, rezultāts būs pretējs. Diagramma un tabula ir automatizēta.

Iepriekšējā problēma bija automatizācijas trūkums. Šī diagramma un tabula situāciju maina, atliek tikai importēt datus analītikas rīkā un rezultāti ir gatavi. Tomēr šis rezultātu attēlojums sniedza pretējo efektu – vēl vairāk bija jāizskaidro iegūtie rezultāti.

Diagramma kļūst mulsinoša it īpaši, ja tiek runāts par vairākām variācijām A/B testā. Cilvēki ar izteikti loģisko domāšanu nesaprot, viņuprāt, ačgārno datu interpretāciju.

4. Automatizēt vēsturi

Tagad ir jāatgriežas pie vizualizācijas un otrā mēģinājuma – vienas rindas katrai variācijai. Šāds rezultātu attēlojums no zinātniskā viedokļa nav uzskatāms par pareizu, tomēr tas ir saprotams un saprotamība attēlojuma mērķis. Pēc nelielas pielāgošanas un Excel automatizācijas, iegūtais rezultāts apmierina gaidas.

A/B testēšanas rezultātu vēsture.

Kā redzams dotais rezultātu atspoguļojums ir skaidri saprotams visām iesaistītajām pusēm, bet uzņēmuma īpašnieki, menedžeri, protams, var uzdot daudzus jautājumus, uz kuriem atbildes šķiet loģiskas.

5. Tuvāk reklāmguvumu mērķim

Neloģiskie jautājumi ir pamats veikt pēdējās izmaiņas pirms sasniegtā un ilgi kārota mērķa – viegli interpretējamiem datiem Šajā gadījumā ir jāmaina x ass, tādējādi pēc noklusējuma iestatot 0% starpību, variācija var pieaugt vai samazināties. Katrai variācijai tika pievienota relatīva izmaiņa, attiecīgi iestatījumos ir jāiestata starpības atspoguļojums krāsās.

Datu interpretācija.

Izmantojot šo pieeju datu interpretēšanā Jūs spēsiet saskatīt pieaugumu un sagaidīt adekvātu rezultātu ietekmi. Datu interpretācijai ir jāspēj apmierināt gan mārketinga speciālistu, gan A/B testa veicēju prasības.

Secinājums

Lai arī A/B testēšanas rīki nodrošina ar iespēju iegūt nepieciešamās diagrammas, ir svarīgi izveidot viegli interpretējamus datus, kurus spēs saprast visa komanda. Jāatceras, ka bieži vien šis tests neaptver 100% no mājas lapas auditorijas. Vienkāršiem un skaidriem aprēķiniem piedāvātā sistēma palīdzēs Jums ne tikai plānot savu laiku, bet arī efektīvi pārvaldīt Jūsu rīcībā esošos resursus.


 Rakstā izmantotais informācijas avots: Kā pareizi interpretēt A/B testa rezultātus


Vēlies veikt izveidotas mājas lapas A/B testēšanu savā uzņēmumā? Ir radušies papildus jautājumi? Jautā, mēs palīdzēsim!