Com crear i configurar un test A/B a Acrelia

A  Acrelia pots crear experiments que t'ajudin a obtenir millors resultats en els teus enviaments d'email. En aquest article t'explicarem tot el que necessites saber per treure-li el màxim profit a aquesta funcionalitat.

1. Què és un test A/B?
2. Què has de tenir en compte abans de fer un test A/B?
 2.1 Determinar la variable que utilitzaràs
 2.2 Definir la grandària de la mostra
 2.3 Considerar el temps d'espera
3. Tipus de test A/B a Acrelia
 3.1 Test A/B per assumpte del missatge
 3.2 Test A/B per remitent
 3.3 Test A/B per contingut
 3.4 Test A/B per data d'enviament
4. Com configurar i enviar un test A/B a Acrelia
 4.1 Configurar i enviar un test A/B per assumpte
 4.2 Configurar i enviar un test A/B per remitent
 4.3 Configurar i enviar un test A/B per contingut
 4.4 Configurar i enviar un test A/B per data d'enviament
5. Gestió dels experiments
 5.1 Pausar/eliminar test A/B
 5.2. Elecció del guanyador
 5.3 Estadístiques dels enviaments
6. Funcionament del test A/B
 6.1 Decisions
 6.2 Versió web
 6.3 Campanyes amb contingut dinàmic

1. Què és un test A/B?

En email màrqueting un test A/B consisteix a crear dues combinacions d'una campanya per obtenir dades, poder comparar-les i identificar aquella combinació que ha obtingut els millors resultats una vegada fet l'enviament.

Les dues combinacions es fan mitjançant el canvi d'un dels elements de la campanya d'email (assumpte del missatge, contingut, data d'enviament, remitent...) i s'envien a una mostra de dos grups diferents generada de manera aleatòria que contenen el mateix nombre de contactes. Una vegada identificada la variació guanyadora, es realitza un enviament d'aquesta campanya a la resta de subscriptors.

2. Què has de tenir en compte abans de fer un test A/B?

Abans de llançar les campanyes del teu experiment, has de tenir clars uns certs elements fonamentals per crear el test A/B i que aquest sigui efectiu.

2.1 Determinar la variable que utilitzaràs

Per obtenir una conclusió precisa en aquesta mena de proves has de canviar un únic element. Si afegeixes més d'una variable, és molt complicat determinar quina d'elles és la que marca la diferència.

Exemples de variables amb les quals pots fer l'experiment:

• Assumpte del missatge
• Preencapçalat de l'assumpte
• Imatge
• Correu del remitent
• Nom del remitent
• CTAs
• Tipologia redacció textos
• Longitud de l'email
• Personalització del contingut
• Data d'enviament
• Hora d'enviament

2.2 Definir la grandària de la mostra

Perquè les dades d'un test A/B d'email màrqueting siguin significatives, és necessari tenir un nombre considerable de contactes per a cada variant. És recomanable que la quantitat no sigui inferior a 5.000 contactes.

A més, quan la llista de contactes tingui menys de 1.000 subscriptors, és aconsellable ajustar-se a la regla 80/20, també coneguda com a principi de Pareto. Consisteix a enviar una variable al 10% dels contactes, l'altra variable a un altre 10% i al 80% aquella que hagi obtingut els millors resultats. Més informació sobre el Principi de Pareto.

A Acrelia, per poder crear un test A/B has d'escollir una llista o segment que contingui almenys 3 contactes.

2.3 Considerar el temps d'espera

Deixar que les proves s'executin durant el temps suficient ajudarà a tenir més probabilitats d'escollir al guanyador adequat. Recomanem esperar almenys 2 hores per determinar un guanyador segons les obertures i 1 hora per determinar un guanyador segons els clics.

Per a les obertures, s'estima que si s'esperen 2 hores, hi ha un percentatge de precisió del 80%. Si el temps d'espera és de 12h és del 90% i si és de 24 hores, aquest percentatge puja fins al 99%.

Pel què fa als clics, s'estima que si s'espera 1 hora, hi ha un percentatge de precisió del 83%, si passen 5 hores, aquest percentatge puja fins al 95% i si s'espera 1 dia, el percentatge de precisió és gairebé del 100%.

Tingues en compte que cada llista de contactes és única, per la qual cosa aquests valors poden variar en cada cas. Per això, pots fer diversos test A/B i experimentar amb diferents mètriques i durades per ajudar a determinar quin produeix els millors resultats en el teu cas particular.

3. Tipus de test A/B a Acrelia

A Acrelia hi ha 4 tipus de test depenent de la variable amb la qual vulguis experimentar.

3.1 Test A/B per assumpte del missatge

Consisteix a utilitzar dos assumptes amb algun element diferent (per exemple, ús o no d'emojis, major o menor extensió, personalitzant-lo a una de les opcions...). L'experiment et permetrà saber quina de les dues combinacions ha obtingut millors resultats. També podràs fer la prova amb dues versions de preencapçalat.

3.2 Test A/B per remitent

Consisteix a utilitzar dos remitents diferents (per exemple, nom de l'empresa vs nom de la persona que ho envia o nom de l'empresa vs nom del departament més nom de l'empresa). També pots "jugar" amb l'adreça de correu que utilitzaràs com a remitent.

3.3 Test A/B per contingut

Consisteix a dissenyar dues campanyes amb algun element del disseny diferent (imatges, crides a l'acció, estructura...).

3.4 Test A/B per data d'enviament

Consisteix en l'enviament de dues campanyes iguals en diferent franja horària o en una data diferent.

4. Com configurar i enviar un test A/B a Acrelia

Per fer qualsevol dels nostres experiments hauràs d'accedir, des del menú principal, a la secció "Test A/B" i fer clic a "Crear nou experiment".

El primer que hauràs d'emplenar és el nom que vols donar-li al test (apartat "Nom de l'experiment"), a continuació seleccionar la llista o segment amb la qual vols fer-lo (apartat "Destinataris") i finalment seleccionar un dels quatre tipus de Test A/B que tenim disponibles (apartat "Tipus d'experiment").

A la següent pantalla has de determinar la divisió de la mostra, és a dir, el percentatge de contactes als quals se'ls enviarà cadascuna de les versions i el percentatge de contactes als quals se'ls enviarà la versió guanyadora. Per a fer-ho només has de moure el selector de la barra de desplaçament horitzontal (en aquest apartat, recorda els consells que t'hem donat en la secció 2.2 d'aquest mateix article).

En aquest pas també s'ha de decidir si l'elecció del guanyador la vols fer tu mateix (manualment) i llançar la campanya final quan consideris, o bé si vols que ho calculi el sistema (automàticament) segons la variable que indiquis (obertures o clics). En aquest segon cas, hauràs de decidir el temps que vols que passi des de la finalització dels enviaments inicials fins que el sistema calculi el guanyador (mínim 2 hores en cas d'obertures, mínim 1 hora en el cas de clics) i informar la franja horària durant la qual vols que s'iniciï l'enviament guanyador (franja segura d'enviament per a evitar que la campanya s'enviï en hores que no són interessants per al teu públic, com per exemple, a la nit).

*En el cas del test A/B segons contingut, aquesta configuració no s'haurà de fer ja que l'enviament es fa a tota la base de dades (50% A - 50% B).

4.1 Configurar i enviar un test A/B per assumpte

Per a crear el teu test A/B segons assumpte, com has pogut veure, primer has d'accedir a l'opció "Test A/B" del menú principal i fer clic a "Crear nou experiment". A la pantalla inicial, hauràs d'escriure un nom per a l'experiment (es tracta d'una cosa interna que no veuran els teus subscriptors), seleccionar la llista o segment i triar l'opció "Assumpte" a l'apartat "Tipus d'experiment" .

A la següent pantalla serà el moment de definir la mostra amb la barra de desplaçament i configurar l'elecció del guanyador (si és manual o automàtica). Els detalls els pots veure en la introducció d'aquest mateix apartat.

Configuració del test A/B

A continuació, selecciona la campanya que vols enviar fent clic a la imatge "Seleccionar campanya". S'habilitarà un desplegable amb totes les campanyes que tinguis creades. Una vegada localitzada, fes clic a "Seleccionar".

A la roda de configuració, podràs editar el remitent que voldràs utilitzar, l'idioma dels formularis de baixa i actualització, així com el correu de resposta.

Quan ja tinguis la campanya configurada, hauràs de definir els dos assumptes i els dos pre-encapçalats:

Fes clic a "Següent" per a continuar amb la creació i enviament de l'experiment.

Data i hora d'enviament

En el següent pas simplement hauràs de marcar si vols enviar ja les campanyes o bé prefereixes programar-les per a més endavant. Una vegada definit això, fes clic a següent.

Resum i enviament de l'experiment

A l'última pantalla visualitzaràs un resum de tot allò que has configurat del teu test A/B. Una vegada confirmat que està tot bé, fes clic a "Enviar" per a fer o programar els teus enviaments. Per consultar l'estat dels teus enviaments, accedeix al menú principal a "Test A/B" > "Gestionar experiments".

Per consultar l'estat dels teus enviaments, accedeix al menú principal a "Test A/B" > "Gestionar experiments".

4.2 Configurar i enviar un test A/B per remitent

Per crear el teu test A/B segons remitent, com hem vist, primer has d'accedir a l'opció "Test A/B" del menú principal i fer clic a "Crear nou experiment". A la pantalla inicial, hauràs d'escriure un nom per a l'experiment (es tracta d'una cosa interna que no veuran els teus subscriptors), seleccionar la llista o segment i triar en l'apartat "Tipus d'experiment" l'opció "Remitent".

A la següent pantalla serà el moment de definir la mostra amb la barra de desplaçament i configurar l'elecció del guanyador (si és manual o automàtica). Els detalls els pots veure en la introducció d'aquest mateix apartat.

Configuració del test A/B

A continuació, selecciona la campanya que vols enviar fent clic a la imatge "Seleccionar campanya". S'habilitarà un desplegable amb totes les campanyes que tinguis creades. Una vegada localitzada, fes clic a "Seleccionar".

A la roda de configuració, podràs editar l'assumpte del missatge i l'idioma dels formularis de baixa i actualització.

Una vegada configurada la campanya, és hora de definir el remitent de cada combinació així com el correu de resposta que utilitzaràs.

Data i hora d'enviament

En el següent pas simplement hauràs de marcar si vols enviar ja les campanyes o bé prefereixes programar-les per a més endavant. Una vegada definit això, fes clic a següent.

Resum i enviament de l'experiment

A l'última pantalla visualitzaràs un resum de tot allò que has configurat en el teu test A/B. Una vegada confirmat que està tot bé, fes clic a "Enviar" per a llançar o programar els teus enviaments.

Per consultar l'estat dels teus enviaments, accedeix al menú principal a "Test A/B" > "Gestionar experiments".

4.3 Configurar i enviar un test A/B per contingut

Per a crear el teu test A/B segons contingut, primer has d'accedir a l'opció "Test A/B" del menú principal i fer clic a "Crear nou experiment". A la pantalla inicial, hauràs d'escriure un nom per a l'experiment (es tracta d'una cosa interna que no veuran els teus subscriptors), seleccionar la llista o segment i triar l'opció "Contingut" a l'apartat "Tipus d'experiment".

A la següent pantalla serà el moment de definir la mostra amb la barra de desplaçament i configurar l'elecció del guanyador (si és manual o automàtica). Els detalls els pots veure en la introducció d'aquest mateix apartat.

Configuració del test A/B

A continuació, selecciona les dues campanyes que vols enviar fent clic a la imatge "Seleccionar campanya". S'habilitarà un desplegable amb totes les campanyes que tinguis creades. Una vegada localitzada, fes clic a "Seleccionar". Tingues en compte que el sistema no et deixarà seleccionar una mateixa campanya.

A la roda de configuració, podràs editar el remitent que voldràs utilitzar, l'idioma dels formularis de baixa i actualització així com el correu de resposta.

Una vegada seleccionades les dues campanyes, hauràs de definir un mateix assumpte i un mateix preencapçalat per a ambdues.

Per a passar al següent pas, fes clic a "Següent".

Data i hora d'enviament

Al següent pas simplement hauràs de marcar si vols enviar ja les campanyes o bé prefereixes programar-les per a més endavant. Per a accedir a l'últim pas, fes clic a "Següent".

Resum i enviament de l'experiment

En l'última pantalla visualitzaràs un resum de tot allò que has configurat del teu test A/B. Una vegada confirmat que està tot bé, fes clic a "Enviar" per fer o programar els teus enviaments.

Per consultar l'estat dels teus enviaments, accedeix al menú principal a "Test A/B" > "Gestionar experiments".

4.4 Configurar i enviar un test A/B per data d'enviament

Per crear el teu test A/B segons la data d'enviament, primer has d'accedir a l'opció "Test A/B" del menú principal i fer clic a "Crear nou experiment". A la pantalla inicial, hauràs d'escriure un nom per a l'experiment (es tracta d'una cosa interna que no veuran els teus subscriptors), seleccionar la llista o segment i triar l'opció "Data d'enviament" a l'apartat "Tipus d'experiment".

Configuració del test A/B

A continuació, selecciona la campanya que vols enviar fent clic a la imatge "Seleccionar campanya". S'habilitarà un desplegable amb totes les campanyes que tinguis creades. Una vegada localitzada, fes clic a "Seleccionar".

A la roda de configuració, podràs editar l'assumpte, el remitent, l'idioma dels formularis de baixa i actualització i l'adreça de correu que usaràs per a l'enviament.

Data i hora d'enviament

Al següent apartat hauràs de definir la data i hora d'enviament de totes dues combinacions. Recorda que en aquesta mena de test no és possible posar la mateixa data i hora en totes dues campanyes. Fes clic al botó "Següent" per accedir a l'últim pas.

Resum i enviament de l'experiment

A l'última pantalla visualitzaràs un resum de tot allò que has configurat del teu test A/B. Una vegada confirmat que està tot bé, fes clic a "Enviar" per a llançar o programar els teus enviaments.

Per a consultar l'estat dels teus enviaments, accedeix en el menú principal a "Test A/B" > "Gestionar experiments".

5. Gestió dels experiments

En aquest apartat podràs veure l'estat dels teus test A/B. Aquests són els diferents estats en els quals pot estar el teu experiment:

• Processant: segons que passen fins que l'eina posa els enviaments en cua o s'inicia l'enviament de les combinacions A/B
• Enviant A/B: s'estan enviant les combinacions A i B de l'experiment
• Enviaments A/B en cua: els enviaments de les combinacions A i B estan programats
• Calculant guanyador: una vegada fet l'enviament de les combinacions A i B, moment en el qual s'està calculant el guanyador a l'espera de fer-se aquest últim enviament
• Enviament guanyador en cua: el guanyador ja s'ha calculat i aquest està programat
• Enviant guanyador: l'enviament guanyador s'està fent
• Completat: experiment finalitzat, és a dir, tant els enviaments de les combinacions A i B, com el guanyador ja han acabat
• Enviaments "A/B" pausats: si l'usuari ha pausat la programació dels enviaments de les combinacions A i B
• Enviament guanyador pausat: si l'usuari ha pausat la programació de l'enviament guanyador. 
• Cancel·lat: el test A/B s'ha cancel·lat per part de l'usuari

En aquest apartat, a més, podràs consultar les estadístiques, pausar o eliminar el test si encara no s'ha executat i seleccionar el guanyador en cas d'haver triat l'opció manual.

5.1 Pausar/eliminar test A/B

Si els enviaments encara no han començat (és a dir, l'estat de l'experiment és "Enviaments A/B en cua), accedint a "Test A/B" > "Gestionar experiments" a la barra d'opcions podràs pausar o cancel·lar l'experiment.

Si accedeixes a l'interior d'aquest, també tindràs oportunitat de pausar-lo o cancel·lar-lo.

Tingues en compte que totes dues accions afecten a tot l'experiment, és a dir, si el pauses, pausaràs els enviaments de totes dues combinacions i si el cancel·les, ho faràs íntegrament.

També tindràs l'opció de cancel·lar/pausar l'enviament de la combinació guanyadora si encara no s'ha iniciat el seu enviament.

5.2 Elecció del guanyador

En els test A/B d'Acrelia pots triar tu mateix el guanyador o bé configurar-ho de tal manera que, segons la variable triada, sigui el sistema qui el triï i faci l'enviament guanyador de manera automàtica.

Selecció manual del guanyador

En el segon pas de la creació i configuració del teu experiment, si a l'apartat "Elecció del guanyador" esculls l'opció "Manualment", una vegada finalitzats els enviaments de les dues combinacions, hauràs d'accedir a "Test A/B" > "Administrar test A/B" i una vegada dins, seleccionar l'opció guanyadora (botó Guanyador A o botó Guanyador B). Per prendre la decisió més adequada, disposaràs de totes les estadístiques de tots dos enviaments.

Una vegada seleccionada la combinació guanyadora i fet l'enviament, tindràs disponibles les estadístiques de la campanya guanyadora a la mateixa secció.

Selecció "automàtica" del guanyador

En el segon pas de la creació i configuració del teu experiment, si a l'apartat "Elecció del guanyador" esculls l'opció "Automàticament", una vegada finalitzat l'enviament de les combinacions A i B (i passat el temps que has configurat prèviament), el sistema seleccionarà el guanyador segons la variable que hagis triat (obertures i clics).

Dins de "Test A/B" > "Administració d'experiments", si accedeixes a l'experiment, veuràs que el sistema marcarà amb un requadre groc la combinació guanyadora.

Les dades marcades en color groc, són les que tenien les combinacions en el moment de l'elecció. Les dades que no apareixen destacades són les que hi ha en el moment de la consulta, és a dir, a temps real. Aquestes dades les diferenciem ja que les combinacions A i B poden continuar rebent obertures i clics després d'haver seleccionat al guanyador.

5.3 Estadístiques dels enviaments

Les estadístiques que tens de cada enviament en els teus test A/B són les mateixes que tens en els teus enviaments habituals. Per accedir-hi, has d'accedir al menú principal a "Test A/B" > "Administrar experiments" i accedir al test A/B corresponent. Veuràs que dins de cada experiment tindràs les estadístiques de totes dues combinacions i les estadístiques de l'enviament guanyador (una vegada s'hagi llançat).

Per a més informació sobre el significat de cadascun dels indicadors estadístics que mostrem en les campanyes enviades, visita aquest altre article.

6. Funcionament del test A/B

Abans de llançar el teu experiment, hi ha diverses consideracions que has de tenir en compte sobre el funcionament del Test A/B a Acrelia.

6.1 Decisions

Cal tenir en compte que, en el cas que cap dels teus destinataris obri o faci clic en les teves dues combinacions, el grup final de destinataris rebrà l'última combinació de manera predeterminada (en cas de seleccionar l'opció d'enviament automàtic del guanyador). Això podria passar si envies la teva prova a molt pocs destinataris.

D'altra banda, si el mateix nombre de persones fa clic o obre les teves combinacions, la primera combinació serà la que s'enviarà als teus destinataris restants (també, en cas d'haver seleccionat l'opció d'enviament automàtic al guanyador).

6.2 Versió web

Totes les campanyes creades amb l'editor d'Acrelia tenen, a la part superior, un enllaç per visualitzar l'enviament en el navegador. Si un contacte al qual li has enviat una de les combinacions de l'experiment obre el correu electrònic en el seu navegador, sempre veurà la combinació de prova que hagi rebut, encara que la combinació guanyadora sigui diferent.

D'altra banda, si tens actiu l'històric de les teves campanyes, apareixerà la combinació guanyadora. No obstant això, si un subscriptor consulta la versió web de la campanya rebuda, visualitzarà la seva combinació, no la guanyadora.

6.3 Campanyes amb contingut dinàmic

Com hem comentat anteriorment en aquest mateix article, per poder identificar quins elements són els que fan que una campanya tingui millors resultats és fonamental experimentar amb una única variable. Atès que les campanyes amb contingut dinàmic afegeixen altres variacions en el contingut i, per tant, entren en joc més elements, no estan habilitades per a utilitzar-les en els test A/B.