Un A/B test consiste à pousser simultanément sur un site web, une ou plusieurs versions d’un élément ou d’une page, en répartissant le trafic du site de manière égale entre les versions, puis à mesurer les performances des versions.
A quoi sert l’A/B test ?
La finalité de l’étude de type A/B test correspond à une démarche de maintenance du site web qui passe par la vérification et l’analyse des visites et comportements associés sur les pages web. Cela permet d’identifier les tendances d’exploration, les pages visitées, détecter des anomalies et opportunités dans la navigation. Le but étant, à l’issue de ces analyses et des conclusions tirées, de pouvoir modifier la structure du site pour mieux répondre aux besoins des utilisateurs et ainsi offrir une expérience de navigation optimale.
Quelles sont les conditions de la mise en place d’un A/B test?
La méthodologie de l’A/B test permet de diffuser simultanément deux versions d’une même page auprès de deux segments de visiteurs afin de constater des différences de comportements entre les deux versions A et B. Il est important de prendre en compte le fait qu’un seul changement doit être opéré, autrement, on parle de test multivarié dont l’interprétation est plus complexe. Par ailleurs, la simultanéité en termes de période et de saisonnalité, est primordiale. Il est possible de réaliser un changement sur des pages d’un site et de comparer les KPIs avant et après les changements opérés. Néanmoins, cela constitue un biais lié à la période et saisonnalité.
Quels sont les avantages à mettre en place un A/B test sur votre site?
Outre la rapidité de mise en place et d’obtention de résultats concrets, à condition d’avoir un volume de trafic significatif, l’avantage majeur des A/B Test est que l’on se base sur des phénomènes comportementaux propres aux utilisateurs de nos sites web. C’est-à-dire que certaines recommandations formulées par des experts peuvent ne pas s’appliquer à une certaine cible de clients ou à certains cas de retail avec des concepts particuliers ou des produits spécifiques. L’A/B test permet de s’assurer que ces best practices s’appliquent votre contexte commercial, à la nature des produits et à la communication attendue par l’utilisateur. En effet, avec l’A/B test, les sujets de l’étude ne sont autre que vos propres clients qui agissent naturellement et donc sans biais par rapport à des études de type panels, questionnaires, etc.
Appliquez une démarche stratégique dans la mise en place de vos tests.
Dès lors que vous disposez d’un outil qui permet de réaliser des tests A/B, il est tentant de tout remettre en question et de réaliser pleins de tests. Il faut cependant cadrer la démarche car tous les tests ne sont pas pertinents à mener. Pour savoir si un test comporte un intérêt réel, il faut se pencher sur son potentiel : que peut-on espérer en terme de gains avec les optimisations visées et de quelle nature sont-ils ? Il est préférable de ne faire que quelques tests, mais dont les résultats vont permettre une prise de décision qui va représenter un réel enjeu en terme de ROI. Enfin, il faut également que le test soit facile à opérer : il faut s’interroger sur l’ampleur des ressources requises pour le test, d’un point de vue développement web et graphisme à engager et sur les contraintes à envisager. Ces critères déterminent les caractères réalistes, réalisables ou utiles des tests.
Quand analyser les résultats d’un A/B test ?
Il n’existe pas de durée standard pour commencer à interpréter un A/B test. Les outils du marché tels que A/B Tasty, Google Optimize, Kameleoon ou Monetate permettent de mesurer le niveau de significativité d’un test en cours grâce à l’indicateur du taux de confiance. On considère que le taux de confiance doit atteindre 95% pour déclarer un test comme étant fiable et pour s’appuyer sur ses résultats.
Toutefois, le temps que met un A/B test pour atteindre les 95% de taux de confiance dépend en premier lieu du nombre d’impressions des versions A et B, autrement dit, le nombre de fois où elles sont vues. Cela dépend donc du volume de visites sur votre site et sur les pages en question. Par exemple, un site web avec des milliers de visites par jour n’aura besoin que de quelques semaines pour voir son taux de confiance atteint, là où pour un site d’une plus petite envergure, notamment en B to B par exemple, les versions devront être déployées plusieurs mois.
Un autre paramètre que la largeur de la diffusion des versions entre en jeu. C’est celui de la divergence des comportements observés. Dans le cas de la modification du format ou de l’emplacement d’un bouton de type call-to-action par exemple, si on observe un nombre de clics qui va du simple au double entre les deux versions, alors un taux de confiance inférieur à 95% peut être recevable. En effet, dans la réalité du terrain, il est parfois trop contraignant d’attendre avant de pouvoir faire un choix de version et mettre en place des optimisations. Cependant, prenez avec précaution les résultats obtenus d’un test A/B dont le taux de confiance est en deçà de 80% car leur significativité est plus faible.
Quelle est la portée des A/B tests ?
Hormis l’optimisation de l’ergonomie et de la navigation auxquels on pense en premier, l’A/B test peut également être un outil précieux qui permet de mieux appréhender d’autres aspects marketing. Notamment le travail des landing pages (pages de destination) pour vos campagnes Ads de différentes sources de trafic. Ainsi, vous pouvez travailler la cohérence entre le message que vous souhaitez véhiculer sur vos différents supports en testant plusieurs variantes. C’est également un bon moyen pour tester l’impact d’un discours commercial sur un site de lead. L’A/B test peut aussi servir à essayer de nouvelles dispositions d’e-merchandising des produits.
Ces différentes facettes de l’A/B test peuvent permettre à divers services marketing d’affiner leur connaissance sur la nature et le comportement de la cible marketing.
Chez Meet your data, nous pouvons vous accompagner dans la mise en place d’A/B tests sur votre site web, notamment dans la configuration de vos tests, l’analyse de leurs résultats et dans l’apport de recommandations.