Deux portes identiques dans un mur de béton, celle de droite peinte en bleu

A/B testing de site : valider les hypothèses après un audit UX

Un audit UX se termine par une liste : ici, les visiteurs abandonnent le formulaire ; là, ils ne voient pas le prix ; sur mobile, ils ne trouvent pas le bouton. Chaque point de cette liste est une hypothèse, pas un fait établi. Certaines corrections apporteront vraiment plus de leads, d’autres ne changeront rien, et quelques-unes pourraient même nuire.

Cet article est la suite logique de l’audit. L’audit produit des hypothèses ; l’A/B testing permet de vérifier lesquelles augmentent réellement le taux de conversion. Nous verrons quand un test vaut la peine d’être lancé et quand le trafic est trop faible pour autre chose qu’un déploiement direct, comment formuler une hypothèse, combien de temps faire tourner un test, et les erreurs qui faussent le plus souvent le résultat.

Qu’est-ce qu’un A/B test et pourquoi le mener après un audit

Un A/B test est une expérience au cours de laquelle les visiteurs sont répartis au hasard en deux groupes. L’un voit la version actuelle de la page (A), l’autre la version modifiée (B). Les deux groupes coexistent sur la même période, avec les mêmes campagnes et la même saisonnalité : toute différence de résultat peut donc être attribuée à la modification elle-même.

Sans test, il est plus difficile de juger un changement. Si vous refaites un formulaire et constatez plus de leads un mois plus tard, impossible de savoir ce qui a fonctionné : le nouveau formulaire, une campagne publicitaire efficace, le début de la haute saison ou le départ d’un concurrent. Une comparaison avant/après mélange tous ces facteurs. L’A/B test permet de les isoler.

C’est particulièrement utile après un audit. Les constats d’un audit reposent sur des enregistrements de sessions, des heatmaps et des tests avec cinq à sept utilisateurs. Ils expliquent bien pourquoi les visiteurs partent, mais ne disent pas de combien la conversion progressera une fois le problème corrigé. L’A/B test répond à cette question avec des chiffres.

Quand faire un A/B test, et quand déployer directement

La principale contrainte de l’A/B testing, c’est le trafic. Pour distinguer un effet réel du bruit, il faut un échantillon suffisant : beaucoup de visiteurs et surtout beaucoup de conversions dans chaque groupe. Si votre site reçoit quelques demandes par semaine, un écart d’un ou deux leads entre les variantes ne signifie rien. Le hasard pourrait tout aussi bien le produire.

La significativité statistique, en termes simples

La significativité répond à une question : quelle est la probabilité d’observer un écart aussi grand si les variantes sont en réalité identiques ? On considère généralement un résultat comme fiable quand cette probabilité est faible, avec un seuil fixé le plus souvent à 5 %. Plus l’effet que vous voulez détecter est petit et plus votre taux de conversion de départ est bas, plus il faut de visiteurs pour le repérer.

La taille d’échantillon nécessaire se calcule avant le lancement. Vous saisissez dans un calculateur votre taux de conversion actuel, l’effet minimal qui compte pour l’entreprise et le seuil de significativité. Il vous donne le nombre de visiteurs par variante. Divisez-le par le trafic quotidien de la page, et vous saurez si le test prendra deux semaines ou six mois.

Que faire avec peu de trafic

Pour les petits sites et les entreprises B2B qui reçoivent peu de demandes, une autre approche fonctionne. Les problèmes évidents relevés par l’audit, comme un masque de saisie du téléphone cassé, des champs inutiles ou un prix caché, se corrigent tout de suite, sans test, car le préjudice est clair. Les changements discutables se testent avec des utilisateurs sur un prototype, avant le développement. Après la mise en ligne, on compare les mêmes rapports et les mêmes entonnoirs dans Google Analytics sur des périodes comparables, en gardant à l’esprit que cette comparaison est moins précise.

Autre technique : tester non pas le lead final, mais une action intermédiaire plus fréquente, comme l’ajout au panier, le début de saisie d’un formulaire ou le clic sur le numéro de téléphone. Ces événements surviennent plus souvent, l’échantillon se constitue donc plus vite. Mais la conclusion ne vaut alors que pour cette étape, pas pour les ventes finales.

Comment formuler une hypothèse

Une hypothèse faible ressemble à « passons le bouton en vert et on verra bien ». Une hypothèse solide relie la modification, le résultat attendu et la raison. Un modèle pratique : « Si nous modifions X, l’indicateur Y augmentera, car Z », où Z provient des données de l’audit.

Exemple : « Si nous supprimons le champ Société du formulaire de contact, la part de formulaires envoyés augmentera, car l’analyse du formulaire montre qu’une part notable des visiteurs abandonne à ce champ, et les enregistrements de sessions montrent des utilisateurs mobiles qui le sautent puis quittent la page. » Une telle hypothèse est facile à tester et à expliquer à l’équipe, même si elle ne se vérifie pas.

Un seul indicateur et la durée du test

Avant le lancement, fixez un indicateur principal : celui que la modification doit faire bouger. C’est généralement un événement de conversion dans votre outil d’analytics : un formulaire envoyé, une commande validée, un clic vers une messagerie. Vous pouvez regarder des indicateurs secondaires, mais la décision se prend sur le principal. Sinon, parmi une dizaine de chiffres, il y en aura toujours un qui a « progressé », et n’importe quelle variante pourra être déclarée gagnante.

Il est aussi utile d’ajouter un indicateur garde-fou, qui ne doit pas se dégrader. Un nouveau formulaire peut par exemple générer plus de leads, mais avec une part plus élevée de demandes non qualifiées. Dans ce cas, vérifiez la qualité des leads dans le CRM, et pas seulement le nombre de formulaires envoyés.

La durée découle de la taille d’échantillon, mais il existe aussi un plancher : au moins une semaine complète, idéalement deux. Les comportements diffèrent nettement entre la semaine et le week-end, surtout en B2B, et un test qui ne couvre qu’une partie de la semaine donnera une image faussée.

On tranche un test sur un seul indicateur choisi avant le lancement. Sinon, n’importe quelle variante peut être déclarée gagnante.

Comment mener un A/B test, étape par étape

  1. Vérifier l’analytics. Les événements de conversion dans Google Analytics sont configurés et se déclenchent correctement sur tous les appareils. Sans cela, le test comparera du bruit.
  2. Choisir une hypothèse dans la liste de l’audit. Commencez par celle où un fort impact sur les leads rencontre un trafic suffisant sur la page.
  3. Calculer la taille d’échantillon et la durée. Déterminez le nombre de visiteurs par variante et convertissez-le en semaines au trafic actuel.
  4. Réaliser la variante B. Appliquez la modification dans le design et le code, vérifiez-la sur mobile et dans les principaux navigateurs, et assurez-vous que la page n’est pas devenue plus lente.
  5. Paramétrer l’expérience. Des plateformes dédiées comme VWO, AB Tasty, Optimizely ou l’outil open source GrowthBook s’en chargent et se connectent à votre analytics. Google Optimize, longtemps la référence, a été arrêté par Google en 2023. Vous pouvez aussi mener le test en interne : le site répartit lui-même les visiteurs et transmet l’identifiant de variante à l’analytics.
  6. Lancer et ne plus toucher. Ne modifiez ni les campagnes, ni les prix, ni la page elle-même avant la fin de la durée prévue.
  7. Conclure. Comparez les variantes sur l’indicateur principal, vérifiez la significativité et l’indicateur garde-fou, et consignez la conclusion.

Les erreurs fréquentes en A/B testing

D’autres erreurs sont tout aussi courantes :

Que tester en premier

Les priorités sont les mêmes qu’après un audit : d’abord les étapes que tous les clients traversent et les points du parcours utilisateur où les abandons sont les plus forts. Une modification du tunnel de commande touche chaque acheteur, alors qu’un ajustement de la page « À propos » ne concerne qu’une petite part des visiteurs.

Les détails comme la couleur d’un bouton ou l’arrondi des angles produisent rarement un effet notable, et avec un trafic modeste, la différence ne sera tout simplement pas visible. Commencer par eux, c’est passer des semaines sur un test qui se terminera presque à coup sûr par un match nul.

Que faire après le test

Un test a trois issues possibles, et chacune est utile. Si la variante B l’emporte nettement, déployez-la pour tous et retirez la logique de test du code. Si elle perd, revenez à l’original et notez pourquoi l’hypothèse ne s’est pas vérifiée. S’il n’y a pas de différence, vous pouvez déployer la modification pour d’autres raisons, par exemple parce qu’elle simplifie la maintenance, ou y renoncer.

Consignez les résultats dans un journal unique : hypothèse, durée, indicateur, issue, enseignement. Au bout de quelques mois, ce journal devient votre connaissance la plus précieuse sur vos clients : ce qui fonctionne avec eux et ce qui ne fonctionne pas. Les nouvelles hypothèses viennent du même audit, d’un nouveau regard sur les entonnoirs et des retours de l’équipe commerciale.

L’A/B testing fait partie du travail continu sur un site après sa mise en ligne, ce n’est pas un projet à part. Sphere est une agence digitale à Paris spécialisée dans la création de site internet sur mesure, de l’étude au lancement et au-delà : nous analysons vos données, concevons les modifications, réalisons la variante en design et en code, et mettons en place le suivi pour que les résultats se lisent dans les chiffres. Découvrez des exemples parmi nos projets de développement web.

Questions fréquentes

Quel trafic faut-il pour un A/B test ?

Il n’existe pas de seuil fixe : le volume nécessaire dépend de votre taux de conversion actuel et de l’écart que vous voulez détecter. Plus l’action visée est rare et l’effet attendu faible, plus il faut de visiteurs. Avant le lancement, calculez la taille d’échantillon avec un calculateur et estimez combien de semaines le test durera avec votre trafic. Si l’on parle de mois, déployez la modification et comparez plutôt des périodes.

Quelle différence entre un A/B test et un split test ?

Ce sont souvent des synonymes. On parle parfois de split test pour comparer deux versions distinctes d’une page à des URL différentes, et d’A/B test pour la modification d’un élément sur la même page. Le principe reste identique : le trafic est réparti au hasard, et les variantes sont comparées sur un seul indicateur, sur la même période.

Peut-on mener plusieurs A/B tests en même temps ?

Oui, à condition qu’ils portent sur des pages ou des parcours différents et ne jouent pas sur le même indicateur. Deux tests simultanés sur le même formulaire de contact mélangeront leurs effets, et vous ne pourrez pas attribuer honnêtement le résultat à l’une ou l’autre modification.

Que faire si le test ne montre aucune différence ?

C’est aussi un résultat : la modification n’influe pas sensiblement sur les leads, vous pouvez donc la déployer pour d’autres raisons ou l’abandonner. Notez la conclusion et passez à l’hypothèse suivante. Il est parfois utile de tester une version plus marquée de la même idée, car un ajustement trop subtil peut ne produire aucun effet visible à votre niveau de trafic.

Parlons de votre projet
À lire aussi