Prouver que la correction a fonctionné : les tests d'hypothèse pour ceux qui ont séché les stats
Une équipe de réception chez un distributeur régional était convaincue d'avoir réglé un retard chronique. Au cours de 2021, les perturbations d'approvisionnement liées à la pandémie avaient allongé leur cycle de confirmation de commande, et après un changement de processus, les chiffres semblaient meilleurs. La responsable de l'amélioration voulait crier victoire. Son Black Belt a posé une question discrète : comment savoir que ce n'est pas juste un bon mois ? C'est précisément à cela que sert le test d'hypothèse.
Nul besoin d'un diplôme en statistique pour s'en servir. Dans les phases Innover et Maîtriser du DMAIC, le test d'hypothèse offre simplement une manière rigoureuse de décider si une différence observée est réelle ou pourrait n'être que du bruit. Toute l'idée repose sur une habitude d'esprit inconfortable au départ, mais puissante : on commence par supposer que le changement n'a rien fait.
Les deux affirmations en concurrence
Chaque test pose deux énoncés. L'hypothèse nulle affirme qu'il n'y a pas de réelle différence — l'avant et l'après sont en pratique identiques, et tout écart est dû au hasard. L'hypothèse alternative affirme qu'il existe une vraie différence. On se demande ensuite : si le changement n'avait vraiment rien fait, à quel point le résultat observé serait-il surprenant ?
Formulez d'abord la question en langage clair. La nôtre était : le nouveau flux a-t-il réduit le temps moyen de confirmation ? « Moyen » est le mot clé — il oriente vers la comparaison de deux moyennes.
Choisissez le test correspondant. Comparer la moyenne d'un groupe avant et d'un groupe après sur une mesure continue comme des heures, c'est un test t à deux échantillons. Comparer des taux de réussite/échec appellerait plutôt un test de proportions.
Fixez le seuil avant de regarder. L'équipe a retenu le seuil de signification habituel de 0,05. Le décider à l'avance vous empêche de rationaliser n'importe quel résultat obtenu.
Lisez la valeur p comme une probabilité de hasard. Elle estime la probabilité d'observer une différence aussi grande si le changement n'avait en réalité rien fait. Sous votre seuil, vous rejetez l'hypothèse nulle et tenez l'amélioration pour réelle.
L'équipe a tiré 30 confirmations d'avant le changement et 30 d'après — assez pour être significatif et facile à recueillir. La moyenne avant était d'environ 19 heures ; la moyenne après, d'environ 14. Le test t a donné une valeur p de 0,01. Comme elle est inférieure à 0,05, la conclusion était nette : une baisse de cette ampleur n'était guère imputable au hasard. La correction était réelle.
Les pièges qui trompent les gens honnêtes
Confondre « non significatif » et « aucun effet ». Une valeur p élevée signifie souvent que l'échantillon était trop petit pour trancher, pas que rien n'a changé.
Traiter le seuil de 0,05 comme sacré. Une valeur p de 0,06 n'est pas un échec ; c'est un signal pour recueillir plus de données, pas pour abandonner.
Ignorer la portée pratique. Un changement peut être statistiquement réel mais trop faible pour compter sur le terrain — demandez-vous toujours si l'ampleur de l'effet justifie l'effort.
Trier la fenêtre temporelle jusqu'à ce que les chiffres coopèrent. Définissez votre plan d'échantillonnage avant de jeter un œil aux résultats.
Ce qui a fait la différence pour cette équipe, ce n'était pas le calcul — un logiciel l'a fait en quelques secondes. C'était la discipline de formuler la question, de choisir le test et de s'engager sur un seuil avant de regarder. Cette séquence a transformé une anecdote pleine d'espoir en preuve défendable devant un directeur des opérations sceptique. Le changement a tenu, et quand un ajustement ultérieur n'a pas franchi la même barre, l'équipe a eu la confiance de l'annuler plutôt que de livrer une non-amélioration.
Le test d'hypothèse ne consiste pas à être malin avec les chiffres. Il s'agit d'être honnête face à l'incertitude — de refuser de confondre une période chanceuse avec un gain durable. Pour toute équipe qui cherche à prouver qu'une amélioration mérite d'être conservée, cette honnêteté est tout l'enjeu.
Si votre équipe apporte des changements sans pouvoir prouver lesquels fonctionnent vraiment, le service-conseil stratégique de XNM peut vous aider à bâtir la discipline de mesure qui distingue les vrais gains du bruit.