Compter les mauvaises choses : une histoire d'échantillonnage durant une année sous tension
Au début de 2022, un service des travaux publics que nous appellerons le District a subi une pression familière : les fournisseurs étaient en rupture, les matériaux coûtaient plus cher chaque mois, et la moitié de l'équipe d'entretien revenait au dépôt après une longue période de répartition à distance. Dans ce contexte, le contremaître a lancé une affirmation alarmante. Les défaillances de joints de pompe, disait-il, avaient à peu près doublé. Il voulait un budget approuvé dans la semaine pour changer de fournisseur.
Les chiffres derrière l'affirmation étaient réels, mais la façon dont ils avaient été recueillis les rendait presque dénués de sens. C'est le piège discret de l'échantillonnage statistique : une mesure peut être précise, reproductible et complètement trompeuse en même temps. Avant que le District ne dépense un argent qu'il n'avait pas pour un changement de fournisseur qu'il pourrait regretter, il valait la peine de comprendre ce que son échantillon représentait vraiment.
Ce que l'échantillon mesurait réellement
Le chiffre du contremaître provenait des joints que son équipe rapportait au dépôt pour des réclamations de garantie. C'est un échantillon de commodité, le plus facile à recueillir et le plus facile à se mentir à soi-même. Deux choses avaient changé en même temps. Avec le retour au bureau, plus d'équipes passaient physiquement par le dépôt et y déposaient des pièces défectueuses qu'elles auraient autrefois jetées sur le terrain. Et avec la montée des prix, l'équipe avait commencé à déposer des réclamations sur des pièces qu'elle radiait auparavant. Le nombre de joints sur l'établi a augmenté. Le taux de défaillance réel sur le terrain, non.
Un bon échantillon répond à une question clairement énoncée sur une population clairement définie. Ici, la population était l'ensemble des joints de pompe en service dans le District. L'échantillon était le sous-ensemble des joints défaillants arrivés sur un établi. Ce ne sont pas les mêmes choses, et aucun comptage minutieux ne comble cet écart.
Les bases d'échantillonnage qui l'auraient repéré
Définir d'abord la population. Décidez ce que vous cherchez à apprendre — tous les joints en service, les installations du trimestre, un lot de fabrication — avant de relever la moindre donnée. Le District ne l'a jamais noté, donc il ne pouvait pas savoir ce que ses chiffres excluaient.
Rendre l'échantillon représentatif. Une sélection aléatoire ou systématique sur toute la population vaut mieux que ce qui est commode. Prélever un joint installé sur vingt selon un calendrier fixe aurait donné une image stable, indépendante de qui passait au dépôt.
Garder une taille d'échantillon honnête. Les petits échantillons varient énormément. Un saut de 6 à 12 défaillances semble un doublement mais reste dans la variation normale à ce volume. Des échantillons plus grands, ou une carte de contrôle dans le temps, séparent le vrai signal du bruit.
Surveiller les changements de mesure, pas de processus. Si votre méthode de collecte, l'incitation à déclarer ou la personne qui enregistre changent en cours de route, votre tendance reflète le changement de comptage, pas un changement dans le monde.
Comment cela s'est réglé
Le District a suspendu le changement de fournisseur et mené une vérification structurée de deux semaines : un nombre fixe de joints inspectés par tournée, consignés de la même façon quel que soit l'endroit où le camion terminait sa journée. Le taux de défaillance corrigé était essentiellement stable d'une année à l'autre. Le fournisseur n'était pas le problème; l'habitude de collecte des données l'était. Le coût évité d'un changement de contrat inutile a remboursé l'exercice bien des fois.
La leçon plus large tient pour toute année volatile. Quand les intrants sont rares et les budgets serrés, la tentation d'agir vite sur le premier chiffre venu est la plus forte précisément quand ce chiffre est le moins fiable. Un bon échantillonnage n'est pas une coquetterie statistique : c'est ainsi qu'on évite de dépenser de l'argent réel à courir après un fantôme.
Si votre équipe prend de grandes décisions sur des mesures fragiles, le conseil stratégique de XNM peut vous aider à bâtir la discipline d'échantillonnage qui ancre les décisions dans ce qui se passe réellement.