Un plan d’analyse des données ne se résume pas à lister des tests statistiques en face de chaque variable. Nous observons régulièrement des plans qui détaillent la méthode (régression, chi-2, ANOVA) sans jamais préciser ce qu’ils mesurent réellement.
Le cadre ICH E9(R1), initialement conçu pour les essais cliniques, a formalisé un concept transposable à tout projet de recherche quantitative : l’estimand. Définir un estimand, c’est poser la population cible, le traitement ou l’intervention étudiée, le critère d’évaluation, la mesure d’effet attendue et la manière de traiter les événements intercurrents. Sans cette étape, le plan d’analyse reste un catalogue de techniques.
A lire aussi : Qu'est-ce qu'un ICP ?
Estimand et variables : structurer le plan d’analyse avant le protocole statistique
La première erreur courante consiste à rédiger le plan d’analyse après la collecte. Le plan doit exister avant que la moindre donnée n’entre dans un tableur. Il formalise les décisions prises en amont, pas les justifications construites après coup.
Nous recommandons de commencer par une matrice qui relie chaque question de recherche à trois éléments : la variable dépendante, les variables explicatives et la méthode d’analyse retenue. Cette matrice force à expliciter les hypothèses. Une question floue (« quel est l’impact de X sur Y ? ») devient testable quand on précise le type de variable (continue, catégorielle, ordinale) et l’effet attendu (différence de moyenne, rapport de cotes, corrélation).
A lire également : Comment utiliser l'IA pour créer un plan marketing ?
Chaque variable du jeu de données doit apparaître dans le plan, soit comme variable analysée, soit comme variable de contrôle, soit comme variable exclue avec justification. Les variables orphelines, collectées mais jamais mentionnées dans le plan, signalent un protocole mal calibré.
Données manquantes dans un plan d’analyse : mécanisme, hypothèses et sensibilité
Un plan d’analyse qui ignore les données manquantes est incomplet. Les recommandations récentes demandent de justifier le mécanisme supposé des valeurs absentes et de ne pas se contenter d’une règle unique d’exclusion ou d’imputation.
Trois mécanismes à distinguer
Le mécanisme MCAR (missing completely at random) suppose que l’absence de données ne dépend ni des valeurs observées ni des valeurs manquantes. Le mécanisme MAR (missing at random) admet une dépendance aux valeurs observées. Le mécanisme MNAR (missing not at random) implique que la donnée manquante est liée à la valeur elle-même. Le plan doit indiquer lequel est retenu, et sur quelle base.
Nous recommandons de prévoir au minimum deux scénarios dans le plan :
- Une analyse principale fondée sur le mécanisme jugé le plus plausible, avec la méthode d’imputation correspondante (imputation multiple, modèle mixte, pondération inverse)
- Une analyse de sensibilité testant un mécanisme alternatif, pour vérifier la robustesse des résultats face à un changement d’hypothèse
- Un seuil prédéfini de données manquantes au-delà duquel la variable ou le sous-groupe est exclu de l’analyse, documenté et justifié
Comparer plusieurs hypothèses sur les données manquantes protège la crédibilité des résultats bien plus qu’une imputation unique présentée comme définitive.
Registre des écarts au protocole et versionnement du plan d’analyse
Tout plan subit des modifications entre sa rédaction initiale et l’analyse finale. Le problème n’est pas la modification, c’est l’absence de traçabilité. Les lignes directrices récentes de publication exigent d’indiquer explicitement les changements intervenus après le début de l’étude : modification des critères, ajustement de la population analysée, remplacement d’une méthode statistique.
Registre des écarts : contenu minimal
Le registre documente la date de chaque modification, la justification technique et l’impact potentiel sur l’interprétation. Un changement de critère principal non consigné transforme une analyse confirmatoire en analyse exploratoire, sans que le lecteur puisse le détecter.
Versionner le plan d’analyse comme un document vivant est la seule façon de distinguer une décision planifiée d’un ajustement post-hoc. Nous observons que les projets qui utilisent un système de versionnement (Git, horodatage de fichier avec hash) résistent mieux aux audits et aux demandes de reproductibilité.
Reproductibilité de l’environnement d’analyse
Versionner le code ne suffit plus. Les pratiques recommandées incluent la conservation des versions exactes des dépendances logicielles, de la graine aléatoire utilisée pour les procédures stochastiques, et d’un script d’exécution complet permettant de reproduire l’analyse de bout en bout. Un plan d’analyse qui mentionne « R version 4.x » sans figer les packages et leurs versions laisse une marge d’incertitude technique sur la reproductibilité des résultats.
Méthodes d’analyse et choix des tests statistiques : critères de sélection
Le choix d’un test statistique découle directement du type de variable, de la distribution observée et de la taille de l’échantillon. Plaquer un test paramétrique sur des données qui ne respectent pas ses prémisses (normalité, homoscédasticité) invalide les conclusions.
Le plan doit préciser pour chaque hypothèse testée :
- Le test retenu et ses conditions d’application, avec la procédure de vérification prévue (test de Shapiro-Wilk, inspection visuelle des résidus)
- Le test alternatif non paramétrique à appliquer si les conditions ne sont pas remplies
- Le seuil de significativité choisi et la stratégie de correction en cas de comparaisons multiples (Bonferroni, Benjamini-Hochberg)
- La taille d’effet minimale jugée pertinente, distincte de la significativité statistique
Un résultat statistiquement significatif mais cliniquement ou pratiquement négligeable n’a pas la même valeur qu’un effet modeste mais robuste. Le plan doit anticiper cette distinction en fixant un seuil de pertinence avant l’analyse.
La granularité du plan d’analyse reflète la rigueur du projet. Un plan qui décrit ses estimands, anticipe les données manquantes, consigne ses écarts et fige son environnement technique ne garantit pas de bons résultats, mais il garantit que les résultats obtenus pourront être évalués, contestés et reproduits. C’est la différence entre une analyse et une opinion appuyée par des chiffres.
