FDR / FWER
Comparaisons multiples : FDR et FWER
Tester de nombreuses hypothèses multiplie les occasions de faux positifs. Les corrections modifient le seuil de significativité. La comparaison pertinente porte à la fois sur le contrôle de l’erreur et sur la détection des effets réels.
Pourquoi corriger les tests multiples ?
Avec 20 hypothèses nulles vraies et indépendantes et α = 0.05, la probabilité d’au moins un faux positif est de 1 − (1 − 0.05)²⁰ ≈ 64 %. Le nombre attendu de faux positifs est 20 × 0.05 = 1. Ce sont deux grandeurs distinctes : une probabilité et un nombre.
Qu’est-ce que le taux de fausses découvertes ?
FDR = E[V / max(R, 1)], où V est le nombre de fausses découvertes et R le nombre total de découvertes. Un objectif de FDR de 5 % contrôle cette proportion en moyenne sur des expériences répétées, sous les hypothèses de la méthode. Cela ne signifie pas que chaque résultat significatif a 5 % de chances d’être faux.
En quoi la FWER diffère-t-elle ?
FWER = P(V ≥ 1) : la probabilité de faire ne serait-ce qu’une fausse découverte dans une famille de tests. Bonferroni et Holm visent la FWER ; Benjamini–Hochberg vise la FDR. Contrôler la FWER borne aussi la FDR, mais conduit souvent à détecter moins d’effets réels.
Exemple détaillé : Bonferroni et BH
Prenons cinq valeurs p triées : 0.001, 0.008, 0.039, 0.041, 0.300, avec α = q = 0.05. Bonferroni utilise 0.05 / 5 = 0.01 et rejette les deux premières hypothèses. BH compare les rangs à 0.01, 0.02, 0.03, 0.04, 0.05. Le plus grand rang qui satisfait le critère est 2 : BH rejette donc aussi les deux premières. Si la dernière valeur p était 0.045, BH rejetterait les cinq : on retient le plus grand rang satisfaisant le critère, pas le premier qui échoue.
Comparer les 11 méthodes de correction
Sans correction
Rejetez chaque hypothèse si p < α. Aucun contrôle de l’erreur sur la famille de tests. C’est un point de référence utile pour voir les faux positifs s’accumuler.
Bonferroni
Bonferroni rejette si p < α/m. La méthode contrôle la FWER pour des valeurs p valides, quelle que soit la structure de dépendance, mais peut manquer des effets réels quand les tests sont nombreux.
Holm
Triez les valeurs p par ordre croissant. Comparez le rang r à α/(m−r+1) et arrêtez-vous au premier échec. Holm contrôle la FWER sous dépendance arbitraire et rejette au moins tout ce que Bonferroni rejette.
Šidák
Utilisez le seuil unique 1−(1−α)^(1/m). Šidák contrôle la FWER pour des tests indépendants et est légèrement moins conservatrice que Bonferroni.
Holm–Šidák
Appliquez la procédure descendante de Holm avec les seuils 1−(1−α)^(1/(m−r+1)). Cette simulation utilise des tests indépendants ; ne supposez pas que la méthode accepte une dépendance arbitraire.
Hochberg
Trouvez le plus grand rang r tel que p(r) ≤ α/(m−r+1), puis rejetez tous les rangs jusqu’à r. Hochberg contrôle la FWER sous indépendance ou sous certaines conditions de dépendance positive.
Hommel
Hommel utilise une procédure de tests fermés fondée sur les tests de Simes. Elle contrôle la FWER sous indépendance ou sous des conditions validant l’inégalité de Simes, et sa puissance est au moins égale à celle de Hochberg. Son coût de calcul est plus élevé.
Benjamini–Hochberg
Trouvez le plus grand rang r tel que p(r) ≤ (r/m)q, puis rejetez tous les rangs jusqu’à r. Benjamini–Hochberg contrôle la FDR pour des tests indépendants et sous certaines conditions de dépendance positive (PRDS).
Benjamini–Yekutieli
Utilisez BH en divisant q par Hm = Σ(1/k), k = 1…m. Benjamini–Yekutieli contrôle la FDR sous dépendance arbitraire, généralement au prix d’une puissance moindre.
Inspirée de Storey (exploratoire)
Cette variante exploratoire simplifiée estime π₀ à partir de la proportion de valeurs p supérieures à 0.5, puis applique BH au niveau q/π̂₀. Ce n’est pas une implémentation complète des q-values et elle n’offre aucune garantie universelle de FDR pour les échantillons finis.
BH adaptative (exploratoire)
Cette variante exploratoire en deux passes applique d’abord BH au niveau q, estime m₀ par max(1, m−R₁), puis applique BH au niveau q·m/m̂₀. Ce n’est pas la procédure BKY et elle n’est pas présentée comme possédant sa garantie pour les échantillons finis.
Questions fréquentes
Puis-je calculer la FDR de mes propres valeurs p ?
C’est un simulateur pédagogique, pas un outil d’importation des valeurs p. Il génère des expériences dont la vérité est connue pour observer les fausses découvertes et les effets manqués, ce que les données réelles seules ne permettent généralement pas de savoir.
La valeur q = 0.05 garantit-elle seulement 5 % de faux positifs ?
Non. Un objectif q = 0.05 concerne une proportion attendue parmi les découvertes, sous les hypothèses de la procédure. Une expérience isolée peut avoir une proportion de fausses découvertes plus grande ou plus petite.
Quelle correction choisir ?
Déterminez les erreurs que votre protocole doit contrôler. Les méthodes FWER limitent le risque d’une quelconque fausse découverte dans la famille de tests. Les méthodes FDR contrôlent la part moyenne de fausses découvertes parmi les découvertes. Vérifiez les hypothèses de dépendance et définissez la famille d’hypothèses avant d’examiner les résultats.