PsyMeasureFDR

PsyMeasure · Laborator de statistică

Simulator al ratei descoperirilor false (FDR)

Compară Bonferroni, Holm și Benjamini–Hochberg într-un simulator gratuit de testare multiplă. Explorează FDR, FWER și puterea statistică prin 11 metode.

Câte rezultate semnificative sunt doar zgomot? Explorează compromisul dintre descoperirile false și efectele ratate, folosind aceleași experimente simulate pentru fiecare metodă.

Compară rezultatele

Gata de explorare

Vezi simularea

Fiecare pătrățel este un test dintr-un experiment simulat. Culoarea arată adevărul; marcajul arată ce a decis metoda.

Rezultatele vor apărea aici după simulare.

Culoare = efect real:negativniciunulpozitiv
Luminozitate:cât de puternic a fost efectul în acest eșantion (|z|)
Ordinea pătrățelelor:

Același experiment, metodă cu metodă

Multe experimente dintr-o privire

Fiecare rând este un experiment întreg: efectele reale în stânga, zgomotul în dreapta. Pătrățelele luminoase din stânga sunt efecte găsite; cele galbene din dreapta sunt descoperiri false. Alege un rând pentru a-l examina mai sus.

Rata descoperirilor false (FDR)

Proporția medie a descoperirilor false dintre descoperiri. Experimentele fără descoperiri contribuie cu zero.

Putere statistică

Proporția efectelor reale detectate. O valoare mai mare înseamnă mai puține efecte ratate.

Rata erorii la nivelul familiei de teste (FWER)

Proporția experimentelor cu cel puțin o descoperire falsă.

Ținta se aplică FDR sau FWER, în funcție de metodă, nu puterii. Estimările din simulare fluctuează în jurul valorilor teoretice.

Rezultate exacte

Medii pentru experimentele încheiate. FP = descoperiri false; FN = efecte reale ratate.

Rezultate exacte
MetodăFDRPutereFWERMedia FPMedia FN
De unde provin valorile p

Valorile p pentru ipoteze nule sunt aproximativ uniforme. Efectele reale tind să producă valori apropiate de zero. Fiecare grup este normalizat separat; grupurile goale nu au bare.

Ipoteze nule (zgomot)Efecte reale

Presupozițiile acestei simulări

Fiecare experiment conține teste z independente, bilaterale, pentru un singur eșantion, cu varianță cunoscută. Testele nule folosesc Z ~ N(0, 1); efectele reale folosesc Z ~ N(d√n, 1). Numărul efectelor reale se rotunjește la un întreg. Modelul nu simulează teste corelate, teste t, oprirea opțională sau biasul de publicare.

Acestea sunt estimări Monte Carlo, nu garanții pentru un experiment individual. La 2.000 de repetări, o FWER estimată de 5% are o eroare standard de aproximativ 0,5 puncte procentuale. FDR este media proporțiilor descoperirilor false din fiecare experiment, nu raportul dintre numărul total agregat de descoperiri false și numărul total de descoperiri.

FDR / FWER

Comparații multiple: FDR și FWER

Testarea multor ipoteze creează mai multe ocazii pentru rezultate fals pozitive. Corecțiile schimbă pragul pentru a declara un rezultat semnificativ. Compară atât controlul erorii, cât și capacitatea de a detecta efecte reale.

De ce necesită corecție testările multiple

Cu 20 de ipoteze nule adevărate și independente și α = 0.05, probabilitatea a cel puțin unui rezultat fals pozitiv este 1 − (1 − 0.05)²⁰ ≈ 64%. Numărul așteptat de rezultate fals pozitive este 20 × 0.05 = 1. Sunt mărimi diferite: o probabilitate și un număr.

Ce este rata descoperirilor false?

FDR = E[V / max(R, 1)], unde V este numărul descoperirilor false, iar R este numărul total al descoperirilor. O țintă FDR de 5% controlează această proporție în medie de-a lungul experimentelor repetate, sub presupozițiile metodei. Nu înseamnă că fiecare rezultat semnificativ are o probabilitate de 5% să fie fals.

Cum diferă FWER?

FWER = P(V ≥ 1): probabilitatea de a face chiar și o singură descoperire falsă într-o familie de teste. Bonferroni și Holm vizează FWER; Benjamini–Hochberg vizează FDR. Controlul FWER limitează și FDR, dar deseori detectează mai puține efecte reale.

Exemplu rezolvat: Bonferroni vs. BH

Luăm cinci valori p ordonate: 0.001, 0.008, 0.039, 0.041, 0.300, cu α = q = 0.05. Bonferroni folosește 0.05 / 5 = 0.01 și respinge primele două ipoteze. BH compară rangurile cu 0.01, 0.02, 0.03, 0.04, 0.05. Cel mai mare rang care îndeplinește criteriul este 2, deci BH le respinge tot pe primele două. Dacă ultima valoare p ar fi 0.045, BH le-ar respinge pe toate cinci: folosește cel mai mare rang care îndeplinește criteriul, nu primul care eșuează.

Compară toate cele 11 metode de corecție

Fără corecție

Respinge fiecare ipoteză când p < α. Nu controlează eroarea la nivelul familiei. Este un reper util pentru a vedea cum se acumulează rezultatele fals pozitive.

Bonferroni

Bonferroni respinge când p < α/m. Controlează FWER pentru valori p valide sub orice structură de dependență, dar poate rata efecte reale atunci când sunt multe teste.

Holm

Ordonează valorile p crescător. Compară rangul r cu α/(m−r+1) și oprește-te la primul eșec. Holm controlează FWER sub dependență arbitrară și respinge cel puțin tot ce respinge Bonferroni.

Šidák

Folosește pragul unic 1−(1−α)^(1/m). Šidák controlează FWER pentru teste independente și este puțin mai puțin conservatoare decât Bonferroni.

Holm–Šidák

Aplică logica descendentă a lui Holm cu pragurile 1−(1−α)^(1/(m−r+1)). Această simulare folosește teste independente; nu presupune că metoda funcționează cu dependență arbitrară.

Hochberg

Găsește cel mai mare rang r pentru care p(r) ≤ α/(m−r+1) și respinge toate rangurile până la r. Hochberg controlează FWER sub independență sau condiții adecvate de dependență pozitivă.

Hommel

Hommel folosește o procedură de testare închisă bazată pe testele Simes. Controlează FWER sub independență sau condiții care susțin inegalitatea Simes și are cel puțin puterea metodei Hochberg. Costul de calcul este mai mare.

Benjamini–Hochberg

Găsește cel mai mare rang r pentru care p(r) ≤ (r/m)q și respinge toate rangurile până la r. Benjamini–Hochberg controlează FDR pentru teste independente și în anumite condiții de dependență pozitivă (PRDS).

Benjamini–Yekutieli

Folosește BH cu q împărțit la Hm = Σ(1/k), k = 1…m. Benjamini–Yekutieli controlează FDR sub dependență arbitrară, de obicei cu prețul unei puteri mai mici.

Tip Storey (exploratorie)

Această variantă exploratorie simplificată estimează π₀ din proporția valorilor p peste 0.5, apoi aplică BH la q/π̂₀. Nu este o implementare completă a valorilor q și nu oferă o garanție universală FDR pentru eșantioane finite.

BH adaptivă (exploratorie)

Această variantă exploratorie în două treceri aplică întâi BH la q, estimează m₀ ca max(1, m−R₁), apoi aplică BH la q·m/m̂₀. Nu este procedura BKY și nu pretinde garanția ei pentru eșantioane finite.

Întrebări frecvente

Este un calculator FDR pentru propriile mele valori p?

Este un simulator educațional, nu un calculator în care încarci valori p. Generează experimente cu adevărul cunoscut, astfel încât să observi descoperirile false și efectele ratate, care de regulă nu pot fi cunoscute doar din date reale.

Garantează q = 0.05 doar 5% rezultate fals pozitive?

Nu. O țintă q = 0.05 privește proporția așteptată dintre descoperiri sub presupozițiile procedurii. Un experiment poate avea o proporție mai mare sau mai mică de descoperiri false.

Ce corecție ar trebui să aleg?

Stabilește ce erori trebuie să controleze designul cercetării. Metodele FWER limitează riscul oricărei descoperiri false în familia de teste. Metodele FDR controlează proporția medie de descoperiri false dintre descoperiri. Verifică presupozițiile privind dependența și definește familia de ipoteze înainte de a analiza rezultatele.

Surse și lecturi suplimentare