FDR / FWER
Comparações múltiplas: FDR vs. FWER
Testar muitas hipóteses cria mais oportunidades de falsos positivos. As correções alteram o limiar para considerar um resultado significativo. A comparação deve abranger tanto o controlo do erro como a capacidade de detetar efeitos reais.
Porquê corrigir os testes múltiplos?
Com 20 hipóteses nulas verdadeiras e independentes e α = 0.05, a probabilidade de pelo menos um falso positivo é 1 − (1 − 0.05)²⁰ ≈ 64%. O número esperado de falsos positivos é 20 × 0.05 = 1. São grandezas diferentes: uma probabilidade e uma contagem.
O que é a taxa de falsas descobertas?
FDR = E[V / max(R, 1)], em que V é o número de falsas descobertas e R é o número total de descobertas. Um objetivo de FDR de 5% controla esta proporção em média ao longo de experiências repetidas, sob os pressupostos do método. Não significa que cada resultado significativo tenha 5% de probabilidade de ser falso.
Em que difere a FWER?
FWER = P(V ≥ 1): a probabilidade de fazer sequer uma falsa descoberta numa família de testes. Bonferroni e Holm visam a FWER; Benjamini–Hochberg visa a FDR. Controlar a FWER também limita a FDR, mas muitas vezes deteta menos efeitos reais.
Exemplo resolvido: Bonferroni vs. BH
Considere cinco valores p ordenados: 0.001, 0.008, 0.039, 0.041, 0.300, com α = q = 0.05. Bonferroni usa 0.05 / 5 = 0.01 e rejeita as duas primeiras hipóteses. BH compara os postos com 0.01, 0.02, 0.03, 0.04, 0.05. O maior posto que satisfaz o critério é 2, pelo que BH também rejeita as duas primeiras. Se o último valor p fosse 0.045, BH rejeitaria as cinco: use o maior posto que satisfaz o critério, não o primeiro que falha.
Compare os 11 métodos de correção
Sem correção
Rejeite cada hipótese quando p < α. Não há controlo do erro ao nível da família. É uma referência útil para observar a acumulação de falsos positivos.
Bonferroni
Bonferroni rejeita quando p < α/m. Controla a FWER para valores p válidos sob qualquer estrutura de dependência, mas pode não detetar efeitos reais quando se fazem muitos testes.
Holm
Ordene os valores p do menor para o maior. Compare o posto r com α/(m−r+1), parando na primeira falha. Holm controla a FWER sob dependência arbitrária e rejeita pelo menos tudo o que Bonferroni rejeita.
Šidák
Use o limiar único 1−(1−α)^(1/m). Šidák controla a FWER para testes independentes e é ligeiramente menos conservador do que Bonferroni.
Holm–Šidák
Aplique a lógica descendente de Holm com limiares 1−(1−α)^(1/(m−r+1)). Esta simulação usa testes independentes; não presuma que o método admite dependência arbitrária.
Hochberg
Encontre o maior posto r que satisfaça p(r) ≤ α/(m−r+1) e rejeite todos os postos até r. Hochberg controla a FWER sob independência ou condições adequadas de dependência positiva.
Hommel
Hommel usa um procedimento de testes fechados baseado nos testes de Simes. Controla a FWER sob independência ou condições que sustentem a desigualdade de Simes e tem pelo menos tanto poder como Hochberg. Exige mais computação.
Benjamini–Hochberg
Encontre o maior posto r que satisfaça p(r) ≤ (r/m)q e rejeite todos os postos até r. Benjamini–Hochberg controla a FDR para testes independentes e sob certas condições de dependência positiva (PRDS).
Benjamini–Yekutieli
Use BH com q dividido por Hm = Σ(1/k), k = 1…m. Benjamini–Yekutieli controla a FDR sob dependência arbitrária, geralmente com perda de poder.
Estilo Storey (exploratório)
Esta variante exploratória simplificada estima π₀ pela proporção de valores p acima de 0.5 e depois aplica BH com q/π̂₀. Não é uma implementação completa de valores q e não oferece garantia universal de FDR em amostras finitas.
BH adaptativo (exploratório)
Esta variante exploratória em duas passagens aplica primeiro BH com q, estima m₀ como max(1, m−R₁) e depois aplica BH com q·m/m̂₀. Não é o procedimento BKY nem é apresentada como tendo a sua garantia para amostras finitas.
Perguntas frequentes
Isto é uma calculadora de FDR para os meus valores p?
Este é um simulador educativo, não uma calculadora para carregar valores p. Gera experiências com verdade conhecida para observar falsas descobertas e efeitos não detetados, que normalmente não podem ser identificados apenas com dados reais.
Um valor q = 0.05 garante apenas 5% de falsos positivos?
Não. O objetivo q = 0.05 refere-se à proporção esperada entre as descobertas, sob os pressupostos do procedimento. Uma experiência individual pode ter uma proporção maior ou menor de falsas descobertas.
Que correção devo escolher?
Decida que erros o seu desenho de investigação deve controlar. Os métodos FWER limitam o risco de qualquer falsa descoberta na família de testes. Os métodos FDR controlam a proporção média de falsas descobertas entre as descobertas. Verifique os pressupostos de dependência e defina a família de hipóteses antes de examinar os resultados.