PsyMeasureFDR

PsyMeasure · 통계 실험실

거짓 발견율(FDR) 시뮬레이터

무료 다중 검정 시뮬레이터에서 Bonferroni, Holm, Benjamini–Hochberg를 비교하세요. 11가지 방법의 거짓 발견율(FDR), FWER, 통계적 검정력을 살펴볼 수 있습니다.

유의한 결과 중 얼마나 많은 것이 단순한 잡음일까요? 모든 방법에 동일한 모의 실험을 적용해 거짓 발견과 실제 효과를 놓치는 것 사이의 균형을 살펴보세요.

결과 비교

시작할 준비가 되었습니다

시뮬레이션 살펴보기

각 타일은 모의 실험 속 검정 하나입니다. 색은 실제 참값을, 표시는 방법이 내린 판정을 나타냅니다.

실행 후 여기에 결과가 표시됩니다.

색 = 실제 효과:음의 효과없음양의 효과
밝기:이 표본에서 효과가 얼마나 강하게 나타났는지 (|z|)
타일 순서:

같은 실험, 방법별 비교

여러 실험을 한눈에

각 행은 실험 하나 전체입니다. 왼쪽은 실제 효과, 오른쪽은 잡음입니다. 왼쪽의 밝은 타일은 발견한 효과이고, 오른쪽의 노란 타일은 거짓 발견입니다. 행을 선택하면 위에서 자세히 볼 수 있습니다.

거짓 발견율 (FDR)

발견 중 거짓 발견의 비율을 평균한 값입니다. 발견이 없는 실험은 0으로 계산합니다.

통계적 검정력

발견한 실제 효과의 비율입니다. 높을수록 놓친 실제 효과가 적습니다.

가족별 오류율 (FWER)

거짓 발견이 하나 이상 있는 실험의 비율입니다.

목표는 방법에 따라 FDR 또는 FWER에 적용되며 검정력에는 적용되지 않습니다. 시뮬레이션 추정치는 이론값 주변에서 변동합니다.

상세 결과

완료된 실험의 평균입니다. FP = 거짓 발견, FN = 놓친 실제 효과.

상세 결과
방법FDR검정력FWER평균 FP평균 FN
p값은 어디서 나오나요?

귀무가설의 p값은 거의 균등하게 분포합니다. 실제 효과의 p값은 0에 가까운 경향이 있습니다. 각 집단은 따로 정규화하며 빈 집단에는 막대가 없습니다.

귀무가설(잡음)실제 효과

이 시뮬레이션의 가정

각 실험은 서로 독립적인 양측 단일 표본 z 검정으로 구성되며 분산은 알려져 있습니다. 귀무가설에는 Z ~ N(0, 1), 실제 효과에는 Z ~ N(d√n, 1)을 사용합니다. 실제 효과의 수는 정수로 반올림합니다. 이 모형은 상관된 검정, t 검정, 선택적 중단 또는 출판 편향을 모의하지 않습니다.

이 값들은 몬테카를로 추정치이며 한 번의 실험에 대한 보장이 아닙니다. 2,000회 반복에서 FWER 추정치가 5%라면 표준오차는 약 0.5%포인트입니다. FDR은 실험별 거짓 발견 비율의 평균이며 모든 실험의 거짓 발견 수를 전체 발견 수로 나눈 값이 아닙니다.

FDR / FWER

다중 비교: FDR과 FWER

많은 가설을 검정하면 거짓 양성이 나올 기회가 늘어납니다. 보정법은 유의하다고 판단하는 임계값을 바꿉니다. 오류 통제와 실제 효과를 발견하는 능력을 모두 비교해야 합니다.

다중 검정에 보정이 필요한 이유

참인 귀무가설 20개가 서로 독립이고 α = 0.05라면, 거짓 양성이 하나 이상 나올 확률은 1 − (1 − 0.05)²⁰ ≈ 64%입니다. 거짓 양성의 기대 개수는 20 × 0.05 = 1입니다. 앞의 값은 확률이고 뒤의 값은 개수로, 서로 다른 양입니다.

거짓 발견율이란?

FDR = E[V / max(R, 1)]이며 V는 거짓 발견의 수, R은 전체 발견의 수입니다. 방법의 가정이 성립할 때 5% FDR 목표는 반복 실험에서 이 비율의 평균을 통제합니다. 유의한 결과 하나하나가 거짓일 확률이 5%라는 뜻은 아닙니다.

FWER는 어떻게 다른가요?

FWER = P(V ≥ 1): 한 검정군에서 거짓 발견이 하나라도 발생할 확률입니다. Bonferroni와 Holm은 FWER를, Benjamini–Hochberg는 FDR을 목표로 합니다. FWER를 통제하면 FDR에도 상한이 생기지만 실제 효과를 더 적게 발견하는 경우가 많습니다.

계산 예: Bonferroni와 BH

정렬된 p값 다섯 개 0.001, 0.008, 0.039, 0.041, 0.300을 α = q = 0.05에서 살펴봅니다. Bonferroni는 0.05 / 5 = 0.01을 써서 처음 두 귀무가설을 기각합니다. BH는 순위별로 0.01, 0.02, 0.03, 0.04, 0.05와 비교합니다. 통과하는 최대 순위가 2이므로 BH도 처음 두 개를 기각합니다. 마지막 p값이 0.045라면 BH는 다섯 개를 모두 기각합니다. 처음 실패한 순위가 아니라 통과한 최대 순위를 사용합니다.

11가지 보정 방법 비교

보정 없음

p < α이면 각 귀무가설을 기각합니다. 검정군 수준의 오류율은 통제하지 않습니다. 거짓 양성이 어떻게 누적되는지 보는 기준선으로 유용합니다.

Bonferroni

Bonferroni는 p < α/m이면 기각합니다. 유효한 p값에 대해 의존 구조와 관계없이 FWER를 통제하지만 검정이 많으면 실제 효과를 놓칠 수 있습니다.

Holm

p값을 작은 순서로 정렬합니다. 순위 r을 α/(m−r+1)과 비교하고 처음 실패하면 멈춥니다. Holm은 임의의 의존 구조에서 FWER를 통제하며 Bonferroni가 기각한 것은 모두 기각합니다.

Šidák

단일 임계값 1−(1−α)^(1/m)을 사용합니다. Šidák은 독립적인 검정에서 FWER를 통제하며 Bonferroni보다 조금 덜 보수적입니다.

Holm–Šidák

Holm의 순차 하향 논리에 임계값 1−(1−α)^(1/(m−r+1))을 적용합니다. 이 시뮬레이션의 검정은 독립적입니다. 이 방법이 임의의 의존 구조에도 적용된다고 가정하지 마세요.

Hochberg

p(r) ≤ α/(m−r+1)을 만족하는 최대 순위 r을 찾아 r까지 모두 기각합니다. Hochberg는 독립성 또는 적절한 양의 의존 조건에서 FWER를 통제합니다.

Hommel

Hommel은 Simes 검정에 기초한 폐쇄 검정 절차를 사용합니다. 독립성 또는 Simes 부등식을 뒷받침하는 조건에서 FWER를 통제하며 검정력은 Hochberg 이상이지만 계산 비용이 더 큽니다.

Benjamini–Hochberg

p(r) ≤ (r/m)q를 만족하는 최대 순위 r을 찾은 뒤 r까지 모두 기각합니다. Benjamini–Hochberg는 독립적인 검정과 일부 양의 의존 조건(PRDS)에서 FDR을 통제합니다.

Benjamini–Yekutieli

q를 Hm = Σ(1/k), k = 1…m으로 나눈 값으로 BH를 실행합니다. Benjamini–Yekutieli는 임의의 의존 구조에서 FDR을 통제하지만 대개 검정력이 낮아집니다.

Storey 방식(탐색적)

이 단순화한 탐색적 변형은 0.5보다 큰 p값의 비율로 π₀을 추정하고 q/π̂₀에서 BH를 실행합니다. 완전한 q값 구현이 아니며 유한 표본에서 보편적인 FDR 보장을 제공하지 않습니다.

적응형 BH(탐색적)

이 탐색적 2회 실행 변형은 먼저 q에서 BH를 실행하고 m₀을 max(1, m−R₁)로 추정한 다음 q·m/m̂₀에서 BH를 실행합니다. BKY 절차가 아니며 그 절차의 유한 표본 보장을 갖는다고 제시하지 않습니다.

자주 묻는 질문

내 p값을 입력하는 FDR 계산기인가요?

이것은 교육용 시뮬레이터이며 p값 업로드 계산기가 아닙니다. 참값을 아는 실험을 생성하므로 거짓 발견과 놓친 효과를 관찰할 수 있습니다. 실제 데이터만으로는 대개 이를 알 수 없습니다.

q값이 0.05이면 거짓 양성이 5% 이하로 보장되나요?

아니요. 목표 q = 0.05는 절차의 가정 아래 발견 중 거짓 발견 비율의 기댓값에 관한 것입니다. 한 실험에서는 그 비율이 더 크거나 작을 수 있습니다.

어떤 보정 방법을 선택해야 하나요?

연구 설계에서 어떤 오류를 통제해야 하는지 결정하세요. FWER 방법은 검정군에서 거짓 발견이 하나라도 생길 위험을 제한합니다. FDR 방법은 발견 중 거짓 발견의 평균 비율을 통제합니다. 결과를 보기 전에 의존성 가정을 확인하고 가설군을 정의하세요.

출처와 더 읽을거리