FDR / FWER
مقایسه‌های متعدد: FDR در برابر FWER
آزمودن فرضیه‌های زیاد فرصت بیشتری برای نتایج مثبت کاذب ایجاد می‌کند. روش‌های اصلاح، آستانهٔ معنادار دانستن نتیجه را تغییر می‌دهند. باید هم کنترل خطا و هم توانایی شناسایی اثرهای واقعی را مقایسه کرد.
چرا آزمون‌های متعدد به اصلاح نیاز دارند؟
با ۲۰ فرضیهٔ صفر درست و مستقل و α = 0.05، احتمال دست‌کم یک مثبت کاذب برابر 1 − (1 − 0.05)²⁰ ≈ 64% است. شمار موردانتظار مثبت‌های کاذب 20 × 0.05 = 1 است. این‌ها دو کمیت متفاوت‌اند: احتمال و تعداد.
نرخ کشف کاذب چیست؟
FDR = E[V / max(R, 1)]؛ در اینجا V تعداد کشف‌های کاذب و R کل تعداد کشف‌هاست. هدف FDR برابر ۵٪ این نسبت را به‌طور میانگین در آزمایش‌های تکراری و تحت فرض‌های روش کنترل می‌کند. این به معنی احتمال ۵٪ کاذب بودن هر نتیجهٔ معنادار نیست.
FWER چه تفاوتی دارد؟
FWER = P(V ≥ 1): احتمال حتی یک کشف کاذب در یک خانوادهٔ آزمون. بونفرونی و هولم FWER را هدف می‌گیرند؛ بنجامینی–هوچبرگ FDR را. کنترل FWER همچنین FDR را محدود می‌کند، اما اغلب اثرهای واقعی کمتری را شناسایی می‌کند.
مثال حل‌شده: بونفرونی در برابر BH
پنج مقدار p مرتب‌شده را در نظر بگیرید: 0.001، 0.008، 0.039، 0.041، 0.300، با α = q = 0.05. بونفرونی از 0.05 / 5 = 0.01 استفاده می‌کند و دو فرضیهٔ اول را رد می‌کند. BH رتبه‌ها را با 0.01، 0.02، 0.03، 0.04، 0.05 مقایسه می‌کند. بزرگ‌ترین رتبهٔ پذیرفته‌شده ۲ است؛ پس BH نیز دو فرضیهٔ اول را رد می‌کند. اگر آخرین مقدار p برابر 0.045 بود، BH هر پنج فرضیه را رد می‌کرد: بزرگ‌ترین رتبهٔ گذرنده را بگیرید، نه نخستین رتبهٔ ناموفق را.
مقایسهٔ هر ۱۱ روش اصلاح
بدون اصلاح
هر فرضیه را وقتی p < α است رد کنید. خطا در سطح خانوادهٔ آزمون کنترل نمی‌شود. این یک مبنای مفید برای دیدن انباشت مثبت‌های کاذب است.
Bonferroni
بونفرونی وقتی p < α/m است رد می‌کند. این روش برای مقادیر p معتبر، در هر ساختار وابستگی FWER را کنترل می‌کند، اما هنگام آزمون‌های فراوان ممکن است اثرهای واقعی را از دست بدهد.
Holm
مقادیر p را از کوچک به بزرگ مرتب کنید. رتبهٔ r را با α/(m−r+1) مقایسه کنید و در نخستین عدم‌قبول متوقف شوید. هولم تحت وابستگی دلخواه FWER را کنترل می‌کند و دست‌کم هرچه بونفرونی رد می‌کند را رد می‌کند.
Šidák
از آستانهٔ واحد 1−(1−α)^(1/m) استفاده کنید. شیداک برای آزمون‌های مستقل FWER را کنترل می‌کند و اندکی کمتر از بونفرونی محافظه‌کار است.
Holm–Šidák
منطق گام‌به‌گام نزولی هولم را با آستانه‌های 1−(1−α)^(1/(m−r+1)) به کار ببرید. این شبیه‌سازی از آزمون‌های مستقل استفاده می‌کند؛ فرض نکنید این روش با هر نوع وابستگی کار می‌کند.
Hochberg
بزرگ‌ترین رتبهٔ r را که p(r) ≤ α/(m−r+1) است بیابید و همهٔ رتبه‌ها تا r را رد کنید. هوچبرگ تحت استقلال یا شرایط مناسب وابستگی مثبت FWER را کنترل می‌کند.
Hommel
هومل از رویهٔ آزمون بسته مبتنی بر آزمون‌های سایمز استفاده می‌کند. این روش تحت استقلال یا شرایط برقرار بودن نامساوی سایمز FWER را کنترل می‌کند و توان آن دست‌کم به اندازهٔ هوچبرگ است. هزینهٔ محاسباتی آن بیشتر است.
Benjamini–Hochberg
بزرگ‌ترین رتبهٔ r را که p(r) ≤ (r/m)q است بیابید و سپس همهٔ رتبه‌ها تا r را رد کنید. بنجامینی–هوچبرگ FDR را برای آزمون‌های مستقل و برخی شرایط وابستگی مثبت (PRDS) کنترل می‌کند.
Benjamini–Yekutieli
از BH با q تقسیم‌شده بر Hm = Σ(1/k)، برای k = 1…m استفاده کنید. بنجامینی–یکوتیلی FDR را تحت وابستگی دلخواه کنترل می‌کند، معمولاً به قیمت کاهش توان.
به سبک استوری (اکتشافی)
این گونهٔ ساده‌شده و اکتشافی، π₀ را از سهم مقادیر p بزرگ‌تر از 0.5 برآورد می‌کند و سپس BH را با q/π̂₀ اجرا می‌کند. این اجرای کامل مقدار q نیست و تضمین عمومی FDR در نمونهٔ محدود ندارد.
BH تطبیقی (اکتشافی)
این گونهٔ اکتشافی دومرحله‌ای ابتدا BH را با q اجرا می‌کند، m₀ را برابر max(1, m−R₁) برآورد می‌کند و سپس BH را با q·m/m̂₀ اجرا می‌کند. این رویهٔ BKY نیست و تضمین نمونهٔ محدود آن برای این روش ادعا نمی‌شود.
پرسش‌های رایج
آیا این محاسبه‌گر FDR برای مقادیر p خودم است؟
این یک شبیه‌ساز آموزشی است، نه محاسبه‌گر بارگذاری مقادیر p. آزمایش‌هایی با حقیقت معلوم تولید می‌کند تا کشف‌های کاذب و اثرهای ازدست‌رفته را ببینید؛ این‌ها معمولاً از داده‌های واقعی به‌تنهایی معلوم نمی‌شوند.
آیا مقدار q برابر 0.05 تضمین می‌کند فقط ۵٪ مثبت کاذب وجود داشته باشد؟
خیر. هدف q = 0.05 به نسبت موردانتظار در میان کشف‌ها تحت فرض‌های روش مربوط است. یک آزمایش منفرد می‌تواند نسبت کشف کاذب بیشتر یا کمتری داشته باشد.
کدام روش اصلاح را انتخاب کنم؟
تصمیم بگیرید طرح پژوهش شما باید کدام خطاها را کنترل کند. روش‌های FWER خطر هر کشف کاذب در خانوادهٔ آزمون را محدود می‌کنند. روش‌های FDR میانگین سهم کشف‌های کاذب در میان کشف‌ها را کنترل می‌کنند. پیش از بررسی نتایج، فرض‌های وابستگی را وارسی و خانوادهٔ فرضیه‌ها را تعریف کنید.