PsyMeasureFDR

PsyMeasure · सांख्यिकी प्रयोगशाला

मिथ्या खोज दर (FDR) सिम्युलेटर

मुफ़्त बहु-परीक्षण सिम्युलेटर में Bonferroni, Holm और Benjamini–Hochberg की तुलना करें। 11 विधियों से मिथ्या खोज दर (FDR), FWER और सांख्यिकीय शक्ति समझें।

कितने सार्थक परिणाम केवल शोर हैं? सभी विधियों के लिए एक ही सिमुलेट किए गए प्रयोगों से मिथ्या खोजों और छूटे हुए वास्तविक प्रभावों के बीच संतुलन देखें।

परिणामों की तुलना करें

शुरू करने के लिए तैयार

सिमुलेशन को देखें

हर टाइल सिमुलेट किए गए प्रयोग का एक परीक्षण है। रंग वास्तविक स्थिति दिखाता है; निशान दिखाता है कि विधि ने क्या तय किया।

सिमुलेशन के बाद परिणाम यहाँ दिखेंगे।

रंग = सच्चा प्रभाव:ऋणात्मककोई नहींधनात्मक
चमक:इस नमूने में प्रभाव कितना प्रबल रहा (|z|)
टाइलों का क्रम:

वही प्रयोग, एक-एक विधि से

कई प्रयोग एक नज़र में

हर पंक्ति एक पूरा प्रयोग है: बाईं ओर वास्तविक प्रभाव, दाईं ओर शोर। बाईं ओर की चमकीली टाइलें पहचाने गए प्रभाव हैं; दाईं ओर की पीली टाइलें मिथ्या खोजें हैं। ऊपर ध्यान से देखने के लिए कोई पंक्ति चुनें।

मिथ्या खोज दर (FDR)

खोजों में मिथ्या खोजों के अनुपात का औसत। बिना किसी खोज वाले प्रयोग का योगदान शून्य है।

सांख्यिकीय शक्ति

पहचाने गए वास्तविक प्रभावों का अनुपात। अधिक मान का अर्थ है कम वास्तविक प्रभाव छूटे।

परिवारवार त्रुटि दर (FWER)

कम-से-कम एक मिथ्या खोज वाले प्रयोगों का अनुपात।

विधि के अनुसार लक्ष्य FDR या FWER पर लागू होता है, शक्ति पर नहीं। सिमुलेशन के अनुमान सैद्धांतिक मानों के आसपास बदलते रहते हैं।

विस्तृत परिणाम

पूरे हुए प्रयोगों का औसत। FP = मिथ्या खोजें; FN = छूटे हुए वास्तविक प्रभाव।

विस्तृत परिणाम
विधिFDRशक्तिFWERऔसत FPऔसत FN
p-मान कहाँ से आते हैं

शून्य परिकल्पनाओं के p-मान लगभग समान रूप से वितरित होते हैं। वास्तविक प्रभावों के p-मान शून्य की ओर झुकते हैं। हर समूह को अलग से सामान्यीकृत किया जाता है; खाली समूहों में पट्टियाँ नहीं होतीं।

शून्य परिकल्पनाएँ (शोर)वास्तविक प्रभाव

इस सिमुलेशन की मान्यताएँ

हर प्रयोग में ज्ञात प्रसरण वाले, स्वतंत्र, दो-पक्षीय, एक-नमूना z-परीक्षण होते हैं। शून्य परिकल्पना के लिए Z ~ N(0, 1) और वास्तविक प्रभावों के लिए Z ~ N(d√n, 1) लिया जाता है। वास्तविक प्रभावों की संख्या को पूर्णांक तक गोल किया जाता है। यह मॉडल सहसंबद्ध परीक्षण, t-परीक्षण, इच्छानुसार रोकने या प्रकाशन पूर्वाग्रह का अनुकरण नहीं करता।

ये मॉन्टे कार्लो अनुमान हैं, किसी एक प्रयोग की गारंटी नहीं। 2,000 दोहराव में 5% के अनुमानित FWER की मानक त्रुटि लगभग 0.5 प्रतिशत अंक होती है। FDR हर प्रयोग के मिथ्या खोज अनुपातों का औसत है, सभी प्रयोगों की मिथ्या और कुल खोजों की समेकित संख्या का अनुपात नहीं।

FDR / FWER

बहु-तुलना: FDR बनाम FWER

कई परिकल्पनाओं को जाँचने से मिथ्या धनात्मक परिणामों के अवसर बढ़ते हैं। सुधार किसी परिणाम को सार्थक मानने की सीमा बदलते हैं। सही तुलना में त्रुटि नियंत्रण और वास्तविक प्रभाव पहचानने की क्षमता, दोनों शामिल हैं।

बहु-परीक्षण में सुधार क्यों ज़रूरी है

यदि 20 स्वतंत्र शून्य परिकल्पनाएँ वास्तव में सत्य हों और α = 0.05 हो, तो कम-से-कम एक मिथ्या धनात्मक परिणाम की संभावना 1 − (1 − 0.05)²⁰ ≈ 64% है। मिथ्या धनात्मक परिणामों की अपेक्षित संख्या 20 × 0.05 = 1 है। ये अलग राशियाँ हैं: एक संभावना और एक संख्या।

मिथ्या खोज दर क्या है?

FDR = E[V / max(R, 1)], जहाँ V मिथ्या खोजों की संख्या और R कुल खोजों की संख्या है। विधि की मान्यताओं के अंतर्गत 5% का FDR लक्ष्य बार-बार किए गए प्रयोगों में इस अनुपात का औसत नियंत्रित करता है। इसका मतलब यह नहीं है कि हर सार्थक परिणाम के गलत होने की संभावना 5% है।

FWER कैसे अलग है?

FWER = P(V ≥ 1): परीक्षणों के एक परिवार में एक भी मिथ्या खोज होने की संभावना। Bonferroni और Holm का लक्ष्य FWER है; Benjamini–Hochberg का लक्ष्य FDR है। FWER नियंत्रण FDR की ऊपरी सीमा भी तय करता है, लेकिन अक्सर कम वास्तविक प्रभाव पकड़ता है।

हल किया हुआ उदाहरण: Bonferroni बनाम BH

क्रम में लगे पाँच p-मान लें: 0.001, 0.008, 0.039, 0.041, 0.300, जहाँ α = q = 0.05 है। Bonferroni 0.05 / 5 = 0.01 लेता है और पहली दो परिकल्पनाएँ अस्वीकार करता है। BH क्रमों की तुलना 0.01, 0.02, 0.03, 0.04, 0.05 से करता है। शर्त पूरी करने वाला सबसे बड़ा क्रम 2 है, इसलिए BH भी पहली दो परिकल्पनाएँ अस्वीकार करता है। यदि अंतिम p-मान 0.045 हो, तो BH सभी पाँच को अस्वीकार करेगा: शर्त पूरी करने वाला सबसे बड़ा क्रम लें, पहली असफलता वाला क्रम नहीं।

सभी 11 सुधार विधियों की तुलना करें

बिना सुधार

p < α होने पर हर शून्य परिकल्पना अस्वीकार करें। परीक्षण परिवार के स्तर पर त्रुटि नियंत्रण नहीं है। इससे मिथ्या धनात्मक परिणाम कैसे बढ़ते हैं, इसका आधार मिलता है।

Bonferroni

Bonferroni p < α/m पर अस्वीकार करता है। वैध p-मानों के लिए यह किसी भी निर्भरता संरचना में FWER नियंत्रित करता है, लेकिन बहुत से परीक्षण होने पर वास्तविक प्रभाव छूट सकते हैं।

Holm

p-मान छोटे से बड़े क्रम में रखें। क्रम r की तुलना α/(m−r+1) से करें और पहली असफलता पर रुकें। Holm मनमानी निर्भरता में FWER नियंत्रित करता है और Bonferroni द्वारा अस्वीकार किए गए कम-से-कम सभी परिणाम अस्वीकार करता है।

Šidák

एक सीमा 1−(1−α)^(1/m) इस्तेमाल करें। Šidák स्वतंत्र परीक्षणों के लिए FWER नियंत्रित करता है और Bonferroni से थोड़ा कम सतर्क है।

Holm–Šidák

Holm की क्रमिक घटती प्रक्रिया में सीमाएँ 1−(1−α)^(1/(m−r+1)) लगाएँ। इस सिमुलेशन में परीक्षण स्वतंत्र हैं; यह न मानें कि विधि हर तरह की निर्भरता सँभालती है।

Hochberg

p(r) ≤ α/(m−r+1) पूरा करने वाला सबसे बड़ा क्रम r खोजें और r तक सभी को अस्वीकार करें। Hochberg स्वतंत्रता या उपयुक्त धनात्मक निर्भरता की स्थितियों में FWER नियंत्रित करता है।

Hommel

Hommel, Simes परीक्षणों पर आधारित बंद परीक्षण प्रक्रिया अपनाता है। यह स्वतंत्रता या Simes असमता समर्थित होने की स्थितियों में FWER नियंत्रित करता है और इसकी शक्ति Hochberg से कम नहीं होती। इसकी गणना में अधिक लागत आती है।

Benjamini–Hochberg

p(r) ≤ (r/m)q पूरा करने वाला सबसे बड़ा क्रम r खोजें, फिर r तक सभी को अस्वीकार करें। Benjamini–Hochberg स्वतंत्र परीक्षणों और कुछ धनात्मक निर्भरता स्थितियों (PRDS) में FDR नियंत्रित करता है।

Benjamini–Yekutieli

BH को q को Hm = Σ(1/k), k = 1…m से भाग देकर चलाएँ। Benjamini–Yekutieli मनमानी निर्भरता में FDR नियंत्रित करता है, सामान्यतः शक्ति घटने की कीमत पर।

Storey-शैली (अन्वेषणात्मक)

यह सरल अन्वेषणात्मक रूप 0.5 से बड़े p-मानों के अनुपात से π₀ का अनुमान लगाता है, फिर q/π̂₀ पर BH चलाता है। यह पूर्ण q-मान कार्यान्वयन नहीं है और सीमित नमूने में सार्वभौमिक FDR गारंटी नहीं देता।

अनुकूली BH (अन्वेषणात्मक)

यह अन्वेषणात्मक दो-चरणीय रूप पहले q पर BH चलाता है, m₀ को max(1, m−R₁) मानता है, फिर q·m/m̂₀ पर BH चलाता है। यह BKY प्रक्रिया नहीं है और इसे उसकी सीमित-नमूना गारंटी वाला नहीं बताया जाता।

आम सवाल

क्या यह मेरे p-मानों के लिए FDR कैलकुलेटर है?

यह शैक्षिक सिम्युलेटर है, p-मान अपलोड करके गणना करने का साधन नहीं। यह ज्ञात वास्तविक स्थिति वाले प्रयोग बनाता है, ताकि आप मिथ्या खोजें और छूटे प्रभाव देख सकें, जिन्हें केवल वास्तविक डेटा से आम तौर पर नहीं जाना जा सकता।

क्या q = 0.05 केवल 5% मिथ्या धनात्मक परिणामों की गारंटी देता है?

नहीं। q = 0.05 का लक्ष्य प्रक्रिया की मान्यताओं के तहत खोजों में मिथ्या खोजों के अपेक्षित अनुपात से जुड़ा है। किसी एक प्रयोग में यह अनुपात अधिक या कम हो सकता है।

मुझे कौन-सा सुधार चुनना चाहिए?

तय करें कि आपके शोध डिज़ाइन को किन त्रुटियों को नियंत्रित करना है। FWER विधियाँ परीक्षण परिवार में किसी भी मिथ्या खोज का जोखिम सीमित करती हैं। FDR विधियाँ खोजों में मिथ्या हिस्से का औसत नियंत्रित करती हैं। परिणाम देखने से पहले निर्भरता संबंधी मान्यताएँ जाँचें और परिकल्पनाओं के परिवार को परिभाषित करें।

स्रोत और आगे पढ़ें