الاختبارات المتعددة ومعدل الاكتشاف الكاذب في التمويل

إذا اختُبرت m من فرضيات العدم الحقيقية المستقلة عند المستوى α، فإن احتمال رفض واحد كاذب على الأقل هو 1−(1−α)^m

عند α=0.05 وm=20، يكون ذلك الاحتمال نحو 64%، رغم أن لكل اختبار فردي معدل رفض كاذب اسمي قدره 5%

يغير الاعتماد الحساب الدقيق، لكنه لا يبرر التظاهر بأن الفائز المبلغ عنه وحده هو الذي اختُبر

قد تشمل عائلة الاختبار كل العوامل والتحويلات والمجتمعات والتأخيرات والآفاق والمرشحات واختيارات النموذج وإعادات التشغيل التي نُظر فيها لادعاء بحثي واحد

يقلل تعريف العائلة بعد رؤية النتائج من حجم التعدد، ويسمح بفصل التجارب المرتبطة حتى يصبح التصحيح غير مؤذ

تتبع العائلة القابلة للدفاع عملية القرار وفرصة الاختيار، لا الصفوف التي نجت إلى ورقة أو لوحة معلومات فحسب

معدل خطأ العائلة هو احتمال إجراء رفض كاذب واحد على الأقل داخل العائلة

معدل الاكتشاف الكاذب هو E[V/max(R,1)]، حيث V عدد الرفضات الكاذبة وR إجمالي عدد الرفضات

يكون FWER أشد عندما يكون أي ادعاء كاذب مكلفا؛ وغالبا ما يكون FDR أقوى عند فرز مرشحين كثيرين مع قبول حصة كاذبة مضبوطة

يختبر بونفيروني كل فرضية عند α/m ويضبط FWER من دون اشتراط الاستقلال، لكنه قد يكون محافظا

يضبط إجراء هولم التنازلي FWER أيضا، ولا يكون أقل قوة من قاعدة رفض بونفيروني الأساسية

يرتب بنياميني–هوخبرغ القيم الاحتمالية ويضبط FDR تحت الاستقلال وبعض الاعتماد الموجب؛ أما البنى الأخرى فتحتاج إلى طرق مبررة

القيمة الاحتمالية المعدلة هي أصغر مستوى خطأ عائلي يمكن عنده رفض فرضية في ظل الإجراء المختار

تُفسر قيمة q عادة على أنها حد أدنى مقدر لـ FDR للدعوة إلى اعتبار النتيجة اكتشافا، مع خضوع ذلك للطريقة والافتراضات

لا تمثل أي من الكميتين تلقائيا احتمال أن تكون استراتيجية مختارة واحدة كاذبة؛ فهذا يتطلب نموذجا وعبارة تكييف مختلفين

ينشئ تنقيب العوامل والقواعد الفنية وإشارات الخيارات والبيانات البديلة وقيود المحفظة وافتراضات التكاليف آلاف التجارب المترابطة

تُختار العوامل المنشورة من عمليات بحث ماضية، لذلك يتجاهل تقييم عامل جديد بإحصاء t منفرد قريب من اثنين ضغط الاكتشاف المتراكم

يجعل اشتراك الأصول والفترات الاختبارات معتمدة، بينما يعني تغير النظام أن تصحيح الاختيار لا يضمن الأداء الاقتصادي المستقبلي

سجل كل فرضية ونسخة كود ومجتمع ونتيجة وتحويل وتأخير وتكلفة واختيار إيقاف بمعرف بحث ثابت

افصل بين الاكتشاف والتأكيد والمراقبة الحية؛ وجمّد قواعد التأكيد واستخدم بيانات لم تُمس فعلا أو تقييما مستقبليا

أبلغ عن الدليل الخام والمعدل وتعريف العائلة وافتراضات الاعتماد وحجوم الأثر والتكاليف والاستقرار والأفكار المرفوضة والتدهور الحي