Finansta Çoklu Test ve Yanlış Keşif Oranı

m bağımsız gerçek sıfır hipotezinin her biri α düzeyinde test edilirse, en az bir yanlış reddetme olasılığı 1−(1−α)^m olur

α=0.05 ve m=20 için bu olasılık yaklaşık 64%'tür; her bir testin nominal yanlış reddetme oranı 5% olsa bile

Bağımlılık kesin hesabı değiştirir, ancak yalnızca raporlanan kazananın test edildiğini varsaymayı haklı çıkarmaz

Bir test ailesi, tek bir araştırma iddiası için ele alınan tüm faktörleri, dönüşümleri, evrenleri, gecikmeleri, ufukları, filtreleri, model seçimlerini ve yinelemeleri içerebilir

Aileyi sonuçları gördükten sonra tanımlamak çokluluğu olduğundan küçük gösterir ve araştırmacıların ilgili denemeleri düzeltme zararsız görünene kadar ayırmasına izin verir

Savunulabilir aile, bir makaleye veya panele giren satırları değil, karar sürecini ve seçim fırsatını izler

Aile bazlı hata oranı, aile içinde en az bir yanlış reddetme yapma olasılığıdır

Yanlış keşif oranı E[V/max(R,1)]'dir; burada V yanlış reddetmelerin, R ise toplam reddetmelerin sayısıdır

Her yanlış iddianın maliyetli olduğu durumda FWER daha katıdır; birçok adayın taranması kontrollü bir yanlış payını tolere edebiliyorsa FDR çoğu zaman daha güçlüdür

Bonferroni her hipotezi α/m düzeyinde test eder ve bağımsızlık gerektirmeden FWER'yi kontrol eder; ancak tutucu olabilir

Holm'un adım adım yöntemi de FWER'yi kontrol eder ve temel Bonferroni reddetme kuralından hiçbir zaman daha az güçlü değildir

Benjamini–Hochberg p-değerlerini sıralar ve bağımsızlık ile belirli pozitif bağımlılık altında FDR'yi kontrol eder; diğer bağımlılık yapıları gerekçeli yöntemler ister

Düzeltilmiş p-değeri, seçilen prosedür altında bir hipotezin reddedileceği en küçük aile hata düzeyidir

q-değeri, yönteme ve varsayımlara bağlı olarak bir sonucu keşif saymak için tahmin edilen asgari FDR eşiği şeklinde yorumlanır

Hiçbiri otomatik olarak seçilmiş bir stratejinin yanlış olma olasılığı değildir; bu, farklı bir model ve koşullandırma ifadesi gerektirir

Faktör taraması, teknik kurallar, opsiyon sinyalleri, alternatif veri, portföy kısıtları ve maliyet varsayımları binlerce korelasyonlu deneme yaratır

Yayımlanmış faktörler geçmiş aramalardan seçildiği için yeni bir faktörü iki civarındaki izole bir t-istatistiğiyle değerlendirmek birikmiş keşif baskısını yok sayar

Paylaşılan varlıklar ve dönemler testleri bağımlı kılar; rejim değişimi ise seçim düzeltmesinin gelecekteki ekonomik performansı garanti edemeyeceği anlamına gelir

Her hipotezi, kod sürümünü, evreni, sonucu, dönüşümü, gecikmeyi, maliyeti ve durdurma seçimini kararlı bir araştırma kimliğiyle kaydedin

Keşif, doğrulama ve canlı izlemeyi ayırın; doğrulama kurallarını dondurun ve gerçekten dokunulmamış veri ya da ileriye dönük değerlendirme kullanın

Ham ve düzeltilmiş kanıtı, aile tanımını, bağımlılık varsayımlarını, etki büyüklüklerini, maliyetleri, istikrarı, reddedilen fikirleri ve canlı bozulmayı raporlayın