Multiple Testwg i Flse Djestcovery Rte w Fwnce

Jeśli m niezależnych prawdziwych hipotez zerowych testuje się na poziomie α, prawdopodobieństwo co najmniej jednego fałszywego odrzucenia wynosi 1−(1−α)^m

Przy α=0,05 i m=20 prawdopodobieństwo to wynosi około 64%, mimo że każdy pojedynczy test ma nominalny poziom fałszywego odrzucenia 5%

Zależność zmienia dokładne obliczenie, ale nie uzasadnia udawania, że testowany był tylko zgłoszony zwycięzca

Rodzina testów może obejmować wszystkie czynniki, transformacje, uniwersa, opóźnienia, horyzonty, filtry, wybory modelu i ponowne uruchomienia rozważane dla jednego twierdzenia badawczego

Definiowanie rodziny dopiero po zobaczeniu wyników zaniża wielokrotność i pozwala badaczom rozdzielać powiązane próby, aż korekta stanie się nieszkodliwa

Możliwa do obrony rodzina podąża za procesem decyzyjnym i możliwością selekcji, a nie tylko za wierszami, które przetrwały do publikacji albo dashboardu

Family-wise error rate to prawdopodobieństwo dokonania co najmniej jednego fałszywego odrzucenia w obrębie rodziny

False discovery rate to E[V/max(R,1)], gdzie V oznacza liczbę fałszywych odrzuceń, a R łączną liczbę odrzuceń

FWER jest bardziej rygorystyczny, gdy każde fałszywe twierdzenie jest kosztowne; FDR jest często silniejszy, gdy przegląd wielu kandydatów może tolerować kontrolowany udział fałszu

Bonferroni testuje każdą hipotezę na poziomie α/m i kontroluje FWER bez wymogu niezależności, choć może być konserwatywny

Metoda step-down Holma również kontroluje FWER i nigdy nie jest mniej silna niż podstawowa reguła odrzucania Bonferroniego

Benjamini–Hochberg porządkuje wartości p i kontroluje FDR przy niezależności oraz określonych zależnościach dodatnich; inne struktury zależności wymagają uzasadnionych metod

Skorygowana wartość p jest najmniejszym rodzinnym poziomem błędu, przy którym hipoteza zostałaby odrzucona w ramach wybranej procedury

Wartość q jest często interpretowana jako oszacowany minimalny próg FDR dla uznania wyniku za odkrycie, zależnie od metody i założeń

Żadna z tych wartości nie jest automatycznie prawdopodobieństwem, że jedna wybrana strategia jest fałszywa; wymaga to innego modelu i stwierdzenia warunkującego

Mining czynników, reguły techniczne, sygnały opcyjne, dane alternatywne, ograniczenia portfela i założenia dotyczące kosztów tworzą tysiące skorelowanych prób

Opublikowane czynniki są wybierane z wcześniejszych poszukiwań, więc ocenianie nowego czynnika izolowanym statystycznym t bliskim dwóm ignoruje skumulowaną presję odkrywania

Wspólne aktywa i okresy sprawiają, że testy są zależne, a zmiana reżimu oznacza, że korekta za selekcję nie może zagwarantować przyszłych wyników ekonomicznych

Zapisuj każdą hipotezę, wersję kodu, uniwersum, wynik, transformację, opóźnienie, koszt i decyzję o zatrzymaniu wraz ze stabilnym identyfikatorem badania

Oddziel odkrywanie, potwierdzanie i monitorowanie na żywo; zamroź reguły potwierdzające i użyj rzeczywiście nietkniętych danych albo oceny prospektywnej

Raportuj dowody surowe i skorygowane, definicję rodziny, założenia dotyczące zależności, wielkości efektów, koszty, stabilność, odrzucone idee i pogorszenie wyników na żywo