Mehrfachtests und False Discovery Rate im Finanzwesen
Verstehen Sie multiple Vergleiche, familienweite Fehlerrate, False Discovery Rate, Bonferroni, Holm, Benjamini–Hochberg, Abhängigkeit, q-Werte, Faktormining, Backtest-Auswahl und Forschungs-Governance
Kurzantwort
Mehrfachtests entstehen, wenn viele Hypothesen, Strategien, Faktoren, Assets, Zeithorizonte oder Spezifikationen gemeinsam durchsucht werden. Selbst gültige p-Werte einzelner Tests erzeugen dann Zufallstreffer. Die familienweite Fehlerrate kontrolliert die Wahrscheinlichkeit mindestens einer falschen Zurückweisung, während die False Discovery Rate unter den angegebenen Annahmen den erwarteten falschen Anteil unter den Zurückweisungen kontrolliert. Die Forschungsfamilie und nicht nur die letzte Tabelle bestimmt das Problem
Mehr Tests erzeugen mehr mögliche Zufallstreffer
Wenn m unabhängige echte Nullhypothesen jeweils auf dem Niveau α getestet werden, beträgt die Wahrscheinlichkeit mindestens einer falschen Zurückweisung 1−(1−α)^m
Bei α=0.05 und m=20 liegt diese Wahrscheinlichkeit bei ungefähr 64 %, obwohl jeder einzelne Test nominell eine Falsch-Zurückweisungsrate von 5 % hat
Abhängigkeit verändert die exakte Berechnung, rechtfertigt aber nicht die Annahme, es sei nur der gemeldete Gewinner getestet worden
Die Familie bestimmt die Fehlerfrage
Eine Testfamilie kann alle Faktoren, Transformationen, Universen, Lags, Zeithorizonte, Filter, Modellentscheidungen und Wiederholungen umfassen, die für eine Forschungsbehauptung in Betracht gezogen wurden
Die Familie nach Sichtung der Ergebnisse festzulegen, unterschätzt die Multiplizität und erlaubt es Forschenden, verbundene Versuche so aufzuteilen, dass die Korrektur harmlos wird
Die vertretbare Familie folgt dem Entscheidungsprozess und der Möglichkeit zur Auswahl und nicht nur den Zeilen, die in einer Arbeit oder einem Dashboard übrig bleiben
FWER und FDR kontrollieren unterschiedliche Verluste
Die familienweite Fehlerrate (FWER) ist die Wahrscheinlichkeit, innerhalb der Familie mindestens eine falsche Zurückweisung vorzunehmen
Die False Discovery Rate (FDR) ist E[V/max(R,1)], wobei V die Zahl der falschen Zurückweisungen und R die Gesamtzahl der Zurückweisungen ist
FWER ist strenger, wenn jede falsche Behauptung teuer ist. FDR ist oft leistungsfähiger, wenn beim Screening vieler Kandidaten ein kontrollierter falscher Anteil toleriert werden kann
Verfahren brauchen ihre Annahmen
Bonferroni testet jede Hypothese mit α/m und kontrolliert FWER ohne Unabhängigkeit vorauszusetzen, kann aber konservativ sein
Holms Step-down-Verfahren kontrolliert ebenfalls FWER und ist nie weniger leistungsfähig als die einfache Bonferroni-Regel für Zurückweisungen
Benjamini–Hochberg ordnet p-Werte und kontrolliert FDR unter Unabhängigkeit und bestimmten positiven Abhängigkeiten. Andere Abhängigkeitsstrukturen brauchen begründete Verfahren
Angepasste Werte sind keine posterioren Wahrscheinlichkeiten für die Wahrheit
Ein angepasster p-Wert ist das kleinste Niveau des Familienfehlers, bei dem eine Hypothese nach einem gewählten Verfahren zurückgewiesen würde
Ein q-Wert wird häufig als geschätzter minimaler FDR-Schwellenwert interpretiert, um ein Ergebnis als Entdeckung zu bezeichnen – jeweils abhängig von Verfahren und Annahmen
Keine der beiden Größen ist automatisch die Wahrscheinlichkeit, dass eine ausgewählte Strategie falsch ist. Dafür braucht es ein anderes Modell und eine andere Aussage darüber, worauf konditioniert wird
Das Finanzwesen verbirgt eine große adaptive Familie
Faktormining, technische Regeln, Optionssignale, alternative Daten, Portfolioeinschränkungen und Kostenannahmen erzeugen Tausende korrelierter Versuche
Veröffentlichte Faktoren werden aus früheren Suchen ausgewählt. Einen neuen Faktor anhand eines isolierten t-Statistikwerts nahe zwei zu bewerten, ignoriert daher den angesammelten Entdeckungsdruck
Gemeinsame Assets und Zeiträume machen Tests abhängig, während Regimewechsel bedeuten, dass eine Auswahlkorrektur keine künftige wirtschaftliche Leistungsfähigkeit garantieren kann
Governance muss den Suchdatensatz bewahren
Protokollieren Sie jede Hypothese, Codeversion, jedes Universum, Ergebnis, Transformation, jede Verzögerung, jeden Kosten- und Abbruchentscheid mit einer stabilen Forschungskennung
Trennen Sie Entdeckung, Bestätigung und laufende Überwachung. Frieren Sie die bestätigenden Regeln ein und verwenden Sie wirklich unberührte Daten oder eine prospektive Auswertung
Berichten Sie rohe und angepasste Evidenz, die Definition der Familie, Annahmen zur Abhängigkeit, Effektgrößen, Kosten, Stabilität, verworfene Ideen und die Verschlechterung im Live-Betrieb
Häufige Fragen
Was ist das Problem der Mehrfachtests?
Es ist die Zunahme falscher Entdeckungen, die entsteht, wenn unter vielen Hypothesen getestet und ausgewählt wird, während die Gewinner so beurteilt werden, als stünde jeder Test für sich
Was ist der Unterschied zwischen FWER und FDR?
FWER kontrolliert die Wahrscheinlichkeit mindestens einer falschen Zurückweisung; FDR kontrolliert den erwarteten falschen Anteil an allen Zurückweisungen
Wie funktioniert Benjamini–Hochberg?
Es ordnet p-Werte, vergleicht sie mit rangabhängigen Schwellenwerten und weist bis zum größten erfüllenden Rang zurück, sofern die angegebenen Annahmen gelten
Macht FDR-Kontrolle eine Handelsstrategie zuverlässig?
Nein. Sie behandelt Auswahlfehler innerhalb einer definierten Testfamilie und nicht Regimewechsel, Kosten, Leakage, Modellrisiko oder künftige Profitabilität