p-Wert und statistische Signifikanz im Finanzwesen
Verstehen Sie p-Werte, Nullhypothesen, Teststatistiken, Signifikanzniveaus, Fehler 1. und 2. Art, Teststärke, Effektgröße, optionales Stoppen, Data Snooping und die finanzielle Interpretation
Kurzantwort
Ein p-Wert ist unter einem festgelegten Nullmodell und Analyseplan die Wahrscheinlichkeit, eine Teststatistik zu erhalten, die mindestens so unvereinbar mit diesem Modell ist wie die beobachtete Statistik. Er ist weder die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, noch die Wahrscheinlichkeit, dass ein Ergebnis zufällig aufgetreten ist, noch die Größe oder wirtschaftliche Bedeutung eines Effekts. Statistische Signifikanz ist eine Entscheidungsregel und kein Beweis
Ein Test beginnt vor dem p-Wert
Legen Sie Null- und Alternativhypothese, Teststatistik, Stichprobenmodell, Abbruchregel, Richtung des Tests und Signifikanzniveau fest, bevor Sie das Ergebnis betrachten
Die Nullhypothese stellt oft keinen Effekt oder einen Benchmarkwert dar, kann aber auch zusammengesetzt sein und Störparameter enthalten, die geschätzt werden müssen
Wenn Sie nach Sichtung der Daten Grundgesamtheit, Horizont, Kontrollvariablen, Ausreißerregel oder Test ändern, interpretieren Sie den p-Wert eines anderen Experiments
Der p-Wert ist von einem Modell abhängig
Unter der Nullhypothese hat die Teststatistik eine Referenzverteilung; der p-Wert misst, wie weit die beobachtete Statistik in ihren relevanten Randbereich reicht
Ein kleiner Wert zeigt eine Unvereinbarkeit mit dem vollständigen Nullmodell-Setup an, nicht, welche Annahme verletzt wurde oder ob die Alternative wahr ist
Falsch spezifizierte Abhängigkeiten, schwere Verteilungsschwänze, Heteroskedastizität, Datenfehler oder Auswahl können Referenzverteilung und p-Wert ungültig machen
Signifikanzschwellen definieren Fehlerregeln
Ein vorab festgelegtes Niveau α begrenzt unter den Annahmen des Tests die Wahrscheinlichkeit, eine wahre Nullhypothese zu verwerfen, nicht den Anteil falscher veröffentlichter Behauptungen
Ein Fehler 1. Art ist eine falsche Verwerfung; ein Fehler 2. Art ist das Nichtverwerfen einer falschen Nullhypothese, und die Teststärke ist die Wahrscheinlichkeit der Verwerfung unter einer festgelegten Alternative
Das Nichtverwerfen beweist keinen fehlenden Effekt, insbesondere wenn die Stichprobe für wirtschaftlich relevante Alternativen eine geringe Teststärke hat
Effektgröße und Unsicherheit beantworten unterschiedliche Fragen
Große Stichproben können winzige Effekte statistisch signifikant machen, während verrauschte kleine Stichproben Effekte übersehen können, die groß genug wären, um relevant zu sein
Berichten Sie neben dem p-Wert eine Effektschätzung, ein Intervall, Einheiten, Transaktionskosten, Kapazität und eine praktische Schwelle
Ergebnisse knapp über und knapp unter 0,05 liefern meist ähnliche Evidenz; diese Grenze in einen scharfen Wahrheitsschalter zu verwandeln, verwirft Informationen
Forschungsfreiheit verzerrt Signifikanz
Optionales Stoppen, das Ausprobieren vieler Spezifikationen, das Entfernen von Beobachtungen, der Wechsel des Ergebnisses und das Veröffentlichen nur erfolgreicher Tests verändern das Verhalten falsch-positiver Ergebnisse
Der nominelle p-Wert ist nur für den Analysepfad gültig, der ihn erzeugt hat, einschließlich legitimer sequenzieller Regeln oder vorab festgelegter Anpassungen
Präregistrierung, vollständige Research-Protokolle, Multiverse-Analysen, unberührte Holdouts und Replikationen machen die Sensitivität sichtbar, reparieren aber kein falsches Modell
Finanzielle Abhängigkeiten schwächen Lehrbuchtests
Renditen können autokorreliert, querschnittsabhängig, heteroskedastisch, überlappend und an eine ausgewählte überlebende Grundgesamtheit gebunden sein
Naive iid-Standardfehler können t-Statistiken übertreiben, während wiederholte Faktorsuche und Backtesting eine viel größere implizite Testfamilie erzeugen
Verwenden Sie Standardfehler und Resampling-Verfahren, die durch die Zeitreihenstruktur gerechtfertigt sind, und testen Sie anschließend die Stabilität über Regime, Assets, Kosten, Verzögerungen und Live-Daten hinweg
Evidenz sollte eine Entscheidung unterstützen
Behandeln Sie den p-Wert als eine kontinuierliche Diagnose unter anderem neben Effektgröße, Unsicherheit, früherer Evidenz, Mechanismus, Prognoseleistung und Entscheidungskosten
Definieren Sie vorab, welcher Fehler relevant ist: ein falsches Handelssignal, ein übersehenes Risiko-Exposure, eine instabile Absicherung oder ein Modell ohne wirtschaftlichen Wert, das befördert wird
Berichten Sie die vollständige Analysefamilie und fehlgeschlagene Replikationen, damit ein ausgewähltes signifikantes Ergebnis nicht mit der Stärke des gesamten Research-Programms verwechselt wird
Häufige Fragen
Was bedeutet ein p-Wert von 0,05?
Unter dem festgelegten Nullmodell treten Ergebnisse, die mindestens so unvereinbar wie die beobachtete Teststatistik sind, mit einer Wahrscheinlichkeit von 0,05 auf
Beweist p unter 0,05 die Alternativhypothese?
Nein. Der Wert weist den Hypothesen keine Wahrscheinlichkeit zu und schließt weder Fehlspezifikation, Auswahl, Datenfehler noch einen wirtschaftlich unbedeutenden Effekt aus
Beweist p über 0,05, dass es keinen Effekt gibt?
Nein. Es bedeutet, dass der Test bei dieser Schwelle nicht verworfen hat, und kann geringe Teststärke, ein ungeeignetes Modell, Rauschen oder einen tatsächlich kleinen Effekt widerspiegeln
Warum werden finanzielle p-Werte oft übertrieben dargestellt?
Abhängigkeiten, wiederholte Strategiesuchen, flexible Spezifikationen, ausgewählte Stichproben und unrealistische Kosten können nominelle Evidenz stärker erscheinen lassen, als sie ist