OLS-Regressionskoeffizienten und Annahmen
Verstehen Sie das Kleinste-Quadrate-Ziel, die bedingte Interpretation von Koeffizienten, Residuen, Exogenität, Multikollinearität, Homoskedastizität und verantwortungsvolle finanzielle Regressionsanalyse.
Kurzantwort
Die gewöhnlichen kleinsten Quadrate wählen Koeffizienten, die die Summe der quadrierten Differenzen zwischen beobachteten Ergebnissen und linearen Schätzwerten minimieren. Ein Koeffizient beschreibt die durchschnittliche lineare Differenz im Ergebnis, die mit einer Differenz von einer Einheit in seinem Regressor verbunden ist, während die anderen enthaltenen Regressoren konstant gehalten werden. Um diese beschreibende Projektion in einen kausalen Effekt umzuwandeln, braucht es zusätzliche Annahmen wie einen bedingten Erwartungswert des Fehlers von null; ein hohes R² oder kleine Residuen können diese Annahmen nicht belegen
OLS minimiert quadrierte Residuen
Im Modell y=Xβ+u wählt OLS β so, dass die Summe der quadrierten Differenzen zwischen Beobachtungen und den angepassten Werten Xβ möglichst klein wird
Wenn die Spalten der Designmatrix vollen Rang haben, wird die Lösung gewöhnlich als β̂=(X′X)⁻¹X′y geschrieben
Das Quadrieren erzeugt ein handhabbares Ziel und bestraft große Abweichungen stark, sodass Datenfehler und einflussreiche Ausreißer erheblichen Hebel haben
Ein Koeffizient ist ein bedingter linearer Vergleich
Der Koeffizient βj ist die angepasste Differenz in y für eine Differenz von einer Einheit in xj, wenn die anderen enthaltenen Variablen auf denselben Werten gehalten werden
Das Frisch-Waugh-Lovell-Ergebnis liefert denselben Koeffizienten, nachdem der lineare Beitrag der anderen Kontrollvariablen separat aus y und xj entfernt und die beiden Residuen anschließend regressiert wurden
Seine Bedeutung hängt daher von Kontrollen, funktionaler Form, Einheiten und Stichprobe ab. Er ist nicht einfach die Korrelation zweier Rohvariablen
Linearität betrifft die Parameter
Eine lineare Regression muss in ihren Koeffizienten linear sein, darf aber Logarithmen, Quadrate, Splines, Indikatoren und Interaktionen als Regressoren enthalten
Bei einer Interaktion verändert sich die marginale Beziehung einer Variablen mit dem Wert einer anderen. Daher kann ein Haupteffektkoeffizient nicht isoliert gelesen werden
Eine Extrapolation erweitert die gewählte funktionale Form über den beobachteten Stützbereich hinaus und ist eine viel stärkere Aussage als eine gute Anpassung an die Stichprobe
Unterschiedliche Annahmen geben unterschiedliche Garantien
Ein bedingter Erwartungswert von null bedeutet, dass ausgelassene Bestandteile des Ergebnisses aus den enthaltenen Regressoren nicht systematisch vorhergesagt werden können. Dies ist zentral für Konsistenz oder strukturelle Interpretation
Homoskedastizität verlangt eine gleiche bedingte Fehlervarianz über die Werte der Regressoren hinweg. Sie betrifft eher die klassische Varianzformel und Effizienz als die Unverzerrtheit der Koeffizienten
Normalverteilte Fehler sind für die Berechnung von OLS nicht nötig, können aber unter dem klassischen Modell eine exakte t- und F-Inferenz in kleinen Stichproben unterstützen
Ein Residuum ist nicht der unbeobachtete Populationsfehler
Ein Residuum e=y−Xβ̂ ist die beobachtete Lücke zu einem auf derselben Stichprobe geschätzten Anpassungswert, während der Populationsstörterm u unbeobachtet bleibt
Mit einem Interzept konstruiert OLS Residuen, die orthogonal zu den Stichprobenregressoren sind. Eine Korrelation von null in der Stichprobe ist daher kein unabhängiger Nachweis für Exogenität
Residuenplots können Nichtlinearität, wechselnde Varianz, Cluster, serielle Abhängigkeit und Ausreißer sichtbar machen, aber sie können das richtige Modell nicht bestätigen
Finanzdaten setzen die Lehrbuchannahmen unter Druck
Renditen zeigen Volatilitätscluster und Tail-Ereignisse, während sich überlappende Haltedauerrenditen konstruktionsbedingt serielle Korrelation erzeugen
Unternehmenspanels können Persistenz innerhalb einzelner Unternehmen und gemeinsame Schocks am selben Datum enthalten und damit die einfache Unabhängigkeit der Beobachtungen verletzen
Trends in Niveau-Reihen, Survivorship, gleichzeitige Preisfindung und Messfehler können einen signifikanten Koeffizienten struktureller erscheinen lassen, als er ist
Berichten Sie Schätzung und Unsicherheit gemeinsam
Geben Sie Schätzgröße, Stichprobe, Einheiten, Transformationen, Kontrollen, Fixeffekte, Regeln für fehlende Daten und Kovarianzschätzer an, bevor Sie die Zahl interpretieren
Stellen Sie Koeffizienten mit Standardfehlern oder Intervallen dar, übersetzen Sie sie in realistische Veränderungen und testen Sie die Empfindlichkeit gegenüber einflussreichen Beobachtungen und vertretbaren Spezifikationen
Bewerten Sie Identifikation und Stabilität über die Zeit oder außerhalb der Stichprobe getrennt von R², Vorzeichen und statistischer Signifikanz
Häufige Fragen
Was bedeutet ein OLS-Regressionskoeffizient?
Die durchschnittliche angepasste lineare Differenz im Ergebnis, die mit einer Einheit eines Regressors verbunden ist, während die anderen enthaltenen Regressoren konstant gehalten werden
Kann eine lineare Regression eine gekrümmte Beziehung darstellen?
Ja. Sie kann Logarithmen, Potenzen, Splines und Interaktionen verwenden, solange das Modell in den Koeffizienten linear bleibt
Verfälscht Multikollinearität die Koeffizienten?
Unvollständige Multikollinearität erzeugt für sich genommen keinen Bias, kann aber Standardfehler vergrößern und Koeffizienten stark von der Stichprobe abhängig machen
Lösen robuste Standardfehler verletzte OLS-Annahmen?
Nein. Sie lockern ausgewählte Kovarianzannahmen, beheben aber weder Endogenität noch eine falsche funktionale Form oder Selektionsbias im Koeffizienten