Coefficients et hypothèses de la régression par moindres carrés ordinaires
Comprenez l'objectif des moindres carrés, l'interprétation conditionnelle des coefficients, les résidus, l'exogénéité, la multicolinéarité, l'homoscédasticité et l'analyse responsable des régressions financières.
Réponse directe
Les moindres carrés ordinaires choisissent les coefficients qui minimisent la somme des différences au carré entre les résultats observés et les valeurs ajustées linéaires. Un coefficient décrit la différence linéaire moyenne du résultat associée à une différence d'une unité de son régresseur, en maintenant fixes les autres régresseurs inclus. Transformer cette projection descriptive en effet causal exige des hypothèses supplémentaires, comme une erreur d'espérance conditionnelle nulle ; un R² élevé ou de petits résidus ne peut pas les établir.
Les MCO minimisent les résidus au carré
Dans le modèle y=Xβ+u, les MCO choisissent β de façon à rendre aussi petite que possible la somme des différences au carré entre les observations et les valeurs ajustées Xβ.
Lorsque les colonnes de la matrice de conception sont de rang plein, la solution s'écrit généralement β̂=(X′X)⁻¹X′y.
La mise au carré crée un objectif traitable et pénalise fortement les erreurs importantes, de sorte que les erreurs de données et les valeurs aberrantes influentes peuvent avoir un levier considérable.
Un coefficient est une comparaison linéaire conditionnelle
Le coefficient βj est la différence ajustée de y pour une différence d'une unité de xj lorsque les autres variables incluses sont maintenues aux mêmes valeurs.
Le résultat de Frisch–Waugh–Lovell donne le même coefficient après avoir retiré séparément la contribution linéaire des autres contrôles de y et de xj, puis régressé les deux résidus.
Sa signification dépend donc des contrôles, de la forme fonctionnelle, des unités et de l'échantillon ; ce n'est pas simplement la corrélation entre deux variables brutes.
La linéarité concerne les paramètres
Une régression linéaire doit être linéaire en ses coefficients, mais ses régresseurs peuvent inclure des logarithmes, des carrés, des splines, des indicatrices et des interactions.
Avec une interaction, la relation marginale d'une variable change selon la valeur d'une autre ; un coefficient principal ne peut donc pas être lu isolément.
L'extrapolation prolonge la forme fonctionnelle choisie au-delà du support observé et constitue une affirmation beaucoup plus forte qu'un bon ajustement à l'échantillon.
Des hypothèses différentes fournissent des garanties différentes
Une espérance conditionnelle nulle signifie que les composantes omises du résultat ne sont pas systématiquement prévisibles à partir des régresseurs inclus ; elle est centrale pour la cohérence ou l'interprétation structurelle.
L'homoscédasticité exige une variance conditionnelle de l'erreur égale selon les valeurs des régresseurs ; elle concerne davantage la formule classique de variance et l'efficacité que l'absence de biais des coefficients.
Les erreurs normales ne sont pas nécessaires pour calculer les MCO, même si la normalité peut soutenir des inférences t et F exactes en petit échantillon sous le modèle classique.
Un résidu n'est pas l'erreur inconnue de la population
Un résidu e=y−Xβ̂ est l'écart observé par rapport à une valeur ajustée estimée sur le même échantillon, tandis que la perturbation de population u reste inobservée.
Avec une constante, les MCO construisent des résidus orthogonaux aux régresseurs de l'échantillon ; une corrélation nulle observée entre eux n'est donc pas une preuve indépendante d'exogénéité.
Les graphiques de résidus peuvent révéler une non-linéarité, une variance changeante, un regroupement, une dépendance sérielle et des valeurs aberrantes, mais ils ne peuvent pas certifier le bon modèle.
Les données financières mettent à l'épreuve les hypothèses des manuels
Les rendements présentent des grappes de volatilité et des événements de queue, tandis que les rendements sur périodes chevauchantes créent une autocorrélation par construction.
Les panels d'entreprises peuvent contenir une persistance au sein de chaque entreprise et des chocs communs entre entreprises à la même date, ce qui viole l'indépendance simple des observations.
Les tendances des séries en niveau, le biais de survivant, la découverte simultanée des prix et les erreurs de mesure peuvent donner à un coefficient significatif une apparence plus structurelle qu'il ne l'est.
Présentez l'estimation et son incertitude ensemble
Énoncez l'estimand, l'échantillon, les unités, les transformations, les contrôles, les effets fixes, les règles relatives aux données manquantes et l'estimateur de covariance avant d'interpréter le nombre.
Associez aux coefficients des erreurs standard ou des intervalles, traduisez-les en variations réalistes et testez la sensibilité aux observations influentes et aux spécifications défendables.
Évaluez l'identification et la stabilité dans le temps ou hors échantillon séparément du R², du signe et de la significativité statistique.
Questions fréquentes
Que signifie un coefficient de régression MCO ?
C'est la différence linéaire moyenne ajustée du résultat associée à une unité du régresseur, en maintenant fixes les autres régresseurs inclus.
Une régression linéaire peut-elle représenter une relation courbe ?
Oui. Elle peut utiliser des logarithmes, des puissances, des splines et des interactions tant que le modèle reste linéaire dans les coefficients.
La multicolinéarité biaise-t-elle les coefficients ?
Une multicolinéarité imparfaite ne crée pas en soi de biais, mais elle peut élargir les erreurs standard et rendre les coefficients très sensibles à l'échantillon.
Des erreurs standard robustes résolvent-elles les hypothèses MCO violées ?
Non. Elles relâchent certaines hypothèses de covariance, mais ne corrigent ni l'endogénéité, ni une forme fonctionnelle incorrecte, ni un biais de sélection du coefficient.