Test d’encompassing des prévisions : l’une contient-elle l’information de l’autre ?

Supposons que A et B prévoient la même variable cible y, au même point de départ et pour le même horizon. Le test ne demande pas seulement quel modèle a présenté l’erreur la plus faible par le passé. Il demande si, une fois la prévision A prise en compte, B conserve un signal supplémentaire susceptible d’améliorer A selon une formulation linéaire définie. Si B n’apporte pas d’information prédictive supplémentaire dans ce cadre, on dit que A englobe B, ou que B n’améliore pas davantage A.

L’évaluation de l’encompassing a notamment été étudiée dans la comparaison de modèles macroéconomiques linéaires. Chong et Hendry (1986) en exposent l’idée dans Econometric Evaluation of Linear Macro-Economic Models {source:chongHendry1986ForecastEncompassing}. Le terme « englober » décrit une relation conditionnelle entre des prévisions et une hypothèse précises. Il ne signifie pas que A est toujours juste ou que B est inutile dans tous les autres contextes.

Un RMSE plus faible classe les erreurs observées selon une mesure et un échantillon donnés. L’encompassing porte sur l’information supplémentaire qu’une prévision concurrente apporte par rapport à une référence. Les réponses peuvent différer : le classement des RMSE ne démontre donc pas, à lui seul, l’encompassing.

Le RMSE est la racine carrée de l’erreur quadratique moyenne : RMSE = √[(1/n) Σₜ₌₁ⁿ eₜ²]. Il ne s’agit donc pas de l’erreur quadratique moyenne elle-même.

f_A,t et f_B,t doivent prévoir le même y, avec les mêmes informations disponibles à chaque origine et sur un seul horizon. Harmonisez la définition de la cible, les unités, les horodatages, l’échantillon et le traitement des observations manquantes. Une prévision du cours de clôture de demain ne se compare pas directement à une prévision de la moyenne des cinq prochains jours, même si toutes deux sont présentées comme des prévisions de rendement.

Utilisez les prévisions réellement disponibles à chaque origine historique, et non des versions réestimées plus tard avec des données futures. Conservez les millésimes de données et de modèles, et documentez le traitement des révisions statistiques et des ajustements de cours. Si la période ou la spécification a été choisie après examen des résultats, décrivez cette sélection comme faisant partie de la recherche, pas comme une validation indépendante hors échantillon.

Définissez clairement les signes : e_A,t = y_t − f_A,t et d_t = f_B,t − f_A,t. Fixez cette convention avant tout calcul. Inverser A et B inverse le signe de d et du coefficient de combinaison. Cela ne modifie pas l’information en elle-même, mais change l’interprétation du signe.

Une combinaison linéaire illustrative s’écrit f_C,t = f_A,t + w d_t, soit f_C,t = (1−w)f_A,t + w f_B,t. Régresser l’erreur e_A,t sur une constante et d_t aide à interpréter w : si l’écart entre les prévisions est associé aux erreurs de A, il peut contenir une information linéaire supplémentaire. Dans cette représentation, la pente estime le poids additionnel accordé à B, tandis que la constante absorbe le biais moyen de A.

Cette interprétation ne constitue toutefois pas une définition unique de tous les tests d’encompassing. Certaines spécifications imposent des restrictions sur la constante ou le biais, d’autres utilisent une référence ou des informations conditionnelles différentes. Le test peut porter sur une alternative unilatérale ou sur des restrictions conjointes. Les paramètres estimés et l’emboîtement des modèles peuvent également modifier l’inférence appropriée. Précisez donc le test, l’hypothèse et ses conditions, au lieu de présenter une seule régression ou valeur critique comme une règle universelle.

Les poids estimés peuvent sortir de l’intervalle [0,1]. La meilleure combinaison linéaire dans l’échantillon extrapole alors au-delà des deux prévisions au lieu de se situer entre elles. Certaines implémentations imposent des poids non négatifs ou une somme égale à un, mais ces contraintes varient selon la méthode. Indiquez-les et ne tronquez pas un estimateur non contraint sans refaire l’estimation.

Dans la régression illustrative e_A,t = α + β d_t + u_t avec constante, la pente de population est β = Cov(e_A,d)/Var(d), si Var(d)>0. Ainsi, β=0 signifie qu’il n’existe pas d’association linéaire entre l’erreur de A et l’écart de prévision une fois autorisé un biais constant. Cela n’exclut ni une relation non linéaire ni d’autres formes d’information.

Sans constante, la pente de population vaut E[e_A d]/E[d²], si E[d²]>0 ; l’hypothèse de pente nulle est alors le moment croisé E[e_A d]=0. Ce moment n’équivaut à une covariance nulle que si E[e_A]=0 ou E[d]=0. Dans la régression avec constante, α=0 constitue une restriction de biais distincte ; avec β=0, elle impose une erreur moyenne de A nulle. Tester α=0 ajoute donc une restriction d’absence de biais et ne porte pas uniquement sur l’information incrémentale.

Un test donné traduit la question de l’information supplémentaire en restrictions sur des coefficients ou des écarts de prévision. Il peut inclure une constante pour capter le biais, examiner une pente incrémentale ou utiliser l’information conditionnelle disponible à l’origine. L’alternative peut être unilatérale si la question, définie à l’avance, porte sur l’amélioration de A, ou bilatérale si toute relation supplémentaire est pertinente. Chaque choix modifie ce que teste la statistique et la façon d’estimer l’incertitude.

La pente d’une régression illustrative n’est donc pas automatiquement la statistique d’encompassing employée dans toutes les études. Avant de consulter la valeur p, adaptez le test à la relation entre les modèles, au calendrier d’estimation des paramètres, au plan hors échantillon et aux hypothèses sur les erreurs. Si le résultat varie selon ces choix, signalez-le au lieu de retenir après coup la formulation qui donne le résultat souhaité.

<!-- learn:illustration -->

Prenons d, exprimé en points de base, égal à [−4, −2, −1, 1, 2, 4], et les erreurs de A égales à [−1,6, −1,2, 1,5, 0,5, 1,3, 1,5], avec n = 6. La moyenne de d est nulle et celle de e_A vaut 1/3 point de base. La somme des carrés de d est 42 ; la somme des produits de d par les erreurs de A centrées sur leur moyenne est 16,4.

Dans une régression MCO ordinaire avec constante, la pente vaut donc w = 16,4/42 ≈ 0,3905, et la constante vaut 1/3 point de base. La combinaison ajustée dans l’échantillon est f_C = f_A + 0,3905(f_B−f_A). Ce calcul illustre un coefficient de combinaison linéaire ; il ne teste ni si la pente diffère statistiquement de zéro ni si la combinaison améliorera de futures prévisions.

Six observations ne suffisent pas à calculer une valeur p ni à conclure à l’encompassing ou à la supériorité. Il faut un plan d’échantillonnage approprié et une mesure d’incertitude adaptée à la dépendance des erreurs et à la génération des prévisions. Estimer le poids et l’évaluer sur ces mêmes six observations est, en outre, une évaluation in-sample.

Dans le sens simplifié retenu ici, l’hypothèse nulle « A englobe B » affirme que B n’apporte aucun signal pertinent une fois A pris en compte, ou qu’un coefficient d’amélioration défini est nul. Il n’existe pas une équation de test universelle. Il faut vérifier si le biais est autorisé, quelles informations conditionnelles entrent dans le test, si l’alternative unilatérale vise une amélioration de A et comment les coefficients estimés sont traités.

Harvey, Leybourne et Newbold (1998) étudient les tests d’encompassing et signalent que le test des moindres carrés n’est pas robuste à la non-normalité des erreurs ; ils examinent également d’autres méthodes : Tests for Forecast Encompassing {source:harveyLeybourneNewbold1998ForecastEncompassing}. Il ne suffit donc pas de lire un coefficient MCO et la valeur p par défaut d’un logiciel sans vérifier l’hypothèse et la loi de référence.

Une valeur p supérieure à 0,05 ne prouve ni l’équivalence ni l’absence d’utilité de B. Elle peut refléter un petit échantillon, une erreur-type élevée ou une puissance limitée. La conclusion adéquate est que les données, selon ce plan et ses hypothèses, n’apportent pas assez d’éléments contre l’hypothèse spécifiée au seuil retenu. Rien de plus.

Le test de Diebold–Mariano compare les pertes moyennes de deux prévisions aux mêmes origines. L’encompassing recherche l’information supplémentaire d’une prévision concurrente par rapport à une référence. Une prévision peut donc présenter un RMSE inférieur sans que B apporte à A une information linéaire utile ; l’inverse est aussi possible. Voir le test de précision prédictive de Diebold–Mariano.

Clark–West ajuste la comparaison de précision hors échantillon de modèles linéaires emboîtés, où le bruit d’estimation des paramètres supplémentaires complique la loi du test. Clark et McCracken (2001) étudient ces questions de distribution pour les tests d’égalité de précision et d’encompassing de prévisions à un pas issues de modèles linéaires emboîtés dans Tests of Equal Forecast Accuracy and Encompassing for Nested Models00071-9) {source:clarkMcCrackenNestedForecasts2001}. Ce cadre ne remplace pas automatiquement tous les tests d’encompassing. Le test de Clark–West pour ajuster la précision des modèles emboîtés présente l’ajustement correspondant.

Une combinaison de prévisions estime ou choisit des poids pour atteindre un objectif, souvent en minimisant une perte d’entraînement ou hors échantillon. C’est une méthode de construction de prévisions, pas à elle seule un test de l’hypothèse d’encompassing. Voir poids égaux ou estimés pour combiner des prévisions. Le test de Mincer–Zarnowitz porte généralement sur le niveau et la pente de calibration par rapport aux réalisations, et non sur l’information supplémentaire d’une prévision concurrente. Voir le test de calibration des prévisions de Mincer–Zarnowitz.

Lorsque les prévisions sont produites par des régressions estimées, cette estimation peut influer sur la loi du test. West (2001) étudie les tests d’encompassing lorsque les prévisions dépendent de paramètres de régression estimés, et explique pourquoi leur mode de production doit entrer dans l’inférence : Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters {source:west2001EstimatedForecastsEncompassing}. L’étiquette « hors échantillon » ne suffit pas si le test ignore les réestimations ou l’évolution de la fenêtre d’apprentissage.

Avant l’analyse, déterminez si les modèles sont emboîtés, si l’estimation est fixe ou glissante, si les horizons de test se chevauchent et comment les erreurs dépendent dans le temps. Choisissez une méthode d’inférence cohérente avec ce plan et rapportez la sensibilité aux choix raisonnables. Si de nombreux modèles, objectifs ou fenêtres ont été essayés et que seul le résultat préféré est publié, la valeur p isolée ne rend pas compte de cette recherche.

Si les moments de la régression présentent de l’hétéroscédasticité ou une dépendance sérielle, un estimateur de covariance HAC de type Newey–West est une option pour estimer la covariance de façon robuste à ces deux phénomènes. Newey et West (1987) décrivent cet estimateur {source:neweyWest1987}. Le noyau et la largeur de bande doivent être adaptés au plan de prévision ; HAC est un outil possible pour estimer l’incertitude, pas un test d’encompassing en soi.

Même si B apporte une information prédictive fiable, cela ne démontre pas un rendement net positif. Il faut définir une règle transformant la prévision en position, le moment d’exécution, les commissions, le financement, le glissement, la liquidité et les limites de risque. Un signal faible peut disparaître sous l’effet des coûts d’exécution. Il peut néanmoins être utile à la couverture ou au contrôle du risque sans augmenter le rendement moyen.

Pour communiquer le résultat, précisez la cible, l’horizon, les origines, l’échantillon commun, les conventions de signe pour e et d, la formulation du test, les hypothèses nulle et alternative, le traitement de la constante ou du biais, la méthode d’estimation, les contraintes sur les poids et l’inférence. Présentez le coefficient de combinaison avec son erreur-type ou son intervalle de confiance lorsque le plan le permet, et distinguez clairement ajustement in-sample et performance hors échantillon. L’encompassing ne garantit ni une prévision ni un trade rentable.

• Chong et Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), DOI
• Harvey, Leybourne et Newbold, “Tests for Forecast Encompassing” (1998), DOI
• Clark et McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), DOI00071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), DOI
• Newey et West, “A Simple, Positive Semi-Definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987) DOI