Test de Giacomini–White : précision conditionnelle des prévisions

Supposons que la prévision A ait une perte moyenne plus faible que B sur un échantillon de test. Cette moyenne peut masquer un motif utile : A peut mieux fonctionner dans les marchés calmes et B lorsque la volatilité est élevée. Pour savoir quelle prévision a été la meilleure en moyenne, une comparaison inconditionnelle convient. Pour savoir si les informations connues à la date de prévision permettent d'anticiper laquelle sera la meilleure, la question porte sur la capacité prédictive conditionnelle.

Giacomini et White formulent cette question comme une comparaison de méthodes de prévision sous une fonction de perte et un ensemble d'information définis. Le cadre s'applique aux prévisions ponctuelles, par intervalle, probabilistes ou de densité, à condition que la perte corresponde à la tâche. La procédure d'estimation qui produit chaque prévision fait elle aussi partie de la méthode. Une fenêtre glissante, un échantillon d'apprentissage fixe ou une règle de pondération appartiennent donc à la méthode évaluée ; ce ne sont pas des détails anodins à modifier après avoir vu les résultats (Giacomini et White, 2006).

Cette question est liée aux tests de rupture structurelle, sans s'y confondre. Un test conditionnel cherche à savoir si la perte relative de prévision est systématiquement associée aux informations choisies. Un test de rupture cherche à déterminer si des paramètres ou une relation ont changé à une date inconnue ou spécifiée. Le guide du test de Diebold–Mariano porte sur la comparaison inconditionnelle des pertes moyennes ; une question conditionnelle exige de préciser les informations de conditionnement.

Soit (Y_{t+1}) la variable cible observée après l'origine de prévision (t). Les prévisions ŷA,t+1 et ŷB,t doivent porter sur la même cible, le même horizon, les mêmes unités et le même instantané d'information. Pour une fonction de perte (L) où une valeur plus faible est préférable, définissez la différence de pertes ainsi :

dₜ₊₁ = L(Yₜ₊₁, ŷA,ₜ₊₁) − L(Yₜ₊₁, ŷB,ₜ₊₁)

Avec cette convention, une valeur positive signifie que A a subi une perte supérieure et favorise B à cette origine ; une valeur négative favorise A. Conservez une ligne par origine et évaluez les deux prévisions par rapport à la même réalisation. Gardez les prévisions disponibles à l'époque, la version des données et celle du modèle. Ne reconstruisez pas les prévisions historiques avec des entrées révisées ou des informations arrivées plus tard.

Les variables de conditionnement doivent elles aussi être connues à l'origine de prévision. Il peut s'agir d'une estimation retardée de la volatilité, d'un indicateur d'événement annoncé à l'avance, d'une différence de pertes retardée ou d'un état de marché calculé uniquement à partir d'observations passées. Une variable mesurée après (t) ne peut pas expliquer quelle prévision aurait été la meilleure en (t+1) sans biais d'anticipation.

La mesure doit correspondre à la cible. L'erreur quadratique convient parfois à une prévision de moyenne conditionnelle, mais pas automatiquement à une prévision de volatilité, de quantile ou de densité. Si un modèle prévoit la variance et l'autre l'écart-type, exprimez d'abord les deux prévisions dans les mêmes unités. Le test ne corrige pas une question mal posée.

Pour les prévisions de volatilité, évaluez les deux modèles avec la même définition de la variance réalisée et le même intervalle d'échantillonnage. Si l'une couvre uniquement les prix intrajournaliers et l'autre inclut aussi les rendements nocturnes, l'écart de pertes peut refléter des cibles différentes plutôt qu'une différence de qualité. Décidez comment traiter les mouvements pendant la fermeture du marché, la fréquence d'échantillonnage, les observations manquantes et la mesure réalisée, puis appliquez ces choix de façon uniforme. Si le proxy réalisé est bruité, cette erreur affecte les deux pertes et doit figurer dans l'interprétation.

Soit (mathcal{G}_t) l'ensemble d'information sur lequel la comparaison est conditionnée. L'hypothèse nulle idéalisée est :

H₀: E[dₜ₊₁ | 𝒢ₜ] = 0

Elle affirme que la différence de pertes attendue est nulle sachant les informations précisées. Le test GW à un pas transforme cette proposition conditionnelle en moments au moyen d'un vecteur de fonctions de test (h_t) choisi à l'avance. Chaque fonction doit être mesurable avec les informations disponibles à la date (t) :

H₀,ₕ: E[hₜ dₜ₊₁] = 0

Une constante dans (h_t) inclut la différence moyenne de pertes. Les autres éléments peuvent représenter un état du marché, une perte relative retardée ou une transformation non linéaire choisie avant l'examen des résultats. Par exemple, (h_t=(1,S_t)'), où (S_t) indique de façon binaire une forte volatilité déjà connue à (t), teste un moment constant et l'association entre la différence de pertes et cet état.

Un ensemble fini de fonctions de test ne porte que sur les moments qu'il définit. Un rejet indique qu'au moins un moment retenu n'est pas compatible avec zéro sous les hypothèses du test ; il ne désigne pas un modèle universellement meilleur et ne prouve pas que chaque variable d'état concevable est pertinente. Une absence de rejet ne prouve pas l'égalité des performances conditionnelles. Avec une constante seule, le test compare un moment inconditionnel au lieu d'explorer toutes les conditions possibles.

Choisissez la perte, les instruments, les transformations, l'échantillon et l'horizon avant de découvrir quel modèle l'emporte. Ajouter de nombreux indicateurs d'état, seuils et retards après examen des résultats crée une nouvelle recherche. Le test conditionnel ne corrige pas cette sélection à lui seul.

Fixez aussi le moment où chaque variable d'état est construite. Si « forte volatilité » désigne le quintile supérieur de volatilité sur l'échantillon entier, les observations futures contribuent au seuil appliqué aux origines passées. Estimez le seuil uniquement avec les informations disponibles à chaque origine ou utilisez une règle annoncée auparavant. Pour une variable d'état continue, définissez ses unités et tout centrage ou étalonnage à l'avance. Plusieurs indicateurs presque identiques peuvent rendre les conditions de moment redondantes et la matrice de covariance difficile à inverser ; retenez le plus petit ensemble ayant une interprétation claire.

Pour (q) fonctions de test, construisez le vecteur de moments (g_{t+1}=h_t d_{t+1}). Sa moyenne empirique est :

ḡ = (1/n) Σₜ gₜ₊₁

La statistique GW à un pas prend la forme de Wald :

GW = n ḡ′ Ω̂⁻¹ ḡ

Ici, (hatOmega) estime la matrice de covariance du vecteur de moments. Sous l'hypothèse nulle et les conditions de régularité de l'article, la statistique suit asymptotiquement une loi de référence du chi carré à (q) degrés de liberté. Le nombre de fonctions modifie donc la loi de référence et peut aussi affecter la puissance. De nombreux instruments faibles ou redondants peuvent rendre l'estimation de covariance instable sans apporter d'information utile.

Dans le cadre à un pas, l'hypothèse nulle implique une structure de différence de martingale pour le vecteur de moments, ce qui permet au test original d'utiliser une estimation par second moment empirique. Pour d'autres horizons, des résultats qui se chevauchent ou un cadre différent, l'estimateur de variance doit correspondre aux hypothèses et à la dépendance du test choisi. Suivez la formulation de l'implémentation retenue au lieu de reprendre automatiquement la largeur de bande HAC d'un autre test. Les méthodes HAC générales, y compris l'estimateur de Newey et West (1987), sont des outils pour les cas qui les nécessitent, pas une prescription universelle de largeur de bande pour GW. La crédibilité dépend aussi de l'estimation de covariance et du dispositif de prévision.

Vérifiez également que (Ω̂) peut être estimée avec les moments retenus. Des fonctions de test presque identiques, un indicateur ayant très peu d'observations dans un état ou trop d'interactions peuvent rendre la matrice singulière ou instable. Son inverse peut alors varier fortement après une petite révision des données et fausser la statistique. Chaque fonction doit correspondre à une condition ou à une différence de performance ; indiquez leur nombre et la covariance des moments. Supprimer une fonction jugée peu utile après examen du résultat constitue une sélection supplémentaire, à déclarer.

La valeur p fournit des éléments contre les restrictions de moments énoncées, sous la loi de référence. Ce n'est ni la probabilité que A ou B soit le vrai modèle, ni celle qu'une règle de négociation soit rentable. Indiquez la statistique, les degrés de liberté, la valeur p et les moments exacts testés pour préciser le sens d'un rejet.

<!-- learn:illustration -->

Considérez huit origines hypothétiques à un pas. Soit (S_t=0) un état calme et (S_t=1) un état de forte volatilité. Supposons que les différences de pertes (d_{t+1}=L_A-L_B) soient −2, −2, −2 et −2 pendant les quatre origines calmes, puis +2, +2, +2 et +2 pendant les quatre origines volatiles. Les différences négatives favorisent A ; les positives favorisent B.

La moyenne des huit origines vaut zéro : ce petit exemple ne montre donc pas de différence de pertes inconditionnelle. La moyenne de l'état calme est −2 et celle de l'état volatile est +2. Le classement relatif s'inverse selon l'état. Un test utilisant (h_t=(1,S_t)') comprend un moment constant et un moment de forte volatilité susceptible de faire apparaître ce motif.

Ces huit valeurs illustrent le calcul, mais ne suffisent pas à une inférence fiable. Dans les données réelles, tenez compte de l'estimation des prévisions, du choix préalable de la variable d'état, du nombre d'origines disponibles et de l'évolution temporelle des moments de différence de pertes. Une séparation graphique des états ne prouve pas que le motif perdurera.

L'asymptotique GW originale conserve l'incertitude liée à l'estimation des prévisions en maintenant fini le maximum de la taille de la fenêtre d'estimation tandis que le nombre de prévisions hors échantillon augmente. Les fenêtres glissantes et un échantillon d'estimation fixe correspondent à ce cadre central. La taille de la fenêtre et toute règle de choix dépendant des données font partie de chaque méthode et doivent être fixées et rapportées.

C'est important lorsque les modèles de prévision sont réestimés. Une comparaison qui ignore l'estimation des paramètres peut négliger l'incertitude créée par l'apprentissage à partir des données passées. GW peut comparer des prévisions issues de modèles emboîtés ou non, sous les conditions indiquées, mais cela ne garantit pas le même résultat pour toutes les implémentations à fenêtre croissante ou tous les estimateurs. Dans le cadre original à un pas, une fenêtre croissante classique ne respecte pas l'hypothèse de fenêtre finie. Si le dispositif diffère, utilisez un résultat établi pour la construction réelle des prévisions.

Le test ne choisit pas non plus la fenêtre qui vous convient. Une fenêtre courte peut s'adapter aux conditions récentes, mais utilise moins d'observations ; une fenêtre longue ou croissante peut stabiliser les estimations tout en conservant des relations dépassées. Comparez ces options selon une évaluation planifiée et consignez aussi le choix de fenêtre. Giacomini et Rossi (2010) proposent des tests distincts sur l'évolution de la performance relative dans les environnements instables. Cette question de trajectoire temporelle est liée au test GW conditionnel de base, sans utiliser la même statistique.

Un rejet conditionnel ne fournit pas à lui seul une règle de négociation qui choisit la bonne prévision en temps réel. Un instrument peut être associé à la différence de pertes dans les données d'évaluation sans produire de règle de bascule stable ou exploitable. Pour sélectionner une prévision avec l'information courante, définissez la règle à partir des seules observations passées, puis évaluez-la sur une séquence ultérieure d'origines non utilisée, en tenant compte de l'incertitude de décision et d'estimation.

Le test de Diebold–Mariano demande si deux prévisions ont la même perte moyenne sur l'échantillon d'évaluation. GW demande si l'information choisie est liée à leur perte relative, tout en permettant une comparaison inconditionnelle comme restriction de moments particulière. L'exemple à deux états montre que deux modèles peuvent avoir le même score moyen et des performances relatives dépendant de l'état.

Si les prévisions proviennent de modèles emboîtés et que la question porte précisément sur l'égalité de l'erreur quadratique moyenne de prévision, une méthode pour modèles emboîtés comme l'ajustement de Clark–West traite une autre hypothèse nulle et le bruit d'estimation. Si de nombreuses règles ou prévisions ont été explorées et que la question est de savoir si l'un des candidats possède une meilleure capacité prédictive, une procédure au niveau de toute la famille, comme le Reality Check de White ou le test SPA de Hansen, est nécessaire. Un test conditionnel sur une paire retenue n'annule pas une recherche plus vaste.

Enfin, constater que la précision relative varie dans le temps ne détermine pas une date de rupture. Un test d'instabilité locale ou de retournement peut mieux convenir si la question porte sur la trajectoire des performances plutôt que sur leur association à des instruments choisis. Giacomini et Rossi (2010) étudient ces comparaisons de prévisions. Choisissez le test selon la question au lieu d'interpréter chaque rejet comme la preuve d'une stratégie de négociation adaptée au régime.

Les tests conditionnels peuvent nécessiter beaucoup de données. Séparer l'échantillon entre états calmes et volatils réduit le nombre d'observations pour chaque comparaison. Davantage de fonctions augmente le nombre de moments et les degrés de liberté. Si plusieurs conditions ne sont que faiblement liées à la perte relative, le test peut avoir peu de puissance même lorsqu'il existe des différences conditionnelles.

Le document de travail de la Réserve fédérale de Saint-Louis de McCracken étudie l'existence, la taille et la puissance du test GW dans un exemple simple à perte quadratique. Ses simulations montrent que le test peut être bien calibré alors que sa puissance est généralement faible dans les configurations étudiées (McCracken, 2020). Il s'agit d'une mise en garde pour l'interprétation, pas d'une prévision universelle de la puissance dans toutes les applications. Une absence de rejet peut refléter un manque d'information ou de puissance ; elle ne prouve pas que les prévisions sont interchangeables.

Essayer successivement d'autres définitions d'état, seuils, horizons, fonctions de perte et dates d'évaluation augmente le risque de découverte fortuite. Consignez toutes les variantes testées et séparez les analyses exploratoires d'un échantillon de confirmation préspécifié. Pour affirmer qu'une stratégie parmi une famille a un pouvoir prédictif, appliquez à cette famille une méthode appropriée de tests multiples ou de recherche de données. Des instruments conditionnels supplémentaires ne renforcent pas automatiquement les preuves.

Quand plusieurs modèles sont comparés, une procédure sur l'ensemble de la famille répond à une autre question que le test conditionnel par paires. Le guide du Model Confidence Set explique comment une comparaison itérative peut conserver les modèles qu'il est impossible de distinguer au niveau choisi ; elle ne remplace pas la définition préalable des conditions d'une analyse GW.

Nommez les deux méthodes de prévision, leur estimation, l'éventuel emboîtement des modèles, la cible, l'horizon et les dates d'évaluation. Indiquez la fonction de perte exacte et la convention de signe de (d_{t+1}). Décrivez chaque élément de (h_t), son calcul, la date où il devient observable et son choix éventuel avant l'examen des résultats.

Indiquez le calendrier des origines de prévision, la règle de fenêtre d'estimation, la version des données, la règle d'échantillon commun, le nombre d'origines hors échantillon, le nombre de fonctions de test, l'estimateur de covariance, la loi de référence, la statistique, les degrés de liberté et la valeur p. Précisez si les horizons se chevauchent et comment la dépendance est traitée. Donnez aussi les pertes moyennes et les résumés des différences de pertes, pas seulement le résultat du test.

Énumérez les autres instruments, seuils, fenêtres, pertes et paires de prévisions essayés. Si les mêmes observations ont servi à sélectionner le modèle ou les variables conditionnelles puis à les tester, dites-le. Un résultat peut être informatif sans confirmer une hypothèse ; un compte rendu transparent permet d'en évaluer la portée et de préparer une validation indépendante.