Test de Clark–West pour les prévisions emboîtées : formule, exemple et limites

Supposons qu’un modèle restreint prévoie le rendement du mois suivant à l’aide d’une constante, tandis qu’un modèle plus grand ajoute un ratio de valorisation. Le modèle restreint est emboîté dans le plus grand : fixer le coefficient supplémentaire à zéro ramène au modèle de référence. Même si ce coefficient est réellement nul, son estimation peut introduire du bruit d’échantillonnage dans les prévisions du modèle plus grand. Son erreur quadratique moyenne de prévision observée (MSPE) peut alors être supérieure, même si les deux modèles ont la même capacité prédictive dans la population.

L’ajustement de Clark–West vise ce problème de bruit d’estimation dans la comparaison hors échantillon des erreurs quadratiques de prévisions emboîtées. Dans ce cadre, il teste si le modèle plus grand apporte une valeur prédictive supplémentaire par rapport au modèle de référence restreint. La question est plus précise que celle du guide général de Diebold–Mariano, qui compare des pertes de prévision appariées et dont la distribution de référence habituelle n’est pas automatiquement valide pour des modèles emboîtés. Clark et McCracken étudient le comportement asymptotique et en échantillon fini particulier des tests de précision et d’englobement pour des prévisions emboîtées ; Clark et West développent la procédure de MSPE ajusté et son inférence approximative. Clark and McCracken (2001)00071-9); Clark and West (2007).

Le modèle de référence restreint doit prévoir la même cible (y_{t+h}) que le modèle alternatif plus grand. Ce dernier doit contenir la spécification du modèle de référence comme cas particulier, généralement en fixant un ou plusieurs coefficients supplémentaires à zéro. Le fait qu’un modèle soit plus complexe, comporte davantage de variables ou s’ajuste mieux dans l’échantillon ne suffit pas à établir cette relation d’emboîtement.

À chaque origine de prévision, produisez les deux prévisions en utilisant uniquement les informations alors disponibles. Estimez les modèles sur une fenêtre d’apprentissage chronologique, émettez les prévisions sur une fenêtre d’évaluation ultérieure et utilisez la même cible, le même horizon, les mêmes unités et origines, ainsi que les mêmes observations réalisées pour les deux modèles. Une réestimation récursive ou glissante peut convenir ; indiquez laquelle vous utilisez et conservez les prévisions réellement produites à chaque origine. Examiner plusieurs fois la fenêtre d’évaluation pour choisir les prédicteurs, transformations ou horizons la transforme en élément de sélection du modèle au lieu d’une preuve intacte. Le guide CAViaR montre pourquoi une prévision de quantile de queue doit aussi être évaluée avec une perte adaptée à sa cible plutôt que d’être intégrée à une comparaison de prévisions de moyenne.

L’ajustement de Clark–West traite le bruit d’estimation des paramètres sous l’hypothèse nulle d’un modèle emboîté ; il ne corrige pas l’utilisation d’informations futures, des échantillons non concordants, des données révisées considérées à tort comme connues à l’époque ou une recherche de modèle non divulguée. Indiquez la fenêtre d’estimation initiale, le nombre d’origines, l’horizon, la version des données et les mises à jour glissantes ou récursives afin que le lecteur puisse déterminer ce qui était véritablement hors échantillon.

Notons f₀,t+h la prévision du modèle restreint, f₁,t+h celle du modèle plus grand et eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h l’erreur de prévision j. Pour une perte quadratique, la différence ajustée de Clark–West par période est :

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

Elle équivaut à l’erreur quadratique du modèle restreint moins celle du modèle plus grand, puis à l’ajout du carré de l’écart entre leurs prévisions. Le dernier terme estime le bruit de prévision supplémentaire associé aux paramètres estimés en plus sous l’hypothèse nulle. Clark et West décrivent l’ajustement comme une réduction du MSPE d’échantillon du modèle plus grand de ce terme d’écart avant de le comparer au modèle restreint. Clark and West (2007).

Calculez la moyenne des différences ajustées sur les origines d’évaluation communes : mean(dCW) = (1/P) Σ dCW,t+h. Si les résultats et les prévisions sont mesurés en points de base, les erreurs quadratiques et les différences ajustées sont en points de base au carré. Selon la convention ci-dessus, une moyenne ajustée positive favorise le modèle plus grand. Il s’agit d’un score de comparaison ajusté, et non du MSPE réalisé du modèle plus grand ni d’une prévision à utiliser pour négocier.

La question habituelle du test de Clark–West est de savoir si le modèle emboîté plus grand a un MSPE attendu inférieur à celui du modèle de référence restreint. L’hypothèse nulle indique que la composante supplémentaire n’améliore pas la capacité prédictive ; l’alternative unilatérale favorise le modèle plus grand. Avec la formule ci-dessus, une moyenne ajustée suffisamment positive par rapport à son erreur-type soutient cette alternative.

Dans la notation des pertes ajustées, les hypothèses de travail sont H₀: E[dCW] = 0 contre H₁: E[dCW] > 0. Le sens positif découle du fait que la perte du modèle restreint est placée en premier. Inverser la soustraction inverse le signe ; indiquez donc la convention avec le résultat.

La statistique de test est souvent écrite comme la moyenne d’échantillon de dCW divisée par son erreur-type estimée. Pour les situations étudiées, Clark et West recommandent un test unilatéral approximativement normal, avec une erreur-type standard ou cohérente avec l’autocorrélation selon le cas. West (1996) développe l’inférence pour les moments de fonctions lisses de prévisions et d’erreurs hors échantillon, y compris lorsque les prévisions dépendent de paramètres estimés. Le sens du test doit être choisi avant de consulter les résultats : une statistique Clark–West positive ne justifie pas de passer après coup à une hypothèse bilatérale ou de signe différent.

La valeur p est conditionnelle à la relation d’emboîtement, à la construction des prévisions, à la cible, à la perte, à la méthode d’inférence et aux hypothèses d’échantillonnage. Elle ne donne pas la probabilité que le modèle plus grand soit vrai et n’établit pas qu’un prédicteur supplémentaire cause une variation de la cible.

Prenons quatre observations hypothétiques en points de base. Les valeurs réelles sont [0, 1, −1, 0], les prévisions du modèle restreint [−1, 0, 0, 0] et celles du modèle plus grand emboîté [−1.5, 0.5, −0.5, 0.5]. Les erreurs quadratiques du modèle restreint sont [1, 1, 1, 0], pour un MSPE moyen de 0.75 bp². Celles du modèle plus grand sont [2.25, 0.25, 0.25, 0.25], également pour un MSPE moyen de 0.75 bp².

Les écarts de prévision au carré (f₀ − f₁)² sont [0.25, 0.25, 0.25, 0.25]. L’application de la différence ajustée e₀² − e₁² + (f₀ − f₁)² donne [−1, 1, 1, 0] bp². Sa moyenne d’échantillon est de 0.25 bp². Les MSPE bruts sont égaux, tandis que la moyenne ajustée est positive, car la correction tient compte du bruit d’estimation des prévisions du modèle plus grand.

Ces quatre périodes illustrent uniquement le calcul. Elles sont beaucoup trop peu nombreuses pour estimer l’incertitude de manière crédible ou établir une significativité statistique. À elle seule, la moyenne ajustée positive ne prouve pas un véritable avantage prévisionnel ; les valeurs sont hypothétiques et non des observations de marché. <!-- learn:illustration -->

Même des prévisions à un pas peuvent donner lieu à des différences de pertes ajustées autocorrélées, car la cible, les prédicteurs ou la fenêtre d’estimation évoluent dans le temps. Pour des prévisions à plusieurs pas qui se chevauchent, des origines adjacentes partagent des périodes cibles réalisées ; leurs différences ajustées peuvent donc être corrélées par construction. Une erreur-type ordinaire qui traite chaque origine comme indépendante peut sous-estimer l’incertitude.

Estimez l’erreur-type à partir de la série des différences ajustées au moyen d’une méthode adaptée au plan d’échantillonnage, telle qu’une estimation de variance de long terme robuste à l’hétéroscédasticité et à l’autocorrélation lorsque ses conditions sont réunies. Clark et West mentionnent explicitement des erreurs robustes à l’autocorrélation lorsque les erreurs de prévision sont autocorrélées. Indiquez l’horizon de prévision, l’estimateur de covariance, le noyau et la bande passante le cas échéant, ainsi que toute méthode de rééchantillonnage ou de calcul des valeurs critiques. Le guide du block bootstrap explique pourquoi le rééchantillonnage de séries temporelles dépendantes doit préserver leur ordre ; un bootstrap générique ne met pas automatiquement en œuvre l’hypothèse nulle de Clark–West.

Le traitement de la dépendance nécessaire varie selon le plan. Les horizons plus longs, les cibles persistantes, les estimations répétées des paramètres et les changements de volatilité peuvent créer une dépendance qui dépasse le simple chevauchement. Comparez et expliquez des méthodes d’inférence raisonnables plutôt que de choisir celle qui produit la plus petite valeur p.

Les tests de prévision pour modèles emboîtés peuvent avoir des distributions nulles non standard, en particulier lorsque les échantillons d’estimation et d’évaluation augmentent ensemble. L’analyse de Clark et McCracken montre que les tests d’égalité de précision et d’englobement pour des prévisions emboîtées ont un comportement asymptotique et en échantillon fini différent de celui de la comparaison habituelle entre modèles non emboîtés. Clark et West motivent une statistique ajustée avec une inférence approximativement normale utile dans les plans étudiés, mais ce n’est pas une garantie universelle pour les échantillons finis. Clark and McCracken (2001)00071-9); Clark and West (2007).

Un petit échantillon d’évaluation, de nombreux paramètres supplémentaires, un benchmark mal spécifié, une sélection de prédicteurs guidée par les données et le choix entre estimation glissante et récursive peuvent tous affecter la taille et la puissance du test. Si l’échantillon ou le plan diffère sensiblement des situations étudiées dans l’article, envisagez des valeurs critiques adaptées au plan ou une procédure de simulation/bootstrap précisément spécifiée. Indiquez les tailles des échantillons d’estimation et d’évaluation et précisez la distribution de référence utilisée pour obtenir la valeur p.

Le test de Diebold–Mariano demande si deux séries de pertes de prévision ont la même perte attendue dans un cadre général de pertes appariées. L’ajustement de Clark–West vise les comparaisons d’erreurs quadratiques dans lesquelles un modèle en englobe un autre et où les paramètres supplémentaires estimés déforment la différence brute de MSPE sous l’hypothèse nulle. Appliquer cet ajustement à des modèles non emboîtés sans justification revient à changer de question. L’article original de DM autorise un large éventail de mesures de perte et examine des erreurs de prévision qui ne sont pas nécessairement gaussiennes ni indépendantes ; il s’agit d’un texte proche dans la littérature, pas d’un synonyme de la procédure pour modèles emboîtés. Diebold and Mariano (1995).

Aucune des deux méthodes ne résout les degrés de liberté du chercheur qui résultent de l’essai de nombreuses cibles, de nombreux horizons, benchmarks et ensembles de prédicteurs. Si la comparaison finale provient d’une recherche étendue, consignez la famille de candidats et utilisez une méthode conçue pour la question au niveau de la recherche. Le guide White Reality Check et Hansen SPA traite de l’inférence sur une famille entière de règles de trading testées ; le test de Clark–West ne rend pas à lui seul une comparaison sélectionnée confirmatoire.

Un résultat unilatéral significatif constitue, sous les hypothèses énoncées, un indice que le modèle plus grand améliore la précision attendue des erreurs quadratiques pour la cible et le plan d’évaluation testés. Il ne montre pas que le prédicteur supplémentaire est causal, que le signal restera stable ou qu’une stratégie fondée sur la prévision générera des rendements positifs. Les améliorations peuvent être trop faibles pour guider une décision, et les gains les plus importants du modèle peuvent survenir lorsque les opérations sont coûteuses.

La rentabilité du trading nécessite une règle distincte, des données d’évaluation intactes et des spreads, frais, glissements, impacts de marché, coûts de financement et d’emprunt et limites de risque réalistes. Les affirmations causales nécessitent une stratégie d’identification adaptée à la question ; une comparaison de prévisions après échantillon n’est pas un plan causal. Précisez ce que le résultat Clark–West établit réellement et réservez les autres affirmations à des preuves qui les testent directement.

Nommez le modèle restreint et le modèle plus grand, indiquez les contraintes précises qui les rendent emboîtés, puis définissez la cible, l’horizon, les unités des erreurs quadratiques, la fenêtre d’estimation, le calendrier des origines, les dates d’évaluation et la règle de l’échantillon commun. Expliquez si les coefficients sont réestimés de manière récursive ou sur une fenêtre glissante et comment l’ensemble d’informations et les versions des données sont préservés.

Présentez les MSPE bruts des deux modèles, la moyenne de la différence Clark–West ajustée, la convention de signe, l’erreur-type, l’alternative unilatérale, la distribution de référence ou les valeurs critiques, la valeur p et l’estimateur de dépendance. Déclarez également le nombre de paramètres ajoutés, les tailles d’échantillon, les recherches de prédicteurs et d’horizons, le choix du benchmark et l’éventuelle utilisation de la fenêtre d’évaluation pour concevoir le modèle. Ces informations permettent de distinguer un test ajusté de modèles emboîtés d’une comparaison générale de prévisions et d’évaluer l’incertitude restante.