Test di encompassing delle previsioni: una previsione contiene le informazioni dell’altra?

Supponiamo che A e B prevedano lo stesso obiettivo. Il test chiede se B aiuta a spiegare il risultato dopo aver considerato le informazioni contenute in A. Per una combinazione lineare definita in anticipo, l’ipotesi nulla secondo cui A include (encompasses) B afferma che B non fornisce informazioni previsive aggiuntive. Il rifiuto dell’ipotesi nulla può indicare che B aggiunge informazioni nella specifica considerata.

Non è la stessa cosa che chiedere «quale previsione ha l’RMSE più basso in questo campione?». L’RMSE riassume l’ampiezza degli errori di ogni previsione separatamente. L’encompassing esamina invece se una previsione, o il suo errore, contenga informazioni aggiuntive una volta considerata l’altra previsione. B può avere un RMSE inferiore ma non aggiungere informazioni rispetto ad A; oppure può avere un RMSE superiore e conservare comunque informazioni aggiuntive in una certa direzione.

Chong e Hendry trattano l’approccio di encompassing nella valutazione dei modelli macroeconomici lineari. L’interpretazione è circoscritta all’obiettivo, all’orizzonte, all’insieme informativo e alla specifica definiti: non dimostra che A sia corretto in ogni senso (Chong e Hendry, 1986). {source:chongHendry1986ForecastEncompassing}

L’RMSE è la radice quadrata dell’errore quadratico medio (MSE) di una previsione. L’RMSE più basso indica errori quadratici medi inferiori per quell’obiettivo, quel periodo, quel campione e quella metrica. Il test di encompassing riguarda invece la relazione tra le previsioni. Anche con date abbinate, non c’è motivo per cui i due risultati debbano coincidere.

Alcuni errori ampi di B possono aumentare il suo RMSE, mentre la direzione della differenza tra B e A può comunque contenere informazioni associate all’errore di A. Al contrario, un RMSE inferiore per B non dimostra che B aggiunga informazioni rispetto ad A. Presenta separatamente la tabella di accuratezza individuale e i risultati di combinazione o encompassing.

Distingui anche le domande dei test vicini. Il test di Diebold–Mariano confronta la perdita media secondo una funzione scelta. Il test di Clark–West corregge il confronto dell’MSPE fuori campione per modelli annidati. La guida alla combinazione di previsioni tratta medie e pesi stimati. Il test di Mincer–Zarnowitz valuta la calibrazione di intercetta e pendenza. Ipotesi e domande non sono intercambiabili.

Sotto l’ipotesi nulla, la correlazione degli errori previsivi e la struttura degli errori di stima possono differire tra previsioni concorrenti non annidate e il caso in cui un modello grande contenga un modello vincolato. Una statistica OLS o una distribuzione di riferimento valida in un caso non si trasferisce automaticamente all’altro.

Harvey, Leybourne e Newbold osservano che la distribuzione nulla del naturale test OLS di encompassing non è robusta alla non normalità degli errori previsivi e discutono alternative. La sola regressione OLS non giustifica un p-value generico. Descrivi la procedura, la dimensione del campione, distribuzione e dipendenza degli errori e il modo in cui sono state generate le previsioni (Harvey, Leybourne e Newbold, 1998). {source:harveyLeybourneNewbold1998ForecastEncompassing}

Clark e McCracken analizzano le proprietà asintotiche e di campione finito non standard dei test di pari accuratezza e di encompassing nel disegno annidato lineare a un passo fuori campione che studiano. Il risultato non si estende automaticamente a ogni disegno annidato né ai confronti non annidati. Il risultato non è una distribuzione di riferimento automatica per il confronto non annidato, né i risultati non annidati vanno applicati senza cautela al caso annidato (Clark e McCracken, 200100071-9)). {source:clarkMcCrackenNestedForecasts2001}

Se le previsioni dipendono da coefficienti di regressione stimati, l’incertezza della stima entra nel confronto. West studia i test di encompassing quando le previsioni dipendono da parametri di regressione stimati. Conserva per ogni origine la finestra di stima e la procedura, non soltanto la sequenza finale di previsioni (West, 2001). {source:west2001EstimatedForecastsEncompassing}

Sia \(y_t\) l’obiettivo e siano \(f_{A,t}\) e \(f_{B,t}\) le previsioni riferite allo stesso periodo e allo stesso cutoff informativo. Definiamo l’errore della previsione di riferimento e la differenza tra le previsioni:

\[ e_{A,t}=y_t-f_{A,t}, \qquad d_t=f_{B,t}-f_{A,t} \]

Una combinazione semplice è \(f_{C,t}=f_{A,t}+w d_t\). Con \(w=0\) si usa solo A; con \(w=1\) si ottiene B. Un valore intermedio mescola le due previsioni. Se il peso è fuori dall’intervallo da 0 a 1, la combinazione estrapola oltre una delle due.

In termini intuitivi, la pendenza della regressione di \(e_A\) su \(d\) indica se la differenza tra B e A è linearmente associata all’errore di A. Una pendenza diversa da zero può segnalare informazioni aggiuntive, date la procedura e le ipotesi specificate. È però un’intuizione: non è una statistica o un valore critico universale valido per ogni implementazione.

Nella regressione con intercetta \(e_{A,t}=a+w d_t+u_t\), \(a\) riguarda la correzione dell’errore medio, mentre \(w\) è la pendenza rispetto alla differenza tra previsioni. Se si applica anche l’intercetta alla previsione combinata, la correzione è \(f_A+a+w d\). Una combinazione senza intercetta può produrre una stima diversa. Controlla l’equazione usata nello studio o nell’implementazione.

Nella popolazione, la pendenza della regressione con intercetta è \(\beta=\operatorname{Cov}(e_A,d)/\operatorname{Var}(d)\). Se \(\operatorname{Var}(d)>0\), \(\beta=0\) indica assenza di covarianza lineare dopo aver corretto l’errore medio con l’intercetta; non implica indipendenza tra \(e_A\) e \(d\), né indipendenza condizionata. La regressione senza intercetta impone invece il momento grezzo \(E[e_A d]=0\). Questo equivale a covarianza nulla solo se \(E[e_A]=0\) oppure \(E[d]=0\), poiché \(\operatorname{Cov}(e_A,d)=E[e_A d]-E[e_A]E[d]\). Escludere l’intercetta impone quindi anche \(\alpha=0\), ossia nessuna correzione del bias medio

<!-- learn:illustration -->

I valori seguenti sono ipotetici e sono tutti espressi in punti base (bp). Poniamo \(d=f_B-f_A\), \(e_A=y-f_A\) e consideriamo sei origini previsive.

Una regressione OLS con intercetta dà una media degli errori \(\bar e_A=1/3\) bp. La somma dei prodotti con \(d\) centrato è \(\sum d_t(e_{A,t}-\bar e_A)=16,4\), mentre \(\sum d_t^2=42\). La pendenza è quindi \(16,4/42\approx0,3905\). In questo esempio giocattolo, una correzione lineare che aggiunge circa il 39% della differenza rispetto a B è associata alla struttura dell’errore di A.

Se la specifica applica anche l’intercetta alla combinazione, la correzione stimata è \(1/3+0,3905d_t\). Non si può presumere che il peso di una combinazione senza intercetta sia uguale. Sei osservazioni illustrano solo l’aritmetica del coefficiente: non giustificano un p-value, una conclusione di significatività, una prestazione fuori campione o una generalizzazione.

Encompassing condizionato e non condizionato sono domande diverse. Indica se l’insieme informativo contiene solo le due previsioni oppure anche variabili di stato, come condizioni economiche o volatilità. Verifica che ogni variabile fosse disponibile all’origine della previsione: aggiungere informazioni note solo in seguito cambia la domanda in tempo reale.

Decidi se il peso della combinazione è libero o vincolato, per esempio da \(0\leq w\leq1\). Una OLS non vincolata può stimare pesi fuori da quell’intervallo. Non è un errore aritmetico: la specifica consente un’estrapolazione, non solo una media delle due previsioni. Combinazioni vincolate e non vincolate sono problemi di stima distinti.

Decidi prima anche se correggere il bias con un’intercetta o centrare le variabili. Cambiare intercetta, vincoli o condizioni dopo aver visto i risultati mescola selezione della specifica e inferenza. Riporta insieme ipotesi nulla, formula della combinazione, informazioni utilizzate, campione di stima e procedura inferenziale.

Verifica che \(y_t\), \(f_A\) e \(f_B\) di ogni riga si riferiscano allo stesso obiettivo, orizzonte, unità, origine e cutoff informativo. Una previsione del rendimento mensile non coincide necessariamente con una del rendimento cumulato fino alla fine del mese successivo. Annota anche ritardi di pubblicazione e revisioni dell’obiettivo.

Ogni previsione deve usare solo dati disponibili in quel momento. Conserva finestra di addestramento, versione del modello, calendario di ristima, trasformazioni e scelte degli iperparametri. Se la previsione usa coefficienti stimati, controlla che il campione di stima non invada il periodo di valutazione o informazioni future. I valori adattati nel campione non sostituiscono previsioni fuori campione archiviate all’epoca.

Tieni separato il periodo di scelta dei pesi e del modello dalla valutazione finale. All’origine \(t\), usa soltanto esiti osservabili prima di \(t\) per fissare la regola; poi valuta A e B sullo stesso obiettivo futuro. Le previsioni multi-periodo sovrapposte possono produrre errori o perdite dipendenti: l’inferenza deve riflettere il disegno, senza trattare ogni riga come indipendente.

Se la sequenza degli errori di regressione presenta eteroschedasticità e autocorrelazione, si può considerare uno stimatore di covarianza HAC coerente con il disegno e l’orizzonte. Newey e West (1987) propongono uno stimatore della matrice di covarianza consistente in presenza di eteroschedasticità e autocorrelazione e semidefinito positivo (Newey–West, 1987). {source:neweyWest1987} Riporta lo stimatore e la regola per i ritardi adottati. Un errore standard HAC non risolve da solo i problemi della distribuzione nulla dovuti alla non normalità o ai modelli annidati.

Non rifiutare l’ipotesi nulla non dimostra che le previsioni siano equivalenti o che A sia superiore. Significa soltanto che il test specificato non ha rilevato in modo chiaro informazioni aggiuntive. Scarsa potenza, campione breve, errori molto correlati o specifica inadeguata possono nasconderle. Un’affermazione di equivalenza richiede un disegno e una tolleranza definiti per il test di equivalenza.

Rifiutare l’ipotesi nulla non dimostra che B generi profitti o superi i costi di negoziazione. L’informazione previsiva non coincide con la performance di una strategia dopo regole decisionali, prezzi di esecuzione, spread, commissioni, impatto di mercato, finanziamento e limiti di rischio. L’utilità per una strategia va valutata a parte.

Per rendere il risultato replicabile, riporta obiettivo e tempi delle previsioni, come sono state generate, cutoff informativo, intercetta e vincoli, variabili condizionali, periodo di stima, trattamento dei dati mancanti, ipotesi nulla, statistica e metodo per l’errore standard. Indica se i modelli sono annidati e il ruolo dei parametri stimati. Se riporti l’RMSE, presentalo come una domanda distinta.

• Chong e Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), *Review of Economic Studies*, 53(4), 671–690
• Harvey, Leybourne e Newbold, “Tests for Forecast Encompassing” (1998), *Journal of Business & Economic Statistics*, 16(2), 254–259
• Clark e McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), *Journal of Econometrics*, 105(1), 85–11000071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), *Journal of Business & Economic Statistics*, 19(1), 29–33
• Newey e West, “A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987), *Econometrica*, 55(3), 703–708