Combinare le previsioni: pesi uguali o stimati

Una combinazione di previsioni prende due o più stime della stessa grandezza e le trasforma in un'unica previsione. Se i modelli A, B e C prevedono ciascuno la varianza realizzata di domani, i loro risultati possono essere mediati o ricevere pesi diversi. Il numero combinato è una nuova previsione, non un voto su quale modello abbia ragione.

Gli input devono riferirsi allo stesso obiettivo, origine della previsione, orizzonte, unità e limite informativo. Non si può fare direttamente la media di una previsione di varianza a un giorno e di una previsione di volatilità mensile solo perché entrambe riguardano la volatilità. Prima definisci una quantità e un intervallo comuni, poi allinea le previsioni.

La combinazione è utile quando più modelli plausibili colgono aspetti diversi di una serie oppure non è chiaro quale resterà il più efficace. Non occorre che derivino da algoritmi completamente diversi. Per la combinazione conta come si muovono insieme gli errori, non quanto siano diversi i nomi dei modelli.

Nella loro applicazione iniziale, Bates e Granger mostrarono che, nell'esempio dei passeggeri aerei, una previsione composita poteva avere un errore quadratico medio inferiore a quello di ciascuna delle due previsioni componenti. Il risultato motiva una verifica, ma non garantisce un miglioramento per altri mercati, obiettivi, periodi o funzioni di perdita (Bates e Granger, 1969).

Per \(K\) previsioni, la combinazione con pesi uguali è

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Ogni componente contribuisce nella stessa misura. Questa regola non richiede un campione di addestramento per stimare i pesi ed è facile da replicare. È un riferimento utile anche se il metodo finale stimerà o limiterà i pesi.

Pesi uguali non significa che tutte le previsioni siano ugualmente accurate, indipendenti o importanti dal punto di vista economico. Significa soltanto che il procedimento non stima pesi distinti sulla base dei risultati passati. Se tutti gli input trascurano lo stesso elemento, anche la media a pesi uguali può conservarne il bias comune.

Il numero dei nomi dei modelli non misura la diversità informativa. Tre modelli di volatilità potrebbero usare la stessa serie di rendimenti, gli stessi confini di sessione e la stessa frequenza di campionamento, e perdere tutti il movimento notturno. Farne la media non corregge automaticamente questa omissione. Verifica se gli errori out-of-sample archiviati differiscono in modo utile; non presumere che nomi diversi rappresentino prove indipendenti.

Supponiamo che tre modelli prevedano la volatilità della prossima sessione a 12, 15 e 20 punti base. La previsione a pesi uguali è \((12+15+20)/3 = 15,67\) punti base. Il calcolo mostra come si forma la combinazione; un'unica origine di previsione non dice se la regola sia precisa o redditizia.

Per la volatilità, controlla se l'input è una varianza oppure una deviazione standard. Fare la media di tre previsioni di varianza e poi estrarne la radice quadrata non equivale in generale a fare la media delle previsioni della deviazione standard. Usa la stessa definizione dell'obiettivo e le stesse unità che userai per il punteggio.

Una combinazione lineare stimata si può scrivere così:

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Un risultato teorico comune presuppone che ogni errore di previsione abbia media zero, che l'obiettivo sia identico e che i pesi sommino a uno. Sia \(\Sigma_e\) la matrice di covarianza degli errori delle previsioni componenti. Se questa matrice fosse nota e invertibile, i pesi di minima varianza con tali vincoli sarebbero

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

Questa formula è un riferimento, non un invito a invertire una matrice di covarianza campionaria rumorosa. In pratica \(\Sigma_e\) viene stimata da un archivio finito di errori di previsione. Input molto correlati possono rendere la stima quasi singolare, perciò piccoli cambiamenti nei dati possono produrre pesi molto diversi.

Con due previsioni che hanno la stessa varianza d'errore \(\sigma^2\), la varianza della loro media a pesi uguali è \(\sigma^2(1+\rho)/2\), dove \(\rho\) è la correlazione tra gli errori. Se ciascun errore ha varianza 4 e la correlazione è zero, la media ha varianza 2. Se la correlazione è 0,90, la varianza è 3,8. È la dipendenza tra gli errori, non il nome dei modelli, a determinare quanta varianza si possa eliminare. Questo calcolo riguarda la varianza degli errori; se le previsioni componenti sono distorte, l'errore quadratico medio include anche il bias al quadrato.

Un altro approccio regredisce l'obiettivo realizzato sulle previsioni componenti archiviate, spesso includendo un'intercetta. Granger e Ramanathan descrivono metodi di regressione lineare in cui i pesi non devono necessariamente sommare a uno. Intercetta e pesi non vincolati possono correggere il bias medio nel campione di addestramento, ma cambiano l'interpretazione: i coefficienti sono correzioni stimate della previsione, non necessariamente quote simili a quelle di un portafoglio (Granger e Ramanathan, 1984).

Definisci i vincoli prima di valutare il modello. Pesi non negativi che sommano a uno producono una media convessa, compresa tra il minimo e il massimo delle previsioni componenti. Pesi negativi o un'intercetta possono generare valori fuori da quell'intervallo. Può essere appropriato per una previsione calibrata, ma non necessariamente quando l'obiettivo, come la varianza, deve restare non negativo.

Supponiamo che tre modelli abbiano previsto lo stesso obiettivo della prossima sessione a 12, 15 e 20 punti base. Una regola stimata sulle origini precedenti assegna pesi pari a \(0.50\), \(0.30\) e \(0.20\). La previsione risultante è

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{punti base} \]

I pesi sono non negativi e sommano a uno, quindi si tratta di una combinazione convessa, compresa tra le previsioni componenti. La differenza rispetto ai 15,67 punti base della media semplice deriva dai pesi scelti; non dimostra che la previsione ponderata sia migliore.

I pesi devono essere stati stimati solo dagli errori di previsione i cui risultati erano già osservabili al momento della stima. In un backtest storico, la previsione di 14,5 punti base all'origine \(t\) può usare informazioni disponibili entro \(t\), non l'obiettivo realizzato a \(t+1\) o in seguito.

Quando l'obiettivo diventa osservabile, registra le previsioni componenti, la combinazione, la proxy realizzata e la perdita di valutazione. Ripetere la procedura su origini successive permette un confronto tra regole sulle stesse date. Non trasforma però un singolo esempio in prova di un vantaggio persistente.

I pesi ottimali rispetto a covarianze degli errori note nella popolazione non coincidono con quelli stimati da un campione breve. I pesi stimati introducono un ulteriore livello di incertezza. Se le previsioni componenti sono simili, i relativi errori possono essere molto correlati e l'ottimizzazione può sfruttare piccole differenze storiche destinate a non ripetersi.

Le simulazioni e l'applicazione macroeconomica di Kang hanno mostrato che i pesi di combinazione potevano essere instabili e che, in quegli scenari, una media semplice poteva funzionare meglio in pratica (Kang, 1986). La rassegna di Timmermann descrive l'influenza dell'errore di stima, dell'instabilità dei modelli e della dipendenza tra errori sulle combinazioni di previsioni (Timmermann, 200601004-9)).

Analisi successive del paradosso della combinazione mostrano lo stesso problema in campioni finiti: i risultati ottenuti con pesi «ottimali» fissi non si trasferiscono necessariamente senza cambiamenti quando quei pesi sono stimati (Claeskens et al., 2016). Questo non prova che i pesi uguali vincano sempre. Spiega perché una regola più complessa deve dimostrare il proprio valore in un confronto out-of-sample.

<!-- learn:illustration -->

Tra le possibili risposte ci sono partire dai pesi uguali, limitare il numero degli input, restringere i pesi stimati verso quote uguali oppure imporre un vincolo semplice. Ogni scelta bilancia flessibilità e rumore di stima. Selezionala usando i dati di addestramento e documenta la regola; non scegliere la versione più attraente dopo aver esaminato il periodo finale di test.

Ogni previsione componente archiviata dovrebbe essere stata ottenibile all'origine indicata. Ricrea ogni modello usando solo i dati allora disponibili, conserva la marca temporale della previsione e salva la versione del modello e la definizione dell'obiettivo. I valori stimati in-sample non sostituiscono vere previsioni storiche: il modello potrebbe aver usato osservazioni che non erano ancora note.

Allinea l'archivio per obiettivo e origine. In ogni riga, le previsioni componenti devono riferirsi allo stesso intervallo futuro e le informazioni di addestramento devono fermarsi allo stesso momento decisionale. Elimina o gestisci esplicitamente le previsioni mancanti prima di stimare la combinazione. Se il numero di input cambia senza essere dichiarato, il significato dei pesi può cambiare da una data all'altra.

Tieni separata la stima dei pesi dalla valutazione finale. Una procedura a origine mobile può stimare i pesi dalle previsioni i cui risultati erano noti prima di \(t\), produrre la combinazione a \(t\) e poi assegnarle un punteggio quando si osserva l'obiettivo. Una finestra espansiva usa tutte le origini passate ammissibili; una finestra mobile dimentica i dati più vecchi in base a una lunghezza prestabilita. Le due scelte reagiscono in modo diverso ai cambiamenti di prestazione.

Se i modelli componenti, le trasformazioni, gli orizzonti, i vincoli sui pesi o le funzioni di perdita sono stati selezionati dopo aver esaminato un periodo holdout, quel periodo è diventato parte dello sviluppo. Riserva un nuovo periodo di test oppure usa una valutazione annidata che mantenga ogni passaggio di selezione all'interno dei dati di addestramento.

Confronta la regola a pesi uguali, le eventuali regole stimate o ristrette e le singole previsioni sulle stesse origini e rispetto allo stesso obiettivo realizzato. Riporta la perdita di valutazione e il campione comune. Altrimenti un metodo può sembrare più forte solo perché è stato valutato su date più facili o su un obiettivo definito diversamente.

La perdita deve corrispondere all'obiettivo e alla domanda. L'errore quadratico valuta la distanza con una penalità quadratica; l'errore assoluto attribuisce un peso diverso agli scarti grandi. Quando si valutano previsioni di volatilità rispetto a misure realizzate rumorose, contano le condizioni della proxy e la perdita scelta. La guida a QLIKE ed errore quadratico spiega queste differenze. Non scegliere la perdita dopo aver visto quale metodo favorisce.

Un test di confronto delle previsioni può aiutare a valutare se le differenze osservate nelle perdite siano compatibili con la variabilità campionaria. La guida al test di Diebold–Mariano tratta i confronti appaiati e le ipotesi rilevanti quando gli errori di previsione si sovrappongono o restano dipendenti. Un risultato del test non corregge il look-ahead bias né dimostra valore economico.

Se hai provato molti insiemi di componenti, vincoli sui pesi o regole di perdita e hai mantenuto la versione che sembrava migliore nello stesso periodo di valutazione, il confronto riportato riflette anche quella ricerca. La guida al White Reality Check e quella sulla probabilità di overfitting del backtest trattano la selezione tra molte regole di trading; nessuna sostituisce un archivio pulito di previsioni o un piano di valutazione definito in anticipo.

Usa un disegno di validazione che rispecchi l'orizzonte previsto. Se origini giornaliere producono obiettivi sovrapposti a più giorni, le perdite consecutive possono essere dipendenti. Considera questa dipendenza nella stima dell'incertezza; molte righe sovrapposte non equivalgono allo stesso numero di esperimenti indipendenti.

Prima di combinare, controlla che cosa prevede ciascun modello. Una media condizionata, una varianza, un quantile e una distribuzione di probabilità completa sono oggetti previsivi distinti. Una media lineare di previsioni puntuali non produce automaticamente una densità calibrata né una stima affidabile del rischio di coda.

Per quantità strettamente non negative come la varianza, controlla i valori combinati prima di usarli. Una media convessa di previsioni non negative resta non negativa; una regressione stimata con pesi negativi o un'intercetta potrebbe non esserlo. Tagliare a zero i valori negativi cambia la regola di previsione e va specificato prima della valutazione.

Conta anche il numero di previsioni. Aggiungere input deboli o quasi duplicati può aumentare il numero dei pesi stimati senza aggiungere molta informazione. Se l'archivio storico è breve rispetto a \(K\), preferisci una regola trasparente e a bassa dimensionalità, e verifica che la conclusione non dipenda da un solo componente.

Combinare previsioni di modelli è diverso dal combinare posizioni di trading. Una perdita statistica inferiore non dimostra che una strategia basata sulla previsione guadagnerà di più dopo commissioni, spread, slippage, impatto sul mercato e limiti di rischio. La costruzione della previsione e la regola di trading che la usa richiedono prove out-of-sample separate.

Un rapporto utile indica obiettivo, orizzonte, unità, modelli componenti, timestamp delle origini, periodo dell'archivio e regola per i dati mancanti. Specifica se i pesi sono uguali, stimati, vincolati, ristretti o variabili nel tempo e come è stata presa ogni decisione di taratura.

Mostra i risultati del riferimento a pesi uguali, della combinazione scelta e della previsione singola più forte sulle stesse date di valutazione. Includi funzione di perdita, metodo per l'incertezza e trattamento degli obiettivi sovrapposti. Se i pesi cambiano bruscamente tra finestre, mostra l'instabilità anziché presentare solo i valori finali.

Infine, separa l'affermazione empirica da quella decisionale. «In questo campione, con questa funzione di perdita, la combinazione ha avuto una perdita media inferiore» è più circoscritta e replicabile di «combinare le previsioni migliora il trading». La prima si può verificare da un archivio salvato; la seconda richiede una strategia, ipotesi di esecuzione e prove separate.