Teste de encompassing de previsões: uma previsão contém as informações da outra?

Suponha que A e B prevejam o mesmo alvo. O teste pergunta se B ajuda a explicar o resultado depois de considerar as informações em A. Em uma combinação linear especificada, a hipótese nula de que A engloba B significa que B não oferece informação preditiva adicional. Rejeitar essa hipótese pode ser evidência de que B acrescenta informação naquela especificação.

Essa pergunta é diferente de “qual previsão teve o menor RMSE nesta amostra?”. O RMSE resume o tamanho dos erros de cada previsão separadamente. Já o encompassing examina se uma previsão, ou seu erro, contém informação adicional depois de considerar a outra previsão. B pode ter RMSE menor sem acrescentar informação além de A; ou pode apresentar RMSE maior e ainda assim trazer informação adicional em uma direção específica.

Chong e Hendry discutem a perspectiva de encompassing na avaliação de modelos macroeconômicos lineares. A interpretação se limita ao alvo, horizonte, conjunto de informações e especificação definidos; ela não prova que A é correta em todos os sentidos (Chong e Hendry, 1986). {source:chongHendry1986ForecastEncompassing}

O RMSE é a raiz quadrada do erro quadrático médio (MSE) de uma previsão. O menor RMSE indica menor erro quadrático médio para aquele alvo, período, amostra e métrica. O teste de encompassing pergunta sobre a relação entre as previsões. Mesmo que as datas estejam alinhadas, não há motivo para os dois resultados coincidirem.

Alguns erros grandes de B podem elevar seu RMSE, embora a direção da diferença entre B e A ainda carregue informação associada ao erro de A. Por outro lado, um RMSE menor para B não demonstra que B acrescente informação além de A. Apresente a tabela de precisão individual separadamente dos resultados de combinação e encompassing.

Também separe as perguntas dos testes relacionados. O teste de Diebold–Mariano compara perdas médias segundo uma função escolhida. O teste de Clark–West ajusta a comparação de MSPE fora da amostra para modelos aninhados. O guia sobre combinação de previsões trata de médias e escolha de pesos. O teste de Mincer–Zarnowitz avalia a calibração do intercepto e da inclinação. São perguntas e hipóteses nulas distintas.

Sob a hipótese nula, a correlação dos erros de previsão e a estrutura dos erros de estimação podem diferir entre previsões concorrentes não aninhadas e o caso em que um modelo amplo contém um modelo restrito. Uma estatística OLS ou uma distribuição de referência adequada a um caso não passa automaticamente a ser adequada ao outro.

Harvey, Leybourne e Newbold observam que a distribuição nula do teste OLS natural de encompassing não é robusta à não normalidade dos erros de previsão e discutem alternativas. Executar uma regressão OLS, por si só, não justifica um valor-p genérico. Descreva o procedimento, o tamanho da amostra, a distribuição e a dependência dos erros e como as previsões foram produzidas (Harvey, Leybourne e Newbold, 1998). {source:harveyLeybourneNewbold1998ForecastEncompassing}

Clark e McCracken analisam as propriedades assintóticas e em amostras finitas não padronizadas dos testes de igualdade de precisão e encompassing no desenho de previsão de um passo fora da amostra com modelos lineares aninhados que estudam. O resultado não se aplica automaticamente a todo desenho aninhado nem a comparações não aninhadas. O resultado não é uma distribuição de referência automática para comparações não aninhadas; resultados para modelos não aninhados também não devem ser transferidos sem cuidado para modelos aninhados (Clark e McCracken, 200100071-9)). {source:clarkMcCrackenNestedForecasts2001}

Se as previsões dependerem de coeficientes de regressão estimados, a incerteza da estimação também entra na comparação. West trata de testes de encompassing quando as previsões dependem de parâmetros de regressão estimados. Guarde, para cada origem, a janela de estimação e o procedimento usado, não apenas a série final de previsões (West, 2001). {source:west2001EstimatedForecastsEncompassing}

Considere o alvo \(y_t\), com previsões \(f_{A,t}\) e \(f_{B,t}\) para o mesmo período e cutoff de informação. Defina o erro da previsão de referência e a diferença entre as previsões:

\[ e_{A,t}=y_t-f_{A,t}, \qquad d_t=f_{B,t}-f_{A,t} \]

Uma combinação simples é \(f_{C,t}=f_{A,t}+w d_t\). Se \(w=0\), usamos apenas A; se \(w=1\), o resultado é B. Um valor intermediário combina as duas previsões. Pesos fora do intervalo de 0 a 1 extrapolam além de uma delas.

Em termos intuitivos, a inclinação da regressão de \(e_A\) em \(d\) mostra se a diferença entre B e A tem relação linear com o erro de A. Uma inclinação diferente de zero pode indicar informação adicional sob o procedimento e as hipóteses definidos. Mas essa é uma intuição, não uma estatística ou um valor crítico universal para todas as implementações.

Na regressão com intercepto, \(e_{A,t}=a+w d_t+u_t\), \(a\) está associado ao ajuste do erro médio, enquanto \(w\) é a inclinação em relação à diferença entre as previsões. Se o intercepto também entrar na previsão combinada, a correção será \(f_A+a+w d\). Uma combinação sem intercepto pode gerar outra estimativa. Confira a equação da regressão no estudo ou na implementação.

Na população, a inclinação da regressão com intercepto é \(\beta=\operatorname{Cov}(e_A,d)/\operatorname{Var}(d)\). Se \(\operatorname{Var}(d)>0\), \(\beta=0\) significa ausência de covariância linear depois de ajustar o erro médio pelo intercepto; não significa que \(e_A\) e \(d\) sejam independentes ou condicionalmente independentes. A regressão sem intercepto impõe o momento bruto \(E[e_A d]=0\). Isso equivale a covariância zero somente se \(E[e_A]=0\) ou \(E[d]=0\), pois \(\operatorname{Cov}(e_A,d)=E[e_A d]-E[e_A]E[d]\). Portanto, excluir o intercepto também impõe \(\alpha=0\), isto é, nenhuma correção para o viés médio

<!-- learn:illustration -->

Os valores abaixo são hipotéticos e estão todos em pontos-base (bp). Use \(d=f_B-f_A\), \(e_A=y-f_A\) e seis origens de previsão.

Uma regressão OLS com intercepto dá média dos erros \(\bar e_A=1/3\) bp. A soma dos produtos com a diferença centralizada é \(\sum d_t(e_{A,t}-\bar e_A)=16,4\), enquanto \(\sum d_t^2=42\). Portanto, a inclinação é \(16,4/42\approx0,3905\). Neste exemplo didático, um ajuste linear que acrescenta cerca de 39% da diferença de B em relação a A está associado à estrutura dos erros de A.

Se o intercepto fizer parte da combinação, a correção estimada será \(1/3+0,3905d_t\). Não suponha que o peso de uma combinação sem intercepto seja igual. As seis observações apenas demonstram a aritmética do coeficiente; não sustentam um valor-p, uma conclusão de significância, desempenho fora da amostra ou generalização.

Encompassing condicional e incondicional são perguntas diferentes. Especifique se o conjunto de informações contém apenas as duas previsões ou também variáveis de estado, como condições econômicas ou volatilidade. Verifique se cada variável estava disponível em cada origem. Acrescentar informação que só ficou conhecida depois muda a pergunta em tempo real.

Decida se o peso da combinação é livre ou restrito, por exemplo, a \(0\leq w\leq1\). Uma OLS sem restrições pode estimar um peso fora desse intervalo. Isso não é erro de cálculo: a especificação permite extrapolação, e não apenas uma média das duas previsões. Combinações restritas e irrestritas são problemas de estimação diferentes.

Defina antes da estimação se o viés será corrigido com um intercepto e se as variáveis serão centralizadas. Alterar intercepto, restrições ou variáveis condicionantes depois de ver o resultado mistura escolha de especificação com inferência. Informe a hipótese nula, a equação de combinação, as informações usadas, a amostra de estimação e o procedimento inferencial em conjunto.

Confirme se \(y_t\), \(f_A\) e \(f_B\) em cada linha se referem ao mesmo alvo, horizonte, unidade, origem e cutoff de informação. Uma previsão de retorno mensal não é automaticamente comparável a uma previsão de retorno acumulado até o fim do mês seguinte. Registre também atrasos de divulgação e revisões do alvo.

Cada previsão deve usar apenas os dados disponíveis naquele momento. Arquive a janela de treinamento, a versão do modelo, a agenda de reestimação, as transformações e a seleção de hiperparâmetros. Se a previsão depender de coeficientes estimados, verifique se a amostra de estimação não inclui o período de avaliação ou informações futuras. Valores ajustados dentro da amostra não substituem previsões fora da amostra que tenham sido efetivamente arquivadas na época.

Separe o período de escolha dos pesos e modelos da avaliação final. Na origem \(t\), use apenas resultados conhecidos antes de \(t\) para definir a regra e avalie A e B para o mesmo alvo futuro. Previsões de vários períodos que se sobrepõem podem gerar erros ou perdas dependentes. A inferência deve refletir o desenho, sem tratar cada linha como independente.

Se a série de erros da regressão apresentar heterocedasticidade e autocorrelação, considere um estimador de covariância HAC adequado ao desenho e ao horizonte. Newey e West (1987) apresentam um estimador de matriz de covariância semidefinido positivo e consistente diante de heterocedasticidade e autocorrelação (Newey–West, 1987). {source:neweyWest1987} Informe o estimador e a regra de defasagens usada. O erro-padrão HAC, por si só, não resolve os problemas de distribuição nula decorrentes da não normalidade ou de modelos aninhados.

Não rejeitar a hipótese nula não prova que as previsões sejam equivalentes nem que A seja superior. Significa que o teste especificado não detectou informação adicional de forma clara. Baixo poder, amostra curta, erros de previsão muito correlacionados ou especificação inadequada podem ocultar informação. Uma afirmação de equivalência exige um desenho e uma margem definidos para esse teste.

Rejeitar a hipótese nula tampouco prova que B gere lucro ou supere os custos de negociação. Informação preditiva não é o mesmo que desempenho de uma estratégia após regras de decisão, preços de execução, spread, comissões, impacto de mercado, financiamento e limites de risco. A utilidade para uma estratégia precisa ser avaliada separadamente.

Para permitir reprodução, informe alvo e horários das previsões, como ambas foram geradas, cutoff de informação, intercepto e restrições, variáveis condicionantes, período da amostra, tratamento de dados ausentes, hipótese nula, estatística e método para estimar o erro-padrão. Diga se os modelos são aninhados e qual é o papel dos parâmetros estimados. Se apresentar RMSE, trate-o como uma pergunta separada.

• Chong e Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), *Review of Economic Studies*, 53(4), 671–690
• Harvey, Leybourne e Newbold, “Tests for Forecast Encompassing” (1998), *Journal of Business & Economic Statistics*, 16(2), 254–259
• Clark e McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), *Journal of Econometrics*, 105(1), 85–11000071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), *Journal of Business & Economic Statistics*, 19(1), 29–33
• Newey e West, “A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987), *Econometrica*, 55(3), 703–708