Regressão de Mincer–Zarnowitz: teste o viés e a calibração da previsão

Imagine um modelo que prevê o retorno do próximo período ou uma economista que estima o crescimento do próximo trimestre. A média dos erros de previsão na amostra de avaliação pode ser zero. Isso é um indício contrário a uma superestimação ou subestimação média persistente, mas não mostra que os valores previstos variam na mesma proporção que os resultados posteriores. As previsões podem ser extremas demais, comprimidas demais ou deslocadas linearmente, enquanto erros positivos e negativos se cancelam.

A regressão MZ torna essa segunda questão visível ao regredir o resultado realizado sobre a previsão. Mincer e Zarnowitz apresentaram esse método ao avaliar previsões econômicas (capítulo de 1969). É um diagnóstico para previsões pontuais de um alvo numérico, especialmente quando se busca a média condicional sob perda quadrática. Não compara qual de dois modelos tem a menor perda média; para essa pergunta, consulte o guia de Diebold–Mariano.

A distinção também importa em pesquisas de trading. Uma previsão de retorno pode ter pouco viés médio e ainda assim estar na escala errada; uma previsão de volatilidade pode ficar alta demais em uma faixa e baixa demais em outra. A regressão pode apontar uma incompatibilidade linear, mas o resultado depende da amostra de avaliação, da definição do alvo, do momento em que as informações estavam disponíveis e do método de inferência. Ela não prova que uma previsão possa se transformar em uma regra de trading lucrativa.

Para cada origem de previsão t, associe uma previsão (fₜ) ao alvo realizado depois (yₜ) que ela pretendia antecipar. Cada par tem horizonte fixo: (fₜ) foi emitida em uma origem anterior para o alvo posterior (yₜ); nas equações seguintes, o índice t é uma notação compacta para esses pares. Os dois valores devem se referir à mesma variável, horizonte, unidade e convenção de horário. Associar a previsão de retorno de cinco dias a um retorno realizado de um dia não testa a calibração para o alvo pretendido.

Use previsões que realmente estavam disponíveis em cada origem e preserve o valor previsto, a versão do modelo, a versão histórica dos dados e o horário de corte da informação. Os primeiros dados macroeconômicos divulgados podem ser revisados mais tarde. Decida se a calibração será avaliada contra a divulgação inicial ou contra um valor final revisado e mantenha essa escolha. Substituir os dados históricos de entrada por valores revisados pode dar à avaliação informações que o previsor original não tinha.

Em séries de trading, alinhe de forma consistente os componentes de fechamento a fechamento, intradiário e overnight. Alvos de vários períodos sobrepostos também criam dependência entre erros de previsão consecutivos. Uma amostra de avaliação comum é importante: se faltam previsões de um modelo justamente nos dias voláteis, uma diferença na composição das datas pode parecer um problema de calibração. Use os mesmos alvos e o mesmo calendário de origens para todas as séries avaliadas.

Separe previsões realmente geradas de valores ajustados. Se o modelo foi estimado com as mesmas observações usadas na regressão MZ, o ajuste dentro da amostra pode dar a impressão de calibração. Para fazer uma afirmação sobre previsões futuras, construa uma sequência cronológica fora da amostra, reestime o modelo em cada origem usando somente o que estava disponível naquele momento e reserve um período final de confirmação que não tenha sido usado para escolher modelo ou limiar.

A regressão padrão em níveis é

yₜ = α + β fₜ + uₜ

em que (yₜ) é o alvo realizado, (fₜ) é a previsão e (uₜ) é o resíduo da regressão. A restrição conjunta de calibração mais usada é

H₀: α = 0 e β = 1

Se ambas as restrições forem válidas, a relação linear ajustada entre resultado e previsão será a linha de identidade. Não será necessário um deslocamento constante, e um aumento de uma unidade na previsão corresponderá a um aumento de uma unidade no resultado ajustado. Estime a regressão e teste as duas restrições em conjunto com Wald ou um teste F equivalente, usando uma estimativa de covariância compatível com o desenho amostral. Testar o intercepto e a inclinação separadamente não equivale a testar a restrição conjunta.

O resíduo (uₜ) não é automaticamente o erro bruto de previsão (yₜ − fₜ). Eles são iguais sob a hipótese nula conjunta; fora dela, o intercepto e a inclinação estimados absorvem um deslocamento e uma mudança linear de escala. Informe também o erro de previsão observado, além dos coeficientes, para mostrar tanto o erro médio quanto a relação de calibração.

A restrição MZ às vezes é chamada de teste de não tendenciosidade ou racionalidade da previsão. Defina o termo com precisão. A condição de erro médio incondicional zero é (E[yₜ − fₜ] = 0); as restrições (α = 0, β = 1) impõem uma relação linear específica e, em geral, são mais fortes. Holden e Peel mostram que, na formulação deles, a restrição conjunta convencional é suficiente, mas não necessária, para a não tendenciosidade (1990). Não trate “não tendenciosa” e “calibrada por MZ” como sinônimos sem explicar qual restrição foi testada.

<!-- learn:illustration -->

Considere três previsões hipotéticas e os resultados posteriores:

A média das previsões é 2, assim como a média dos resultados, e o erro médio de previsão é zero. Mesmo assim, os valores seguem (yₜ = 1 + 0.5 fₜ), então a regressão MZ tem intercepto (α = 1) e inclinação (β = 0.5), e não (0, 1). Os erros se anulam na média, mas a restrição de calibração linear falha: neste exemplo construído, o resultado varia apenas metade do que varia a previsão.

Esta é uma ilustração aritmética montada para explicar o conceito, não são dados de mercado nem uma amostra para inferência. Três pontos sem ruído não justificam um valor-p significativo ou a conclusão de que um sistema real de previsão falhou. Em uma amostra verdadeira, o teste conjunto considera a incerteza da estimação. Um grande desvio de coeficiente pode ser estimado com pouca precisão; um pequeno pode ser estimado com precisão quando há observações suficientes. O exemplo mostra apenas que erro médio e restrição MZ respondem a perguntas diferentes.

Um recalibrador como (1 + 0.5 fₜ) reproduziria exatamente esses três resultados por ter sido construído com eles. Isso não demonstra que funcionará depois. Se a recalibração faz parte do procedimento, estime-a em um segmento de treino anterior e avalie a previsão ajustada em dados posteriores que não determinaram aqueles coeficientes.

O intercepto (α) é o resultado ajustado quando a previsão é zero; seu sentido prático depende de zero estar dentro ou perto da faixa prevista. A inclinação (β) descreve o quanto o resultado ajustado muda com a previsão. Considerando o intercepto, uma inclinação abaixo de um significa que a previsão varia mais por unidade do que o resultado ajustado; acima de um significa o contrário. Nenhum dos coeficientes, sozinho, descreve toda a relação quando o outro também é livre.

Um (R²) alto não comprova calibração. Por exemplo, a relação sem ruído (yₜ = 2 + 1.1 fₜ) tem (R² = 1), mas não satisfaz a hipótese nula MZ. O (R²) resume quanto da variação amostral é explicado pelo ajuste linear; o teste conjunto pergunta se a reta ajustada é a linha de identidade. Por outro lado, uma previsão ruidosa pode ter (R²) baixo mesmo sem rejeição da restrição conjunta. Calibração e precisão estão relacionadas, mas são propriedades diferentes.

Não deduza o resultado de calibração apenas pelos dois testes t individuais. As estimativas do intercepto e da inclinação podem ser correlacionadas, e a estatística Wald/F conjunta usa essa covariância. Informe α, β e sua incerteza, a estatística conjunta e o valor-p, o tamanho da amostra e o erro bruto médio. Um gráfico de dispersão com a linha de identidade ou uma comparação por grupos pode ajudar; avise se os grupos foram escolhidos depois de examinar os dados. Um teste linear pode não identificar relação curva, mudança de regime ou erros específicos nas caudas.

Sob perda quadrática, a previsão pontual ótima é a esperança condicional do alvo dado o conjunto de informações do previsor. Isso implica que informações disponíveis na origem não deveriam prever erros posteriores. Mas a regressão MZ verifica somente uma relação linear que envolve a própria previsão e uma constante; não testa todas as outras variáveis desse conjunto de informações.

Um diagnóstico mais rigoroso pode incluir variáveis informativas (zₜ), definidas de antemão, em uma regressão do erro, por exemplo:

yₜ − fₜ = δ₀ + δ₁ zₜ + vₜ

Se uma variável conhecida na origem prevê erros posteriores, pode ter ficado informação útil de fora. O momento em que cada variável estava disponível e sua seleção precisam ser cuidadosos; experimentar muitos atrasos, estados de mercado e transformações cria outro problema de busca múltipla. Não encontrar previsibilidade em uma lista curta não prova eficiência em relação a todo o conjunto de informações.

Zarnowitz discute viés, correlação serial, tamanho amostral e poder dos testes para previsões de pesquisas (NBER Working Paper 1070, 1983). Por isso, descreva MZ como diagnóstico de calibração linear ou verificação fraca de eficiência, não como prova de que todas as informações relevantes foram usadas da melhor forma. O guia Giacomini–White trata de uma comparação condicional diferente, baseada em momentos de perda selecionados.

Erros de previsão podem ser heterocedásticos, autocorrelacionados ou sobrepostos, especialmente em previsões móveis de múltiplos passos. As fórmulas usuais de OLS não garantem, por si sós, erros-padrão válidos para a restrição conjunta. Use uma inferência justificada pelo horizonte, padrão de dependência e esquema de estimação, e informe o método em vez de presumir independência. Não existe uma largura de banda ou correção única para todo desenho.

Se os parâmetros do modelo, um ajuste de calibração e seu teste forem construídos na mesma amostra curta, a incerteza convencional da regressão talvez não cubra o procedimento inteiro. Previsões aninhadas também podem gerar distribuições nulas não padrão em comparações de acurácia. Use um método derivado para a construção real da previsão ou avalie um passo de calibração completamente especificado em um conjunto de teste posterior. Não tente muitas equações, alvos e amostras para depois tratar o último valor-p como confirmação.

Não rejeitar não prova calibração; o teste pode ter baixo poder ou intervalo amplo. Rejeitar também depende do alvo, da amostra, da forma linear e da estimativa de covariância. Verifique a sensibilidade a escolhas razoáveis de avaliação, divulgue essas verificações e diferencie-as de um teste definido previamente. Isso importa especialmente para previsões persistentes ou poucos episódios independentes.

MZ testa uma restrição linear de calibração entre previsão e alvo realizado. O teste de Diebold–Mariano, por sua vez, pergunta se dois procedimentos de previsão têm a mesma perda média segundo uma métrica escolhida. Uma previsão pode estar calibrada e ainda ter desempenho pior nessa métrica, ou ser mais precisa em média e falhar na calibração MZ.

Se a pergunta é se a acurácia muda com informações conhecidas na origem da previsão, o teste Giacomini–White avalia momentos condicionais de perda selecionados. Se muitas previsões ou regras de trading foram pesquisadas, o Model Confidence Set ou White Reality Check/Hansen SPA aborda outro problema de seleção entre candidatos. Nenhum desses métodos substitui um alvo bem definido e origens de previsão honestas.

A regressão MZ padrão em níveis se aplica a previsões pontuais de um alvo numérico. Previsões de quantis, probabilidades, intervalos e densidades precisam de testes de calibração e métricas adequados a esses objetos. Um bom resultado para a média não se transfere automaticamente para uma previsão de risco de cauda ou uma distribuição de volatilidade.

Informe o alvo, horizonte, unidades, corte de informação, datas de avaliação, versão dos dados e se as previsões foram realmente geradas fora da amostra. Apresente a equação, a definição de erro de previsão e as restrições testadas. Esclareça se “não tendenciosa” significa erro médio zero ou a restrição MZ conjunta (α = 0, β = 1).

Apresente as estimativas dos coeficientes, erros-padrão ou intervalos, estatística Wald/F conjunta, graus de liberdade, valor-p, número de origens, erro médio de previsão e (R²) com interpretação limitada. Explique a covariância ou o método de reamostragem, principalmente quando há horizontes sobrepostos ou dependência serial. Informe a estimação do modelo, a recalibração, a seleção e quaisquer alvos, amostras ou transformações alternativos testados.

Um relato transparente permite distinguir viés médio, calibração linear, eficiência informacional e acurácia comparativa. São afirmações empíricas diferentes. Atender a uma restrição de regressão não valida todos os usos da previsão, e uma avaliação de previsão, sozinha, não comprova rentabilidade de trading após os custos.