Combinação de previsões: pesos iguais ou estimados

Uma combinação de previsões reúne duas ou mais estimativas da mesma grandeza em uma única previsão. Se os modelos A, B e C preveem a variância realizada de amanhã, seus resultados podem ser calculados em média ou receber pesos diferentes. O valor combinado é uma nova previsão, não uma votação sobre qual modelo está correto.

As entradas precisam se referir ao mesmo alvo, origem da previsão, horizonte, unidades e limite de informação. Não se deve calcular diretamente a média entre uma previsão de variância para um dia e uma previsão de volatilidade para um mês só porque ambas tratam de volatilidade. Primeiro, defina a mesma grandeza e o mesmo intervalo; depois, alinhe as previsões.

A combinação pode ajudar quando vários modelos plausíveis capturam características diferentes de uma série ou quando não está claro qual deles continuará sendo o melhor. Eles não precisam vir de algoritmos completamente distintos. Para combinar previsões, o que importa é como os erros se comportam em conjunto, não o quanto os nomes dos modelos diferem.

Na aplicação original com dados de passageiros de companhias aéreas, Bates e Granger encontraram uma combinação cujo erro quadrático médio podia ser menor do que o de cada uma das duas previsões individuais. Esse resultado é uma razão para testar combinações, não uma garantia de melhora para outro mercado, alvo, período ou função de perda (Bates e Granger, 1969).

Para \(K\) previsões, a combinação com pesos iguais é

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Cada componente contribui com a mesma parcela. Essa regra não precisa de uma amostra de treinamento para estimar os pesos e é fácil de reproduzir. Ela continua sendo uma referência útil mesmo quando o método final estimar ou restringir os pesos.

Pesos iguais não significam que todas as previsões tenham a mesma precisão, sejam independentes ou tenham a mesma importância econômica. Significam apenas que o procedimento não estima pesos separados com base no desempenho passado. Se todas as entradas deixam de capturar o mesmo fator, a combinação também pode herdar esse viés compartilhado.

O número de nomes de modelos não mede a diversidade das informações. Três modelos de volatilidade podem usar a mesma série de retornos, os mesmos limites de sessão e o mesmo intervalo de amostragem, e todos podem deixar passar o movimento durante a noite. Calcular a média não corrige automaticamente essa omissão. Confira se os erros fora da amostra arquivados diferem de maneira útil; não presuma que nomes diferentes representam evidências independentes.

Suponha que três modelos prevejam a volatilidade da próxima sessão em 12, 15 e 20 pontos-base. A previsão com pesos iguais será \((12+15+20)/3 = 15,67\) pontos-base. Essa conta mostra como a combinação é formada; uma única origem de previsão não demonstra que a regra seja precisa ou lucrativa.

Para volatilidade, verifique se a entrada representa variância ou desvio-padrão. Calcular a média de três previsões de variância e depois tirar a raiz quadrada geralmente não equivale a calcular a média das previsões de desvio-padrão. Use a mesma definição do alvo e as mesmas unidades que serão avaliadas depois.

Uma combinação linear estimada pode ser escrita assim:

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Um resultado teórico comum supõe que o erro médio de cada previsão seja zero, que o alvo seja o mesmo e que os pesos somem um. Seja \(\Sigma_e\) a matriz de covariância dos erros das previsões componentes. Se essa matriz fosse conhecida e invertível, os pesos de variância mínima sob essas restrições seriam

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

Essa fórmula é uma referência, não uma instrução para inverter uma matriz de covariância amostral ruidosa. Na prática, \(\Sigma_e\) é estimada a partir de um arquivo limitado de erros de previsão. Entradas muito correlacionadas podem deixar a estimativa quase singular, de modo que pequenas mudanças nos dados produzam grandes mudanças nos pesos.

Para duas previsões com a mesma variância de erro \(\sigma^2\), a variância da média com pesos iguais é \(\sigma^2(1+\rho)/2\), em que \(\rho\) é a correlação entre os erros. Se cada erro tiver variância 4 e a correlação for zero, a média terá variância 2. Se a correlação for 0,90, a variância será 3,8. É a dependência entre os erros, não o nome dos modelos, que determina quanta variância a média pode remover. Esse cálculo trata da variância do erro; quando as previsões componentes têm viés, o erro quadrático médio também inclui o viés ao quadrado.

Outra abordagem faz a regressão do alvo realizado sobre previsões componentes arquivadas, muitas vezes incluindo um intercepto. Granger e Ramanathan discutem métodos de regressão linear em que os pesos não precisam somar um. O intercepto e pesos irrestritos podem corrigir o viés médio na amostra de treinamento, mas mudam a interpretação: os coeficientes são ajustes estimados da previsão, não necessariamente participações semelhantes a pesos de carteira (Granger e Ramanathan, 1984).

Defina as restrições antes da avaliação. Pesos não negativos que somam um formam uma combinação convexa, dentro do menor e do maior valor das previsões componentes. Pesos negativos ou um intercepto podem gerar valores fora desse intervalo. Isso pode ser adequado para uma previsão calibrada, mas não necessariamente quando o alvo, como a variância, precisa continuar não negativo.

Imagine que três modelos emitiram previsões para o mesmo alvo da próxima sessão: 12, 15 e 20 pontos-base. Uma regra de pesos estimada em origens anteriores atribui \(0.50\), \(0.30\) e \(0.20\), respectivamente. A previsão combinada é

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{pontos-base} \]

Os pesos são não negativos e somam um, por isso o resultado é uma combinação convexa entre as previsões componentes. A diferença em relação aos 15,67 pontos-base da média com pesos iguais decorre dos pesos escolhidos; ela não mostra que a previsão ponderada seja melhor.

Os pesos devem ter sido estimados somente com erros de previsões cujos resultados já eram conhecidos no momento da estimação. Em um backtest histórico, a previsão de 14,5 pontos-base na origem \(t\) pode usar informações disponíveis até \(t\), não o alvo realizado em \(t+1\) ou depois.

Quando o alvo se tornar observável, registre as previsões componentes, a combinação, o proxy realizado e a perda de avaliação. Repetir o procedimento em origens posteriores permite comparar regras nas mesmas datas. Isso não transforma um único exemplo numérico em evidência de uma vantagem persistente.

Os melhores pesos para covariâncias populacionais conhecidas dos erros não são iguais aos estimados com uma amostra curta. Pesos estimados acrescentam outra camada de incerteza. Quando as previsões componentes são semelhantes, seus erros podem ser altamente correlacionados, e a otimização pode explorar pequenas diferenças históricas que não vão persistir.

As simulações e a aplicação a previsões macroeconômicas de Kang mostraram que os pesos de combinação podem ser instáveis e que uma média simples pode ter melhor desempenho na prática naqueles contextos (Kang, 1986). A revisão de Timmermann descreve como o erro de estimação, a instabilidade dos modelos e a dependência entre erros podem afetar as combinações de previsões (Timmermann, 200601004-9)).

Análises posteriores do paradoxo da combinação de previsões destacam o mesmo ponto em amostras finitas: resultados derivados de pesos “ótimos” fixos não necessariamente se mantêm quando esses pesos também são estimados (Claeskens et al., 2016). Isso não prova que pesos iguais sempre vencem. Explica por que uma regra mais complexa precisa justificar sua escolha numa comparação fora da amostra.

<!-- learn:illustration -->

Entre as respostas possíveis estão começar com pesos iguais, limitar o número de entradas, encolher os pesos estimados em direção a parcelas iguais ou impor uma restrição simples. Cada escolha troca flexibilidade por ruído de estimação. Selecione a regra com dados de treinamento e informe como ela foi definida; não escolha a versão mais atraente depois de examinar o período final de teste.

Cada previsão componente arquivada deve ser reproduzível com as informações disponíveis na origem indicada. Recrie cada modelo usando apenas os dados que estavam disponíveis naquele momento, preserve o registro de data e hora da previsão e salve a versão do modelo e a definição do alvo. Valores ajustados dentro da amostra não substituem previsões históricas genuínas, porque o modelo pode ter usado observações que ainda não eram conhecidas.

Alinhe o arquivo por alvo e origem. Em cada linha, as previsões componentes precisam tratar do mesmo intervalo futuro, e suas informações de treinamento devem terminar no mesmo momento de decisão. Remova ou trate explicitamente previsões ausentes antes de estimar a combinação; deixar o conjunto de entradas mudar sem avisar pode alterar o significado dos pesos entre datas.

Mantenha a estimação dos pesos separada da avaliação final. Um procedimento de origem móvel pode estimar pesos com previsões cujos resultados foram observados antes de \(t\), emitir a combinação em \(t\) e avaliá-la quando o alvo for observado. Uma janela expansiva usa todas as origens passadas elegíveis; uma janela móvel descarta as mais antigas após um comprimento definido previamente. Cada opção pode reagir de maneira diferente a mudanças no desempenho.

Se os modelos componentes, as transformações, os horizontes, as restrições de pesos ou as funções de perda foram escolhidos depois de examinar um período de holdout, esse período passou a fazer parte do desenvolvimento. Reserve um novo período de teste ou use uma avaliação aninhada, mantendo todas as etapas de seleção dentro dos dados de treinamento.

Compare a regra de pesos iguais, qualquer regra estimada ou encolhida e as previsões individuais nas mesmas origens e contra o mesmo alvo realizado. Informe a perda de avaliação e a amostra comum. Caso contrário, um método pode parecer melhor apenas por ter sido avaliado em datas mais fáceis ou com uma definição diferente do alvo.

A perda deve corresponder ao alvo e à pergunta. O erro quadrático aplica uma penalidade quadrática à distância; o erro absoluto dá um peso diferente a grandes desvios. Para previsões de volatilidade avaliadas contra medidas realizadas ruidosas, importam as condições do proxy e a função de perda escolhida. O guia de QLIKE e erro quadrático explica essas diferenças. Não escolha a perda depois de ver qual método ela favorece.

Um teste de comparação de previsões pode ajudar a avaliar se as diferenças observadas nas perdas são compatíveis com a variação amostral. O guia do teste de Diebold–Mariano aborda comparações pareadas e as hipóteses relevantes quando erros de previsões se sobrepõem ou continuam dependentes. Um resultado do teste não corrige viés de antecipação nem prova valor econômico.

Se você testou muitos conjuntos de componentes, restrições de pesos ou regras de perda e manteve a versão que parecia melhor no mesmo período de avaliação, a comparação também reflete essa busca. O guia do White Reality Check e o guia da probabilidade de sobreajuste do backtest tratam da seleção entre muitas regras de negociação; nenhum substitui um arquivo de previsões limpo ou um plano de avaliação definido previamente.

Use uma validação que represente o horizonte pretendido. Se origens diárias geram alvos de vários dias que se sobrepõem, as perdas sucessivas podem ser dependentes. Leve essa dependência em conta ao estimar a incerteza e não trate muitas linhas sobrepostas como o mesmo número de experimentos independentes.

Antes de combinar, verifique o que cada modelo prevê. Média condicional, variância, quantil e distribuição completa de probabilidade são objetos distintos. A média linear de previsões pontuais não produz automaticamente uma densidade calibrada nem uma estimativa confiável do risco de cauda.

Para quantidades estritamente não negativas, como variância, inspecione o resultado combinado antes de usá-lo. Uma média convexa de previsões não negativas continua não negativa; uma regressão estimada com pesos negativos ou intercepto pode não continuar. Limitar valores negativos a zero altera a regra de previsão e deve ser definido antes da avaliação.

O número de previsões também importa. Adicionar entradas fracas ou quase duplicadas pode aumentar a quantidade de pesos estimados sem trazer muita informação nova. Se o arquivo histórico for curto em relação a \(K\), prefira uma regra transparente e de poucas dimensões e mostre que a conclusão não depende de apenas um componente.

Combinar previsões de modelos é diferente de combinar posições de negociação. Uma perda estatística menor não mostra que uma estratégia baseada na previsão ganhará mais depois de taxas, spread, slippage, impacto no mercado e limites de risco. A construção da previsão e a regra de negociação que a utiliza precisam de evidências fora da amostra separadas.

Um relatório útil identifica o alvo, o horizonte, as unidades, os modelos componentes, os horários das origens, o período do arquivo e a regra para dados ausentes. Ele informa se os pesos são iguais, estimados, restritos, encolhidos ou variáveis no tempo, além de explicar como cada ajuste foi escolhido.

Mostre os resultados da referência com pesos iguais, da combinação selecionada e da previsão individual mais forte nas mesmas datas de avaliação. Inclua a função de perda, o método de incerteza e o tratamento de alvos sobrepostos. Se os pesos mudarem bastante entre janelas, mostre essa instabilidade em vez de apresentar apenas os valores finais.

Por fim, separe a afirmação empírica da afirmação sobre a decisão. “Esta combinação teve perda média menor nesta amostra e sob esta função de perda” é mais precisa e reproduzível do que “combinar previsões melhora as negociações”. A primeira pode ser testada com um arquivo de previsões salvo; a segunda exige uma estratégia, hipóteses de execução e evidências separadas.