QLIKE e erro quadrático em previsões de volatilidade: proxies ruidosos

Um modelo de volatilidade prevê o grau de dispersão de um retorno futuro, não se esse retorno será positivo ou negativo. Para avaliá-lo, primeiro defina o alvo: por exemplo, a variância condicional do retorno de amanhã, medida em pontos-base ao quadrado. Uma previsão de desvio padrão, uma previsão de variância e uma estimativa intradiária de variância realizada são grandezas relacionadas, mas não são intercambiáveis sem uma transformação e um horizonte especificados.

Essa questão é diferente de como o modelo gera sua previsão. O guia de GARCH explica uma maneira de atualizar a variância condicional com base em retornos anteriores. Este guia começa depois que dois ou mais modelos já produziram previsões e pergunta como compará-las com uma medida imperfeita da variância que ocorreu depois.

“Melhor previsão” não tem um significado único até que o alvo, a amostra de avaliação e a função de perda sejam definidos. Um modelo pode ficar em primeiro lugar com uma função de perda e em segundo com outra, pois cada uma atribui um custo diferente aos erros de previsão

Seja vₜ a variância condicional não observada do retorno-alvo, hₜ uma previsão feita com as informações disponíveis antes desse retorno e xₜ um proxy observado usado na avaliação. Um proxy comum é o retorno ao quadrado, que só é condicionalmente não viesado para a variância quando a média condicional do retorno é zero. Se a média condicional não for zero, o retorno bruto ao quadrado estima o segundo momento condicional, não a variância condicional; é possível construir um proxy a partir dos retornos após remover a média condicional. A variância realizada, calculada com retornos intradiários, pode oferecer uma medida mais informativa da variação ao longo de uma sessão, mas ainda mede um intervalo e depende das regras de amostragem e dos dados de preços.

Remover a média não elimina automaticamente o viés do proxy quando a média condicional é estimada. Se mₜ = E[rₜ | Fₜ₋₁], hₜ = Var(rₜ | Fₜ₋₁) e a média estimada m̂ₜ é fixada com as informações disponíveis na origem da previsão, então E[(rₜ − m̂ₜ)² | Fₜ₋₁] = hₜ + (mₜ − m̂ₜ)². Assim, qualquer erro previsível na estimação da média acrescenta ao proxy um termo não negativo. Antes de invocar um resultado de não viés condicional, informe como a média é estimada e se o proxy tem como alvo a variância ou o segundo momento.

Faça xₜ e hₜ corresponderem ao mesmo ativo, definição de retorno, janela temporal, horizonte e unidades. Se xₜ estiver em bp², hₜ também deve estar em bp²; nesse caso, a perda por erro quadrático estará em bp⁴. Uma previsão diária entre fechamentos não deve ser avaliada contra uma medida realizada que exclui o intervalo noturno, a menos que esse seja o alvo pretendido.

Mantenha os valores do proxy e as previsões de todos os modelos para as mesmas datas de avaliação. Se um modelo não tiver previsão para uma data, defina previamente uma amostra comum ou uma regra justificada para dados ausentes. Comparar médias de datas diferentes pode misturar o desempenho dos modelos com as condições de mercado enfrentadas por cada um

Para um proxy de variância não negativo xₜ e uma previsão de variância positiva hₜ, a perda por erro quadrático é

L_MSE(xₜ, hₜ) = (xₜ − hₜ)²

A perda QLIKE é

L_QLIKE(xₜ, hₜ) = log(hₜ) + xₜ / hₜ

Valores menores indicam uma pontuação melhor. QLIKE também costuma ser escrita na forma equivalente de razão, xₜ/hₜ − log(xₜ/hₜ) − 1, quando xₜ é estritamente positivo. As duas fórmulas diferem por um termo que depende do proxy observado, mas não da previsão; por isso, produzem o mesmo ranking em uma amostra comum. A forma log(hₜ) também continua definida quando xₜ é zero, desde que hₜ seja positivo. Patton apresenta essas definições de perdas para variância e estuda seu comportamento com proxies imperfeitos (Patton, 2011).

QLIKE corresponde a uma pontuação de quase-verossimilhança gaussiana para previsões de variância (Hansen e Lunde, 2005). Essa relação não demonstra que os retornos tenham distribuição gaussiana, e uma pontuação baixa não confirma as hipóteses distributivas do modelo. Já o erro quadrático mede a diferença absoluta entre o proxy e a previsão e a eleva ao quadrado. Escolha a regra de pontuação que corresponda ao objetivo da comparação e às hipóteses sobre o proxy

O erro quadrático é expresso em unidades de variância ao quadrado e cresce rapidamente quando o proxy e a previsão estão distantes. Por isso, alguns valores muito altos do proxy podem dominar a média. Isso pode ser adequado quando grandes erros absolutos em unidades de variância devem receber muito mais peso, mas torna o resultado sensível a observações extremas.

Multiplicar xₜ e hₜ pela mesma constante positiva de conversão de unidade c adiciona log(c) a log(hₜ) + xₜ/hₜ. Como esse termo é comum às previsões avaliadas no mesmo conjunto de proxies, os rankings não mudam; o valor absoluto do termo logarítmico depende da unidade escolhida. A função responde à razão entre previsão e proxy por meio de xₜ/hₜ e à escala de hₜ por meio de log(hₜ). Quando a previsão é muito baixa em relação a um proxy alto, o termo da razão cresce acentuadamente; superestimar também tem um custo maior à medida que log(hₜ) cresce, mas a uma taxa mais lenta para erros proporcionais comparáveis. QLIKE não é uma perda resistente a valores extremos: um proxy extremo ainda contribui por meio de xₜ/hₜ.

Nenhuma das duas pontuações é sempre melhor para toda decisão. O erro quadrático dá mais peso a grandes erros absolutos em unidades de variância, enquanto QLIKE tem um perfil diferente para erros relativos. O resultado de Patton sobre robustez a proxies não afirma que essas perdas sempre classifiquem as previsões do mesmo modo, nem que alguma delas seja imune a valores extremos

Suponha que os proxies de variância observados sejam x = [1, 4] bp². O modelo A prevê hᴬ = [1, 1] bp², enquanto o modelo B prevê hᴮ = [4, 2] bp². Os valores são hipotéticos e foram escolhidos para mostrar como a perda pode inverter a ordem dos modelos.

MSE favorece o modelo A: sua pontuação média é 4,5 bp⁴, contra 6,5 bp⁴ para o modelo B. QLIKE favorece o modelo B: sua pontuação média é cerca de 2,165, contra 2,5 para A. Essas duas linhas demonstram apenas a aritmética. São poucas observações para estimar a incerteza, provar que uma previsão é melhor ou dizer algo sobre uma estratégia de negociação <!-- learn:illustration -->

Um proxy de volatilidade pode conter ruído e ainda ser condicionalmente não viesado. Suponha que E[xₜ | Fₜ₋₁] = vₜ, em que Fₜ₋₁ representa as informações disponíveis no momento em que a previsão é feita. A perda quadrática esperada para uma previsão hₜ formada com essas informações é

E[(xₜ − hₜ)² | Fₜ₋₁] = (vₜ − hₜ)² + Var(xₜ | Fₜ₋₁)

O termo da variância não depende da previsão avaliada. Ele aumenta o MSE esperado de todas as previsões pelo mesmo valor e, portanto, se cancela ao comparar as perdas esperadas. Para QLIKE, a não tendenciosidade condicional implica

E[log(hₜ) + xₜ/hₜ | Fₜ₋₁] = log(hₜ) + vₜ/hₜ

Essa é a pontuação que seria obtida usando a variância latente no lugar do proxy. Nessas condições, cada perda preserva o ranking esperado de previsões de variância concorrentes em relação ao alvo latente. Patton (2011) chama essa propriedade de ranking robusto a proxy; o termo se refere ao ruído nos rankings esperados, não à resistência a valores extremos.

O resultado pressupõe a mesma informação condicional, um proxy condicionalmente não viesado, previsões positivas para QLIKE e perdas esperadas finitas. Ele não diz que MSE e QLIKE classificarão os mesmos modelos de modo idêntico. No exemplo de dois períodos, as duas perdas são calculadas com as mesmas observações ruidosas, mas atribuem pesos diferentes aos erros de previsão

A invariância do ranking esperado não garante que toda amostra observada produza o mesmo ranking da variância latente. O ruído do proxy acrescenta variação às perdas observadas e pode reduzir o poder de uma comparação de previsões. Um período de avaliação curto pode classificar os modelos de modo diferente apenas porque alguns valores do proxy foram excepcionalmente altos ou baixos por acaso, mesmo quando a não tendenciosidade condicional vale em média.

A garantia também deixa de valer se o proxy for condicionalmente viesado para o alvo definido. A variância realizada de alta frequência pode ser afetada por bid–ask bounce, cotações desatualizadas ou assíncronas, frequência de amostragem e retornos noturnos omitidos. Um proxy voltado à variância integrada intradiária pode não ser uma medida não viesada da variância condicional entre fechamentos. O guia de cálculo da volatilidade realizada discute escolhas de construção, e o guia da variância realizada em duas escalas apresenta um estimador desenvolvido para lidar com parte do ruído de microestrutura em dados de alta frequência. Hansen e Lunde (2006) documentam como o ruído de microestrutura de mercado pode afetar a medição da variância realizada (Hansen e Lunde, 2006).

“Robusto” tem aqui um significado restrito: quando o proxy é condicionalmente não viesado, o ranking esperado é preservado. Isso não significa que a pontuação na amostra ignore valores extremos, que qualquer medida de volatilidade realizada seja não viesada ou que a comparação esteja protegida contra incompatibilidade com o alvo. Especifique o que o proxy mede e quais hipóteses o relacionam a vₜ

Para duas previsões hᴬₜ e hᴮₜ fixadas na mesma origem, a diferença esperada de MSE é E[L_MSE(xₜ,hᴬₜ) − L_MSE(xₜ,hᴮₜ) | Fₜ₋₁] = (vₜ − hᴬₜ)² − (vₜ − hᴮₜ)². Sob a mesma condição do proxy, a diferença esperada de QLIKE é log(hᴬₜ) + vₜ/hᴬₜ − log(hᴮₜ) − vₜ/hᴮₜ. Essas expressões mostram o que a robustez do ranking ao proxy elimina: o ruído adicional na pontuação esperada do proxy. Ainda assim, as comparações entre previsões permanecem diferentes, pois MSE e QLIKE atribuem custos distintos aos erros.

Depois de escolher a pontuação, calcule a diferença pareada de perdas em cada origem de previsão comum. Com dₜ = L_A,ₜ − L_B, uma média positiva favorece B, pois B tem a perda menor. Um teste de Diebold–Mariano avalia se a diferença esperada é zero usando a série temporal dessas diferenças pareadas; ele não escolhe entre QLIKE e MSE nem estabelece qual alvo deve ser relevante. O guia de Diebold–Mariano explica o quadro de inferência mais amplo.

Se as previsões de horizontes múltiplos se sobrepõem, ou se as diferenças entre pontuações forem serialmente correlacionadas por outros motivos, use um erro padrão que leve a dependência em conta, como uma estimativa HAC apropriada. Newey e West (1987) apresentam um estimador HAC semidefinido positivo da matriz de covariância (Newey–West, 1987). Informe o horizonte, as origens de avaliação, o sinal da diferença de perdas, o método de covariância e, quando pertinente, o kernel e a largura de banda. Um valor-p pequeno não corrige um proxy viesado ou incompatível com o alvo

Use um desenho cronológico fora da amostra e salve as previsões que cada modelo teria realmente produzido em cada origem. Fixe o alvo, a construção do proxy, o horizonte, a unidade, a amostra comum e a perda antes de verificar qual modelo obteve a melhor pontuação. Registre as janelas de estimação, as regras de reestimação, as observações ausentes e se o período de avaliação foi usado repetidamente para ajustar os modelos. Se comparar MSE e QLIKE e relatar apenas o vencedor, revele essa escolha em vez de apresentá-la como um único teste predefinido.

Informe a perda média de cada modelo, a diferença pareada, o tamanho da amostra, a definição do proxy e o método de inferência. QLIKE exige hₜ positivo; defina qualquer piso para a previsão antes da avaliação, pois ele pode alterar as pontuações. Verifique a sensibilidade a escolhas defensáveis de proxy e amostragem, deixando claro que testar muitas opções também cria um problema de seleção.

Uma perda de volatilidade menor mede o desempenho segundo a pontuação e o proxy escolhidos. Ela não mostra que um indicador causa volatilidade, que os retornos tenham distribuição normal ou que uma estratégia baseada na previsão dê lucro após spreads, tarifas, slippage, financiamento e restrições de risco. Avalie a capacidade de previsão e os resultados de negociação como afirmações separadas