Combinación de pronósticos: pesos iguales o estimados

Una combinación toma dos o más predicciones de la misma cantidad y produce un único pronóstico. Si los modelos A, B y C pronostican la varianza realizada de mañana, sus resultados se pueden promediar o ponderar de forma distinta. El valor combinado es un nuevo pronóstico, no una votación para decidir qué modelo tiene razón.

Las entradas deben compartir objetivo, origen del pronóstico, horizonte, unidades y corte de información. No se debe promediar directamente un pronóstico de varianza para un día con otro de volatilidad mensual solo porque ambos se llamen volatilidad. Primero define una cantidad y un intervalo comunes; después alinea las predicciones.

Combinar es útil cuando varios modelos razonables captan características diferentes de una serie o no se sabe cuál seguirá siendo el mejor. No tienen que usar algoritmos completamente distintos. Para la combinación importa cómo se comportan juntos sus errores, no cuánto difieren sus nombres.

La aplicación original de Bates y Granger encontró, en un ejemplo de pasajeros de aerolíneas, que un pronóstico compuesto podía tener un error cuadrático medio menor que cualquiera de sus dos componentes. Ese resultado justifica evaluar combinaciones, pero no garantiza mejoras en otro mercado, objetivo, periodo o función de pérdida (Bates and Granger, 1969).

Para K pronósticos, la combinación con pesos iguales es

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Cada componente aporta la misma proporción. La regla no requiere una muestra de entrenamiento para estimar pesos y es fácil de reproducir. Es una referencia útil incluso si el método final estima o restringe los pesos.

Pesos iguales no significa que todos los pronósticos tengan la misma precisión, sean independientes o tengan igual importancia económica. Solo indica que el procedimiento no estima pesos separados a partir del rendimiento pasado. Si todas las entradas omiten la misma característica, el pronóstico promedio aún puede heredar ese sesgo común.

La cantidad de nombres de modelos no mide la diversidad de información. Tres modelos de volatilidad pueden usar la misma serie de retornos, el mismo límite de sesión y el mismo intervalo de muestreo, y los tres omitir el movimiento nocturno. Promediarlos no corrige automáticamente esa omisión. Comprueba si los errores archivados fuera de muestra difieren de formas útiles; no supongas que etiquetas distintas aportan evidencia independiente.

Supón que tres modelos pronostican la volatilidad de la próxima sesión en 12, 15 y 20 puntos básicos. El promedio con pesos iguales es \((12+15+20)/3=15,67\) puntos básicos. Esta cuenta ilustra la combinación; un solo origen de pronóstico no demuestra precisión ni rentabilidad.

Para pronósticos de volatilidad, comprueba si la entrada es varianza o desviación estándar. Promediar tres pronósticos de varianza y luego sacar la raíz cuadrada no equivale, en general, a promediar los pronósticos de desviación estándar. Mantén la misma definición y unidades del objetivo al evaluarlo.

Una combinación lineal estimada puede escribirse así:

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Un resultado teórico habitual supone que el error medio de cada pronóstico es cero, que todos apuntan al mismo objetivo y que los pesos suman uno. Sea \(\Sigma_e\) la matriz de covarianza de los errores de los pronósticos componentes. Si se conociera y fuera invertible, los pesos de varianza mínima bajo esas restricciones serían

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

La fórmula es una referencia, no una instrucción para invertir una matriz de covarianza muestral ruidosa. En la práctica, \(\Sigma_e\) se estima a partir de un archivo finito de errores pasados. Las entradas muy correlacionadas pueden hacer que la estimación sea casi singular, de modo que pequeños cambios en los datos produzcan grandes cambios en los pesos.

Si dos pronósticos tienen varianza de error \(\sigma^2\), la varianza de su promedio con pesos iguales es \(\sigma^2(1+\rho)/2\), donde \(\rho\) es la correlación entre sus errores. Si cada varianza de error es 4 y la correlación es cero, la varianza del promedio es 2. Si la correlación es 0,90, es 3,8. La dependencia entre errores, no las etiquetas de los modelos, determina cuánta varianza elimina el promedio. El cálculo corresponde a la varianza del error; si los pronósticos componentes tienen sesgo, el error cuadrático medio también incluye el sesgo al cuadrado.

Otra opción es hacer una regresión del objetivo realizado sobre los pronósticos componentes archivados, a menudo con intercepto. Granger y Ramanathan describen métodos de regresión lineal en los que los pesos no tienen que sumar uno. El intercepto y los pesos sin restricciones pueden corregir el sesgo medio en una muestra de entrenamiento, pero cambian la interpretación: son ajustes estimados del pronóstico, no necesariamente participaciones como las de una cartera (Granger and Ramanathan, 1984).

Define las restricciones antes de evaluar. Los pesos no negativos que suman uno crean un promedio convexo entre el menor y el mayor pronóstico componente. Permitir pesos negativos o un intercepto puede generar valores fuera de ese rango. Puede ser apropiado para un pronóstico calibrado, pero no para un objetivo que no debe ser negativo, como la varianza.

Supón que tres modelos pronostican el mismo objetivo de la próxima sesión en 12, 15 y 20 puntos básicos. Una regla estimada con orígenes anteriores cuyos resultados ya se conocían asigna pesos de 0,50, 0,30 y 0,20. El pronóstico combinado es

\[ 0{,}50(12) + 0{,}30(15) + 0{,}20(20) = 14{,}5\ \text{puntos básicos} \]

Los pesos son no negativos y suman uno, así que se trata de una combinación convexa que queda entre los pronósticos componentes. La diferencia frente a los 15,67 puntos básicos del promedio igual refleja los pesos elegidos; no demuestra que la combinación ponderada sea mejor.

Los pesos solo deben estimarse con errores cuyos resultados ya se conocían en el momento de la estimación. En una prueba histórica, el pronóstico de 14,5 puntos básicos en el origen t puede usar información disponible hasta t, pero no el objetivo observado en t+1 ni después.

Cuando el objetivo sea observable, registra los pronósticos componentes, el combinado, el proxy observado y la pérdida de evaluación. Repetir el proceso en orígenes posteriores permite comparar reglas en fechas comunes. Aun así, un cálculo de ejemplo no es evidencia de una ventaja persistente.

Los mejores pesos cuando se conoce la covarianza poblacional de los errores no son iguales a los estimados a partir de una muestra corta. Los pesos estimados añaden otra fuente de incertidumbre. Si los pronósticos componentes son parecidos, sus errores pueden estar muy correlacionados y la optimización puede explotar pequeñas diferencias históricas que no persistirán.

Las simulaciones y la aplicación macroeconómica de Kang encontraron que los pesos de combinación podían ser inestables y que un promedio simple podía funcionar mejor en la práctica en esos contextos (Kang, 1986). La revisión de Timmermann describe cómo el error de estimación, la inestabilidad del modelo y la dependencia entre errores afectan a las combinaciones (Timmermann, 200601004-9)).

Un análisis posterior de la paradoja de la combinación de pronósticos destaca el mismo problema de muestra finita: los resultados para pesos “óptimos” fijos no necesariamente se mantienen cuando esos pesos también se estiman (Claeskens et al., 2016). Esto no demuestra que los pesos iguales siempre ganen. Explica por qué una regla más compleja debe justificar su uso en una comparación fuera de muestra.

<!-- learn:illustration -->

Entre las posibles respuestas están empezar con pesos iguales, limitar el número de entradas, acercar los pesos estimados a partes iguales mediante shrinkage o imponer una restricción sencilla. Cada opción intercambia flexibilidad por ruido de estimación. Elige usando los datos de entrenamiento y documenta la regla; no selecciones la versión más atractiva después de mirar el periodo final de prueba.

Cada pronóstico componente del archivo debe haber podido producirse en el origen indicado. Reconstruye cada modelo usando solo los datos disponibles entonces y guarda la marca temporal del pronóstico, la versión del modelo y la definición del objetivo. Los valores ajustados dentro de muestra no sustituyen a pronósticos históricos genuinos porque el modelo pudo usar observaciones aún desconocidas.

Alinea el archivo por objetivo y origen. En cada fila, los pronósticos componentes deben apuntar al mismo intervalo futuro y su información de entrenamiento debe terminar en el mismo momento de decisión. Elimina o trata explícitamente los pronósticos faltantes antes de estimar la combinación; cambiar silenciosamente las entradas puede hacer que los pesos signifiquen algo distinto en cada fecha.

Separa la estimación de pesos de la evaluación final. Un procedimiento de origen móvil puede estimar los pesos con pronósticos cuyos resultados se observaron antes de t, emitir la combinación en t y evaluarla cuando se conozca el objetivo. Una ventana expansiva usa todos los orígenes pasados admisibles; una ventana móvil descarta los antiguos según una longitud fijada de antemano. Pueden adaptarse de forma diferente cuando cambia el rendimiento.

Si eliges modelos, transformaciones, horizontes, restricciones de peso o pérdidas después de examinar un periodo de validación, ese periodo ya forma parte del desarrollo del modelo. Reserva un nuevo periodo de prueba o usa una evaluación anidada que mantenga cada paso de selección dentro de los datos de entrenamiento.

Compara la regla de pesos iguales, cualquier regla estimada o con shrinkage y los pronósticos individuales en los mismos orígenes y frente al mismo objetivo realizado. Informa la pérdida y la muestra común. De otro modo, un método puede parecer mejor solo porque se evaluó en fechas más fáciles o con otra definición del objetivo.

La pérdida debe corresponder al objetivo y a la pregunta. El error cuadrático penaliza con fuerza cuadrática los errores grandes; el error absoluto pondera de otra forma las desviaciones grandes. En pronósticos de volatilidad evaluados frente a medidas realizadas ruidosas, importan las condiciones del proxy y la pérdida elegida. La guía de QLIKE y error cuadrático explica esas diferencias. No elijas la pérdida después de ver qué método favorece.

Una prueba de comparación de pronósticos puede ayudar a cuantificar si las diferencias observadas en pérdidas son compatibles con la variación muestral. La guía de Diebold–Mariano trata las comparaciones pareadas y los supuestos relevantes cuando los errores se solapan o mantienen dependencia. Un resultado de la prueba no corrige el look-ahead ni demuestra valor económico.

Si probaste muchos conjuntos de componentes, restricciones de pesos o reglas de pérdida y conservaste la versión que parecía mejor en el mismo periodo, la comparación también refleja esa búsqueda. La guía de White Reality Check y la guía de probabilidad de sobreajuste del backtest abordan la selección entre muchas reglas de trading; ninguna sustituye un archivo limpio de pronósticos ni una evaluación planificada de antemano.

Usa un diseño de validación que refleje el horizonte previsto. Si los orígenes diarios pronostican resultados superpuestos a varios días, las pérdidas sucesivas pueden depender unas de otras. Tenlo en cuenta al estimar la incertidumbre y no trates muchas filas superpuestas como el mismo número de experimentos independientes.

Antes de combinar, comprueba qué pronostica cada modelo. La media condicional, la varianza, un cuantil y una distribución de probabilidad completa son objetos distintos. El promedio lineal de pronósticos puntuales no produce automáticamente una densidad calibrada ni una estimación fiable del riesgo de cola.

En cantidades estrictamente no negativas como la varianza, revisa los valores combinados antes de usarlos. El promedio convexo de pronósticos no negativos sigue siendo no negativo; una regresión con pesos negativos o intercepto puede no serlo. Recortar valores negativos a cero cambia la regla de pronóstico y debe especificarse antes de la evaluación.

También importa cuántos pronósticos se combinan. Añadir entradas débiles o casi duplicadas puede aumentar el número de pesos ajustados sin aportar mucha información nueva. Si el archivo histórico es corto en relación con K, prefiere una regla transparente de pocas dimensiones y muestra que el resultado no depende de un solo componente.

Combinar pronósticos de modelos no es lo mismo que combinar posiciones de trading. Una pérdida estadística menor no demuestra que una estrategia que usa el pronóstico gane más después de comisiones, spread, deslizamiento, impacto de mercado y límites de riesgo. La construcción del pronóstico y la regla de trading que lo utiliza necesitan evidencia fuera de muestra por separado.

Un informe útil identifica objetivo, horizonte, unidades, modelos componentes, marcas temporales de origen, periodo del archivo y regla para datos faltantes. Especifica si los pesos son iguales, estimados, restringidos, contraídos o variables en el tiempo, y cómo se eligió cada ajuste.

Muestra en las mismas fechas de evaluación la referencia de pesos iguales, la combinación elegida y el mejor pronóstico individual. Incluye la función de pérdida, el método de incertidumbre y el tratamiento de resultados superpuestos. Si los pesos cambian mucho entre ventanas, muestra esa inestabilidad y no solo los valores finales.

Por último, separa la afirmación empírica de la afirmación sobre decisiones. “Esta combinación tuvo menor pérdida media en esta muestra y con esta función de pérdida” es más acotado y reproducible que “combinar pronósticos mejora el trading”. La primera afirmación se puede comprobar con un archivo guardado; la segunda necesita una estrategia, supuestos de ejecución y evidencia propia.