Комбинирование прогнозов: равные и оценённые веса

Комбинация берёт два или более прогноза одной величины и формирует единый прогноз. Если модели A, B и C предсказывают реализованную дисперсию завтра, их значения можно усреднить или взвесить по-разному. Результат — новый прогноз, а не голосование за правильную модель.

Входные прогнозы должны относиться к одной цели, моменту выпуска, горизонту, единицам и информационному набору. Нельзя напрямую усреднять однодневный прогноз дисперсии и месячный прогноз волатильности только потому, что оба называются волатильностью. Сначала задайте общее измеряемое значение и интервал.

Комбинация полезна, когда правдоподобные модели отражают разные свойства ряда или неизвестно, какая сохранит преимущество. Алгоритмы не обязаны быть совершенно разными: важно совместное поведение ошибок, а не названия моделей.

В исходном примере Bates и Granger составной прогноз имел меньшую среднеквадратичную ошибку, чем каждый из двух компонентов, для данных о пассажирских авиаперевозках. Это основание проверять комбинации, но не гарантия улучшения на другом рынке, цели, периоде или функции потерь (Bates и Granger, 1969).

Для \(K\) прогнозов равновзвешенная комбинация равна

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Каждый компонент вносит одинаковую долю. Для весов не нужна обучающая выборка, а правило легко воспроизвести. Это полезный ориентир, даже если итоговый способ будет оценивать или ограничивать веса.

Равные веса не означают, что прогнозы одинаково точны, независимы или одинаково важны для решения. Это лишь означает, что процедура не оценивает отдельные веса по прошлым результатам. Общая ошибка всех входов, например общий пропуск одного эффекта, останется и в среднем.

Число названий моделей не измеряет разнообразие информации. Три модели волатильности могут использовать одни доходности, границы торговой сессии и частоту наблюдений и одинаково пропустить ночное движение. Усреднение само по себе не исправит этот пропуск. Сравнивайте архивные вневыборочные ошибки и не считайте разные названия доказательством независимости.

Пусть три модели прогнозируют волатильность следующей сессии как 12, 15 и 20 базисных пунктов. Равновзвешенный прогноз равен \((12+15+20)/3=15.67\) б.п. Это показывает только арифметику: один прогнозный момент не говорит о точности или прибыльности правила.

Проверяйте, являются ли входы дисперсией или стандартным отклонением. Усреднить прогнозы дисперсии, а затем извлечь корень — обычно не то же самое, что усреднить прогнозы стандартного отклонения. Используйте одно определение цели и единицы при последующей оценке.

Линейную комбинацию с оценёнными весами можно записать так:

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Один теоретический результат предполагает, что ошибки каждого прогноза имеют нулевое среднее, цели совпадают, а сумма весов равна единице. Пусть \(\Sigma_e\) — ковариационная матрица ошибок компонентов. Если бы она была известна и обратима, веса минимума дисперсии при этих ограничениях были бы

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

Это ориентир, а не указание обратить шумную выборочную ковариационную матрицу. На практике \(\Sigma_e\) оценивают по конечному архиву ошибок. Сильно коррелированные входы могут сделать оценку почти вырожденной; тогда небольшие изменения данных приводят к большим изменениям весов.

Если дисперсии ошибок двух прогнозов равны \(\sigma^2\), дисперсия их равновзвешенного среднего равна \(\sigma^2(1+\rho)/2\), где \(\rho\) — корреляция ошибок. При дисперсии каждой ошибки 4 и нулевой корреляции дисперсия среднего равна 2. При корреляции 0.90 она равна 3.8. Возможность снизить дисперсию зависит от совместного поведения ошибок, а не названий моделей. Если прогнозы смещены, среднеквадратичная ошибка также включает квадрат смещения.

Другой подход — регрессировать наблюдённую цель на архивные прогнозы компонентов, часто с константой. Granger и Ramanathan описывают линейные регрессии, где веса не обязаны суммироваться к единице. Константа и свободные веса могут скорректировать среднее смещение в обучающей выборке, но это уже подогнанная поправка прогноза, а не обязательно доля портфеля (Granger и Ramanathan, 1984).

Задайте ограничения до оценки. Неотрицательные веса с суммой один дают выпуклое среднее между минимальным и максимальным компонентом. Отрицательные веса или константа могут вывести результат за этот диапазон. Для калиброванного прогноза это иногда уместно, но для неотрицательной цели вроде дисперсии может не подойти.

Пусть три модели выдали прогнозы 12, 15 и 20 б.п. для одной цели следующей сессии. Правило, оценённое только на более ранних прогнозных моментах, назначило веса 0.50, 0.30 и 0.20. Тогда

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{б.п.} \]

Веса неотрицательны и суммируются к единице, поэтому результат лежит между компонентами. Отличие от 15.67 б.п. объясняется весами; оно не доказывает превосходство взвешенного прогноза.

Веса на момент \(t\) можно оценивать только по ошибкам, фактические цели которых уже были известны к этому моменту. В историческом тесте прогноз 14.5 б.п. в момент \(t\) не может использовать цель в \(t+1\) или более поздние наблюдения.

После наблюдения цели сохраните прогнозы компонентов, комбинацию, фактическую прокси и функцию потерь. Повторение этого процесса позволяет сравнивать правила на общих датах, но один расчёт не подтверждает устойчивого преимущества.

Оптимальные веса для известных генеральных ковариаций ошибок отличаются от оценок по короткой выборке. Оценивание добавляет неопределённость. Когда прогнозы похожи, ошибки могут быть сильно коррелированы, а оптимизация — подстроиться под небольшие исторические различия, которые не сохранятся.

Симуляции и пример макроэкономического прогнозирования Kang показали, что веса комбинации могут быть нестабильны, а простое среднее — работать лучше в рассмотренных условиях (Kang, 1986). Обзор Timmermann описывает влияние ошибки оценки, нестабильности моделей и зависимости ошибок (Timmermann, 200601004-9)).

Анализ парадокса комбинирования прогнозов подчёркивает тот же конечновыборочный вопрос: выводы для фиксированных «оптимальных» весов не обязательно сохраняются, когда веса сами оценены (Claeskens и соавторы, 2016). Это не доказывает, что равные веса всегда лучше. Более сложное правило должно показать преимущество при вневыборочном сравнении.

<!-- learn:illustration -->

Можно начать с равных весов, ограничить число входов, стягивать оценки к равным долям или наложить простое ограничение. Каждое решение — компромисс между гибкостью и шумом оценивания. Выбирайте его на обучающих данных и фиксируйте правило до финального тестового периода.

Каждый архивный прогноз должен быть воспроизводимым из данных, доступных в указанном моменте выпуска. Для каждого момента заново оцените модель на доступных тогда данных, сохраните метку времени, версию модели и определение цели. Подогнанные внутри выборки значения не заменяют исторические прогнозы: модель могла использовать ещё неизвестные наблюдения.

Согласуйте архив по цели и моменту выпуска. В каждой строке прогнозы должны относиться к одному будущему интервалу, а их информационные наборы заканчиваться в один момент принятия решения. До оценки комбинации явно определите обработку пропусков: незаметное изменение набора входов меняет смысл весов по датам.

Отделяйте оценивание весов от финальной оценки. При скользящем происхождении веса для \(t\) можно оценить только по прошлым прогнозам с уже наблюдёнными целями, выдать комбинацию в \(t\), а затем оценить её после наблюдения цели. Расширяющееся окно использует все допустимые прошлые моменты, скользящее забывает старые по заранее заданной длине. Эти варианты по-разному реагируют на изменение качества.

Если компонентные модели, преобразования, горизонты, ограничения весов или функции потерь выбраны после просмотра отложенного периода, этот период стал частью разработки. Оставьте новый тестовый период или используйте вложенную оценку, где каждый этап выбора остаётся внутри обучающих данных.

Сравнивайте равновзвешенное правило, оценённые или стянутые веса и отдельные прогнозы на одних моментах и относительно одной наблюдённой цели. Указывайте функцию потерь и общий набор дат. Иначе метод может выглядеть лучше только потому, что оценивался на более лёгких днях или другой цели.

Функция потерь должна соответствовать цели и вопросу. Квадратичная ошибка сильнее штрафует крупные промахи; абсолютная задаёт им иной вес. При оценке прогноза волатильности по шумной реализованной мере важны условия прокси и потери; руководство по QLIKE и квадратичной ошибке разбирает различия. Не выбирайте функцию потерь после того, как увидели, какой метод она предпочитает.

Тест сравнения прогнозов помогает оценить, согласуется ли наблюдаемая разница потерь с выборочной вариацией. Руководство Diebold–Mariano описывает парное сравнение потерь и предположения для перекрывающихся или зависимых ошибок. Результат теста не устраняет заглядывание вперёд и не доказывает экономическую ценность.

Если вы перебрали наборы моделей, ограничения весов и правила потерь, а затем оставили лучший вариант на том же периоде, сравнение отражает этот поиск. White Reality Check и вероятность переобучения бэктеста обсуждают выбор среди множества торговых правил. Они не заменяют чистый архив прогнозов или заранее заданную оценку.

Проверочная схема должна соответствовать горизонту использования. Если ежедневные прогнозы относятся к перекрывающимся многодневным целям, соседние потери могут зависеть друг от друга. Учитывайте это при оценке неопределённости и не считайте множество перекрывающихся строк таким же числом независимых экспериментов.

Сначала проверьте, что именно прогнозирует каждая модель. Условное среднее, дисперсия, квантиль и полное распределение вероятностей — разные объекты. Линейное среднее точечных прогнозов само по себе не даёт калиброванную плотность или надёжный прогноз хвостового риска.

Для строго неотрицательной величины, например дисперсии, проверьте результат комбинации. Выпуклое среднее неотрицательных прогнозов остаётся неотрицательным; регрессия с отрицательными весами или константой может дать отрицательное значение. Обрезка результата на нуле меняет правило и должна быть задана до оценки.

Важно и число прогнозов. Добавление слабых или почти дублирующих входов увеличивает число оцениваемых весов без существенного прироста информации. Если архив короток относительно \(K\), предпочитайте прозрачное правило малой размерности и проверьте, не зависит ли вывод от одного компонента.

Комбинирование модельных прогнозов — не то же самое, что объединение торговых позиций. Меньшая статистическая потеря не доказывает, что стратегия будет зарабатывать после комиссий, спреда, проскальзывания, рыночного воздействия и ограничений риска. Построение прогноза и использующее его торговое правило требуют отдельных вневыборочных подтверждений.

В отчёте назовите цель, горизонт, единицы, модели-компоненты, временные метки выпуска, период архива и правило обработки пропусков. Укажите, равны ли веса, оценены, ограничены, стянуты или меняются во времени, а также как выбирались настройки.

Покажите результат равновзвешенного ориентира, выбранной комбинации и лучшего индивидуального прогноза на одних датах. Укажите функцию потерь, метод оценки неопределённости и обработку перекрывающихся целей. Если веса резко меняются между окнами, покажите нестабильность, а не только итоговые значения.

Разделяйте эмпирический вывод и вывод о решении. Формулировка «в этой выборке при этой функции потерь комбинация имела меньшую среднюю потерю» точнее и воспроизводимее, чем «комбинирование улучшает торговлю». Первое проверяется по сохранённому архиву; второе требует стратегии, предположений об исполнении и отдельной оценки.