Тест охвата прогнозов: содержит ли один прогноз информацию другого?

Пусть для одной и той же будущей величины доступны два прогноза. Прогноз A охватывает прогноз B, если B не добавляет полезной для прогноза информации сверх той, что уже содержится в A — в рамках выбранной линейной или эконометрической постановки. Идея связана с комбинированием: если дополнительная доля B не помогает улучшить A, отдельное включение B не нужно для этой цели.

Это утверждение зависит от набора данных, момента выпуска, горизонта, информационного множества и ограничений на комбинацию. Оно не говорит, что B «бесполезен» вообще: другой горизонт, цель, условная переменная или период могут привести к иному ответу. Chong и Hendry развивают проверку охвата как способ оценивать прогнозы эконометрических моделей, используя сами прогнозы, даже когда подробности чужой модели недоступны. {source:chongHendry1986ForecastEncompassing}

Сопоставьте прогнозы f_{A,t} и f_{B,t}, сделанные для одной цели (y_t), одного горизонта и одного момента происхождения. Для каждой строки информационный отсечный момент должен быть одинаковым: ни один прогноз не может использовать данные, ставшие известными позже. Сверьте единицы измерения, календарь, версию данных, пропуски и набор общих дат.

Сохраняйте именно прогнозы, которые могли быть сделаны в реальном времени, а не подогнанные на всей выборке значения. Для макроданных пересмотры статистики могут раскрыть будущую информацию; для рынка важны границы сессий и точные метки времени. Если состав выборки или определения цели различаются, коэффициент комбинации смешивает эти различия с прогнозной информацией.

Отделите период оценки от выбора спецификации. Многократная настройка предикторов, горизонтов, окон и преобразований на одном «тестовом» участке превращает его в часть обучения. Зафиксируйте правила до оценки и укажите все существенные изменения модели.

Обозначим ошибку A как e_{A,t}=y_t-f_{A,t}, а разницу прогнозов — как d_t=f_{B,t}-f_{A,t}. Кандидат на улучшенный прогноз можно записать так:

f_{C,t}=f_{A,t}+w d_t

При w=0 кандидат совпадает с A; при w=1 он совпадает с B; промежуточные значения смешивают два прогноза. Поскольку ошибка кандидата равна e_{A,t}-w d_t, регрессия e_{A,t}=α+w d_t+u_t даёт понятную интуицию: наклон (w) оценивает, помогает ли разница B−A линейно объяснить ошибку A после учёта среднего смещения.

В популяционной регрессии с константой наклон w равен Cov(e_A,d)/Var(d) при Var(d)>0. Поэтому H_0:w=0 означает отсутствие линейной связи между ошибкой A и разницей прогнозов после допуска постоянного смещения. Без константы условие нулевого наклона имеет вид E[e_A d]=0; оно эквивалентно нулевой ковариации только если E[e_A]=0 или E[d]=0. Совместное ограничение α=0 и w=0 дополнительно требует нулевого среднего смещения A и потому строже отдельной проверки наклона. Конкретные процедуры также различаются ограничениями, направлением альтернативы и оценкой неопределённости.

В обычной регрессии МНК оценка w не обязана лежать в диапазоне от 0 до 1: возможны отрицательный вес и вес выше единицы. Некоторые процедуры заранее ограничивают вес, что меняет допустимые комбинации и проверяемую гипотезу.

<!-- learn:illustration -->

В регрессии с константой сумма d_t равна нулю. Поэтому числитель наклона — Σ[d_t × (e_A,t − mean(e_A))] = 16.4, а знаменатель — Σ[d_t²] = 42.

Получаем ŵ = 16.4 / 42 ≈ 0.3905. В этой крошечной выборке линейная комбинация с таким весом сдвигается примерно на 39% от A в сторону B. Это только арифметика OLS-наклона по шести строкам: она не даёт надёжной оценки неопределённости или p-значения и не обосновывает перенос веса на будущие прогнозы. Для статистического вывода нужен отдельно заданный тест.

Для охвата A прогнозом B естественный линейный вопрос — равен ли нулю коэффициент при d_t при оговорённой обработке свободного члена. Альтернатива может быть двусторонней, если заранее проверяется любая добавочная линейная связь, либо односторонней, если определённая сторона коэффициента имеет смысл в конкретной процедуре. Всегда указывайте конвенцию d=f_B-f_A: при обратном порядке знак меняется.

Неполучение значимого результата не доказывает эквивалентность прогнозов и не подтверждает превосходство A. Выборка может быть слишком короткой, прогнозы — почти одинаковыми, а тест — иметь низкую мощность. Для доказательства практической близости понадобился бы отдельно заданный допуск и процедура эквивалентности, а не просто неотклонение (H_0).

Имеет значение и тип вывода. Безусловная проверка усредняет информацию по всему периоду; условная проверка спрашивает, проявляется ли добавочная ценность при конкретной информации, известной на дату прогноза. Выбор инструментов или состояний рынка после просмотра результатов создаёт новую проблему отбора.

RMSE — это квадратный корень из средней квадратичной ошибки; поэтому его рейтинг совпадает с рейтингом MSE.

Тест Диболда—Мариано сравнивает среднюю разность парных потерь двух прогнозов. Он спрашивает о равенстве ожидаемой точности по заданной функции потерь. Тест охвата вместо этого спрашивает, содержит ли один прогноз информацию другого для улучшения линейной комбинации. Более низкий RMSE у B не сам по себе отвечает на вопрос об охвате: рейтинг потерь и добавочная информация — разные свойства.

Поправка Кларка—Уэста предназначена для сравнения MSPE вложенных моделей, когда оценивание дополнительных параметров создаёт шум под нулём равной точности. Она не является универсальной формулой теста охвата. Комбинирование прогнозов описывает правила получения итогового прогноза — средние, оценки или ограничения весов; тест охвата может помочь оценить, добавляет ли конкретный компонент информацию, но не выбирает автоматически лучшую комбинацию.

Тест Минцера—Зарновица регрессирует факт на константу и прогноз, проверяя калибровку уровня и наклона. Это проверка согласованности отдельного прогноза с реализацией, а не сравнительный тест того, охватывает ли A прогноз B. {source:harveyLeybourneNewbold1998ForecastEncompassing}

При временной зависимости стандартная ошибка, предполагающая независимые наблюдения, может вводить в заблуждение. Для серийно зависимых моментов можно рассмотреть HAC-оценку ковариационной матрицы Ньюи—Уэста, если её настройки соответствуют дизайну {source:neweyWest1987}. Для отдельных постановок могут понадобиться специальные критические значения; универсального метода нет. Укажите горизонт, ядро и ширину полосы, рекурсивную или скользящую переоценку и конечновыборочную поправку, если она применяется.

Harvey, Leybourne и Newbold показывают, что естественный тест охвата на основе МНК не устойчив к ненормальности ошибок прогноза; они обсуждают альтернативные устойчивые тесты. Поэтому красивый наклон МНК не оправдывает механическое применение стандартного нормального критического значения. {source:harveyLeybourneNewbold1998ForecastEncompassing}

Если прогнозы получены из вложенных линейных моделей, распределение статистики может отличаться от стандартного невложенного случая. Clark и McCracken изучают асимптотические и конечновыборочные свойства тестов равной точности и охвата для однопериодных прогнозов из вложенных линейных моделей и дают критические значения для своих постановок; эти результаты нельзя автоматически переносить на другие дизайны. West отдельно рассматривает тесты, когда прогнозы зависят от оценённых коэффициентов регрессии: неопределённость параметров влияет на распределение статистики. {source:clarkMcCrackenNestedForecasts2001} {source:west2001EstimatedForecastsEncompassing}

Укажите целевую величину, горизонт, моменты происхождения, информационное отсечение, общий период, модель получения каждого прогноза и обработку пропусков. Запишите формулу (e_A), (d) и комбинации; уточните, включена ли константа, ограничен ли вес и какая гипотеза тестируется — односторонняя или двусторонняя, условная или безусловная.

Опишите оценивание параметров, перекрытие горизонтов, способ расчёта стандартной ошибки, распределение критических значений, число прогнозов и любые варианты спецификации, которые вы проверяли. Наряду с тестом покажите веса и их неопределённость, средние потери и RMSE на одних датах. Не называйте тест доказательством причинности, равенства, прибыльности или будущего преимущества.