Регрессия Минсера—Зарновица: тест смещения и калибровки прогноза

Предположим, модель торговой стратегии прогнозирует доходность за один период или экономист оценивает рост в следующем квартале. Средняя ошибка прогноза на проверочной выборке может быть нулевой. Это аргумент против устойчивого завышения или занижения прогноза, но не доказательство того, что прогнозы изменяются один к одному с последующими результатами. Они могут быть чрезмерно резкими, слишком сглаженными или линейно смещёнными, а положительные и отрицательные ошибки просто взаимно компенсируются.

Регрессия MZ показывает эту вторую проблему, когда реализованный результат регрессируют на прогноз. Минсер и Зарновиц предложили этот подход при оценке экономических прогнозов (глава 1969 года). Это диагностический инструмент для точечных прогнозов числовой величины, особенно если прогнозируется условное среднее при квадратичной функции потерь. Он не сравнивает, какая из двух моделей имеет меньшие средние потери: этот отдельный вопрос рассматривает руководство по тесту Диболда—Мариано.

Это различие важно и в исследованиях торговли. Доходность может иметь небольшое среднее смещение, но неверный масштаб прогноза; прогноз волатильности может быть занижен в одном диапазоне и завышен в другом. Регрессия выявляет линейное несоответствие, однако результат зависит от проверочной выборки, определения цели, момента доступности информации и метода статистического вывода. Сам по себе тест не показывает, что из прогноза можно построить прибыльное торговое правило.

Для каждого момента выпуска (t) сопоставьте прогноз (f_{t+h\mid t}) с более поздним реализованным значением цели (y_{t+h}), которое он должен был предсказать на фиксированном горизонте (h). Для компактности далее эти согласованные наблюдения обозначены как ((f_t,y_t)): индекс (t) нумерует пары, хотя сам прогноз был сделан раньше, на соответствующем информационном срезе. Обе величины должны относиться к одной переменной, горизонту, единицам измерения и правилам временной привязки. Если прогнозируется доходность за пять дней, а в качестве результата берётся доходность за один день, регрессия уже не проверяет калибровку для исходной цели.

Используйте прогнозы, которые действительно были доступны в каждом исходном моменте. Сохраняйте значения прогноза, версии модели, винтаж данных и информационный срез. Первые публикации макроэкономических показателей позднее могут пересматриваться; заранее определите, оцениваете ли вы калибровку относительно первой публикации или окончательного значения, и придерживайтесь этого выбора. Подстановка пересмотренных исторических данных может дать оценке информацию, которой у первоначального прогнозиста не было.

Для торговых рядов последовательно согласуйте компоненты доходности от закрытия до закрытия, внутри дня и за ночь. Перекрывающиеся многопериодные цели создают зависимость соседних ошибок прогноза. Важна и общая выборка: если у одной модели нет прогнозов именно на волатильные даты, различие в составе дат может выглядеть как проблема калибровки. Для сравниваемых рядов прогнозов используйте одну цель и одно расписание исходных моментов.

Отделяйте сгенерированные прогнозы от подогнанных значений. Если модель оценили на тех же наблюдениях, которые вошли в регрессию MZ, внутривыборочная подгонка может создать видимость калибровки. Для вывода о будущих прогнозах сформируйте хронологическую последовательность вневыборочных прогнозов, переоценивайте модель только по информации, доступной в каждом исходном моменте, и оставьте итоговый проверочный период вне выбора модели и порогов.

Стандартная регрессия уровней имеет вид

yₜ = α + β fₜ + uₜ

где (yₜ) — реализованное целевое значение, (fₜ) — прогноз, а (uₜ) — остаток регрессии. Стандартное совместное ограничение калибровки —

H₀: α = 0 и β = 1

Если оба ограничения верны, линейная связь между результатом и прогнозом — это прямая тождества. Постоянная поправка не нужна, а изменение прогноза на единицу соответствует изменению подогнанного результата на единицу. Оцените регрессию, а затем совместно проверьте оба ограничения с помощью критерия Вальда или эквивалентного F-теста, используя оценку ковариации, подходящую для схемы выборки. Отдельные тесты свободного члена и наклона не заменяют тест их совместного ограничения.

Остаток регрессии (uₜ) не всегда равен исходной ошибке прогноза (yₜ − fₜ). При совместной нулевой гипотезе они совпадают, но при её нарушении оценённые свободный член и наклон поглощают линейный сдвиг и изменение масштаба. Публикуйте исходную ошибку прогноза вместе с коэффициентами, чтобы показать и средний промах, и связь калибровки.

Ограничение MZ нередко называют тестом несмещённости или рациональности прогноза. Уточняйте, какое определение имеется в виду. Нулевая безусловная средняя ошибка — это условие (E[yₜ − fₜ] = 0); ограничения ((α = 0, β = 1)) задают конкретную линейную связь и, как правило, являются более сильными. Холден и Пил показывают, что стандартное совместное ограничение достаточно, но не необходимо для несмещённости в их формулировке (1990). Не используйте слова «несмещённый» и «откалиброванный по MZ» как синонимы, не уточнив проверяемое ограничение.

<!-- learn:illustration -->

Рассмотрим три условных прогноза и последующих результата:

Среднее прогноза равно 2, среднее результата также равно 2, а средняя ошибка прогноза — ноль. Но значения удовлетворяют (yₜ = 1 + 0.5 fₜ), поэтому свободный член регрессии MZ равен (α = 1), а наклон (β = 0.5), а не ((0,1)). Ошибки взаимно компенсируются, хотя линейное ограничение калибровки нарушено: в этом искусственном примере реализованные значения меняются лишь на половину изменения прогноза.

Это арифметическая иллюстрация, а не рыночные данные и не выборка для статистического вывода. По трём точкам без шума нельзя осмысленно сообщать p-значение или утверждать, что реальная система прогнозирования не работает. В настоящей выборке совместный тест учитывает неопределённость оценивания: большое отклонение коэффициентов может быть неточным, а малое — точно оценённым при большом числе наблюдений. Пример лишь показывает, что средняя ошибка и ограничения MZ отвечают на разные вопросы.

Перекалибровка вида (1 + 0.5 fₜ) точно воспроизведёт эти три результата, потому что она построена по ним. Это не означает, что она сработает позже. Если перекалибровка входит в процедуру прогноза, оцените её на более раннем обучающем отрезке, а скорректированный прогноз проверьте на более поздних данных, которые не определяли коэффициенты.

Свободный член (α) — это подогнанный результат при нулевом прогнозе, поэтому его практический смысл зависит от того, лежит ли ноль в диапазоне прогнозов или рядом с ним. Наклон (β) показывает, насколько меняются подогнанные результаты при изменении прогноза. При учёте свободного члена наклон меньше единицы означает, что прогноз меняется сильнее, чем подогнанный результат; наклон больше единицы — что сильнее меняется подогнанный результат. Если второй коэффициент тоже не ограничен, ни один из них по отдельности не описывает всю связь.

Высокий (R²) не доказывает калибровку. Например, при точной зависимости (yₜ = 2 + 1.1 fₜ) имеем (R² = 1), но свободный член и наклон не удовлетворяют нулевой гипотезе MZ. (R²) суммирует долю вариации, объясняемую линейной аппроксимацией; совместный тест выясняет, совпадает ли эта прямая с линией тождества. И наоборот, шумный прогноз может иметь низкий (R²), даже если совместное ограничение не отвергается. Калибровка и точность — связанные, но разные свойства.

Не делайте вывод о калибровке только по двум отдельным t-статистикам. Оценки свободного члена и наклона могут коррелировать, поэтому совместная статистика Вальда/F использует их ковариацию. Сообщайте (α), (β), их неопределённость, совместную статистику и p-значение, объём выборки и среднюю исходную ошибку. При необходимости покажите диаграмму рассеяния или средние по интервалам вместе с линией тождества; если интервалы выбраны после просмотра данных, укажите это. Линейный тест может не заметить нелинейную ошибку калибровки, смену режимов или ошибки в хвостах распределения.

При квадратичной функции потерь оптимальный точечный прогноз — условное ожидание цели относительно информационного множества прогнозиста. Это требует, чтобы информацию, уже доступную в момент прогноза, нельзя было использовать для предсказания последующих ошибок. Регрессия MZ проверяет только линейную связь константы и самого прогноза. Она не проверяет автоматически остальные переменные информационного множества.

Более строгая диагностика добавляет заранее заданные информационные переменные (zₜ) в регрессию ошибок прогноза, например:

yₜ − fₜ = δ₀ + δ₁ zₜ + vₜ

Если переменная, известная в исходный момент прогноза, предсказывает будущие ошибки, возможно, прогноз не использовал часть полезной информации. Время измерения переменных нужно согласовать правильно и выбирать их осмотрительно: проверка множества лагов, рыночных режимов и преобразований создаёт новую проблему множественного поиска. Отсутствие предсказуемости в коротком списке переменных не доказывает эффективность относительно всего информационного множества.

Зарновиц при оценке опросных прогнозов рассматривает смещение, серийную корреляцию, размер выборки и мощность тестов (рабочая статья NBER 1070, 1983). Поэтому описывайте MZ как линейную диагностику калибровки или ограниченную проверку эффективности прогноза, а не как доказательство того, что прогнозист оптимально использовал всю релевантную информацию. Руководство по тесту Джакомини—Уайта посвящено отдельному условному сравнению выбранных моментов потерь.

Ошибки прогноза могут быть гетероскедастичными, серийно коррелированными или перекрывающимися — особенно при скользящих многопериодных прогнозах. Обычные формулы OLS для коэффициентов сами по себе не гарантируют корректных стандартных ошибок для совместного ограничения. Используйте и указывайте метод вывода, обоснованный для горизонта прогноза, структуры зависимости и схемы оценивания. Не существует единственной автоматической ширины окна или поправки для всех схем.

Оценённые прогнозы создают дополнительную сложность. Если на одной короткой выборке оценивают параметры модели, строят поправку калибровки и проверяют её, обычная регрессионная неопределённость может не учитывать всю процедуру. При сравнении точности вложенных прогнозных моделей нулевое распределение тоже может быть нестандартным. Используйте результат, выведенный для фактической процедуры построения прогноза, либо задайте процедуру перекалибровки полностью и оцените её на более поздней отложенной выборке. Не перебирайте спецификацию регрессии, цель и выборку, а затем не выдавайте последнее p-значение за подтверждающее.

Неотклонение гипотезы не доказывает калибровку: возможны низкая мощность или широкий доверительный интервал. Отвержение также условно относительно цели, выборки, линейной формы и оценки ковариации. Проверяйте чувствительность к разумным вариантам оценки, но описывайте такие проверки отдельно от заранее заданного теста. Это особенно важно, когда прогнозы очень устойчивы во времени или в выборке мало независимых эпизодов.

MZ проверяет линейное ограничение калибровки между прогнозом и реализованной целью. Тест Диболда—Мариано, напротив, проверяет равенство средних потерь двух процедур прогнозирования при выбранной функции оценки. Один прогноз может быть хорошо откалиброван, но уступать по этой функции потерь; другой может быть точнее в среднем, но нарушать ограничение MZ.

Если вопрос в том, меняется ли точность в зависимости от информации, доступной в исходный момент, тест Джакомини—Уайта оценивает выбранные условные моменты потерь. Если перебирали множество прогнозов или торговых правил и оцениваете семейство кандидатов, процедуры для всего семейства — например, Model Confidence Set или White Reality Check/Hansen SPA — отвечают на другую проблему выбора. Ни один из этих методов не заменяет чёткого определения цели и честных моментов выпуска прогноза.

Стандартная регрессия уровней MZ предназначена для точечных прогнозов числовой цели. Для прогнозов квантилей, вероятностей, интервалов и плотностей нужны тесты калибровки и функции оценки, соответствующие объекту прогноза. Хороший результат для прогноза среднего нельзя без отдельного обоснования переносить на риск в хвосте распределения или распределение волатильности.

Укажите цель прогноза, горизонт, единицы, информационный срез, даты оценки, винтаж данных и то, были ли прогнозы действительно вневыборочными. Приведите точное уравнение регрессии, определение ошибки и проверяемые ограничения. Уточните, означает ли «несмещённость» нулевую среднюю ошибку или совместное ограничение MZ ((α = 0, β = 1)).

Сообщите оценки коэффициентов, стандартные ошибки или доверительные интервалы, совместную статистику Вальда/F, степени свободы, p-значение, число исходных моментов прогноза, среднюю ошибку и (R²), пояснив ограниченность его интерпретации. Опишите ковариационный или ресэмплинговый метод, особенно при перекрывающихся горизонтах или серийной зависимости ошибок. Раскройте оценивание модели, перекалибровку, отбор, а также опробованные альтернативные цели, выборки и преобразования.

Прозрачное описание позволяет отделить среднее смещение, линейную калибровку, эффективность использования информации и сравнительную точность. Это разные эмпирические утверждения. Выполнение одного ограничения регрессии не подтверждает все способы применения прогноза, а оценка прогноза сама по себе не доказывает доходность торговли после издержек.