Deflated Sharpe Ratio: множественные проверки и выбор бэктеста

Исследователь может тестировать разные определения сигнала, периоды ретроспективного анализа, пороги входа, инвестиционные универсумы, сроки удержания и предположения об издержках, а затем представить вариант с наибольшим коэффициентом Шарпа. Даже если у кандидатов нет реального навыка, оценки различаются из-за выборочного шума. Чем шире поиск, тем выше обычно максимальная оценка. Поэтому выбранный результат отличается от оценки одной стратегии, заданной до просмотра данных.

Deflated Sharpe Ratio, предложенный Bailey и López de Prado, учитывает два источника завышения выбранного Sharpe: множественные проверки и ненормальные доходности. Множественные проверки повышают ориентир, который должен превзойти результат; ненормальность меняет оцененную неопределенность Sharpe. В исходной работе DSR описан как Probabilistic Sharpe Ratio, рассчитанный относительно порога с поправкой на выбор. В оригинальной статье изложены вывод формулы и оценка числа попыток.

Такое объяснение помогает избежать распространенной ошибки. DSR не вычитает из опубликованного Sharpe фиксированный штраф, чтобы получить новый коэффициент доходности. Он оценивает, насколько наблюдаемый Sharpe превышает порог, зависящий от поиска, размера выборки и моментов доходности. Точечная оценка Sharpe может не измениться, а DSR снизиться из-за более слабых свидетельств. Значение самого Sharpe можно сверить с первоначальным объяснением Шарпа.

Предположим, что у всех проверяемых правил один и тот же истинный Sharpe, но каждая оценка колеблется из-за конечной выборки. Выбирая наибольшую оценку, исследователь одновременно выбирает благоприятную ошибку измерения. Это «проклятие победителя»: на новых данных выбранная оценка, скорее всего, приблизится к типичному уровню группы.

Важны и число попыток, и различия между оценками. Если кандидаты дают почти одинаковые доходности, их оценки Sharpe тесно связаны и предоставляют меньше независимых шансов случайно получить высокий максимум, чем такое же количество несвязанных кандидатов. Поэтому число строк в сетке параметров не равно автоматически числу независимых попыток.

Журнал поиска может включать решения вне формальной сетки: порог, измененный вручную, исключенный рынок или пересмотренное допущение об издержках, повлиявшее на оставшийся результат. DSR, рассчитанный только по финальным кандидатам, не учтет эксперименты, которые не были записаны или поданы в качестве входных данных.

Probabilistic Sharpe Ratio (PSR) оценивает, превышает ли выборочный Sharpe выбранный ориентир, учитывая число наблюдений доходности и оценки асимметрии и эксцесса. DSR использует тот же базовый расчет, но выбирает ориентир, который отражает ожидаемый максимум Sharpe при поиске.

Для одного распространенного приближения PSR расчет с поправкой на выбор выглядит так:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

Здесь $\Phi$ — функция распределения стандартного нормального закона, $\widehat{SR}$ — наблюдаемый Sharpe на одно наблюдение доходности, $SR_0$ — порог с поправкой на выбор в тех же единицах, а $T$ — число наблюдений. $\widehat{\gamma}_3$ — выборочная асимметрия, а $\widehat{\gamma}_4$ — эксцесс Пирсона, равный 3 для нормального распределения. Знаменатель отражает, как асимметрия и эксцесс меняют неопределенность оценки Sharpe.

Формула зависит от используемых соглашений. Используйте избыточную доходность одной частоты, рассчитывайте Sharpe и порог в той же частоте и одинаково определяйте эксцесс. Если годовое значение получить только для одной величины, сравнение изменится. Распространенная формула также опирается на предположения о зависимости наблюдений доходности. Серийную зависимость следует учитывать отдельно, а не незаметно подставлять вместо $T$.

Для $N$ независимых оценок Sharpe с приблизительно нормальным распределением Bailey и López de Prado используют приближение теории экстремальных значений ожидаемого максимума:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ и $\sigma_{SR}$ обозначают среднее и стандартное отклонение оценок Sharpe кандидатов; $\Phi^{-1}$ — квантильная функция стандартного нормального распределения, $e$ — число Эйлера, а $\gamma_E \approx 0,5772$ — постоянная Эйлера–Маскерони. Выражение оценивает, насколько высоко может подняться лучшая оценка только за счет выбора в заданной модели попыток. Это не универсальный порог для любого поиска стратегии.

Если результаты кандидатов коррелированы, предположение о независимости каждой модификации может завысить эффективное число попыток. В статье рассматривается оценка числа независимых попыток по зависимости между кандидатами, но и такая оценка является дополнительным решением при построении модели. Корреляция — лишь одна форма зависимости; оценка может быть нестабильной при большом числе кандидатов и короткой истории доходностей. Укажите исходное число кандидатов, метод оценки эффективного числа и чувствительность к правдоподобным альтернативам.

Возьмем намеренно упрощенный поиск по 20 независимым стратегиям-кандидатам. При нулевой гипотезе предположим, что средняя оценка Sharpe равна 0, а стандартное отклонение составляет 0,20 в месячных единицах. Приближение ожидаемого максимума дает порог выбора около $SR_0=0,380$ в месяц. Это предположения для демонстрации арифметики, а не рыночные наблюдения или рекомендуемый ориентир.

Теперь предположим, что у выбранной стратегии есть 60 месячных наблюдений избыточной доходности, оцененный месячный Sharpe равен 0,50, выборочная асимметрия равна 0, а эксцесс Пирсона — 3. Компонент PSR сравнивает 0,50 с 0,380, а не с нулем:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

При этих упрощающих предположениях DSR составляет около 80,7%. Это не вероятность 80,7%, что стратегия принесет прибыль в следующем месяце, и не прогноз доходности следующего месяца. Это оценка свидетельств в пользу того, что истинный Sharpe превышает выбранный порог с учетом поиска, при условии заданных модели и входных данных. Другое число попыток, оценка зависимости, выборка или форма распределения могут изменить результат.

Чувствительность к разбросу оценок в серии попыток существенна. Если изменить только предполагаемое стандартное отклонение оценок Sharpe кандидатов с 0,20 на 0,10, тот же поиск из 20 попыток дает порог около 0,190 и DSR около 98,8%. При стандартном отклонении 0,30 порог составит около 0,570, а DSR — около 30,6%. Наблюдаемый Sharpe 0,50, 60 наблюдений, асимметрия и эксцесс остаются неизменными. Этот условный анализ показывает, почему важны метод оценки разброса попыток и зависимость кандидатов; единицы измерения остаются месячными, а модель — той же упрощенной.

Две стратегии могут иметь одинаковые выборочный Sharpe и длину выборки, но разные распределения доходности. Выраженный левый хвост, асимметрия или необычно частые экстремальные наблюдения могут изменить выборочную неопределенность в знаменателе PSR. Поправка рассчитывается по измеренным моментам: она не считает все ненормальные распределения одинаково вредными и не гарантирует, что несколько выборочных моментов полностью описывают поведение хвоста.

Расчет также зависит от того, что считается одним наблюдением. Дневные, недельные и месячные данные дают разные значения $T$, Sharpe, асимметрии и эксцесса. Доходности перекрывающихся периодов удержания могут сделать соседние строки зависимыми. Сглаженные или устаревшие оценки могут выглядеть менее изменчивыми, чем лежащий в основе экономический риск. Указывайте частоту и способ построения выборки, а не считайте годовой Sharpe достаточным входом.

PBO использует комбинаторную симметричную перекрестную проверку, чтобы узнать, как часто лидер внутри выборки занимает место на медиане кандидатов или ниже на дополнительных блоках. DSR оценивает, превышает ли выбранный Sharpe порог с поправкой на поиск и ненормальность. Результаты и предположения о повторной выборке различаются, поэтому один метод не заменяет другой. См. также руководства по PBO и CSCV и множественным проверкам в финансах. Bailey и соавторы формализуют эту диагностику отбора в оригинальной статье о PBO.

White’s Reality Check использует бутстрэп, чтобы проверить, превосходит ли лучшее правило из группы кандидатов заданный ориентир с учетом подглядывания в данные. Здесь вопрос связан с ориентиром, а DSR использует порог на основе Sharpe. Хронологическая walk-forward-проверка или финальная отложенная выборка показывает, как зафиксированный процесс работает в последующие периоды. Эти подходы дополняют друг друга, поскольку оценивают разные части исследовательского утверждения. White описывает этот метод в исходной статье о Reality Check.

Воспроизводимый отчет указывает набор кандидатов, каждое задокументированное решение, повлиявшее на выбор, исходное число попыток, метод оценки эффективного числа, ряд доходностей, размер и частоту выборки, определение Sharpe, асимметрию, соглашение по эксцессу и скорректированный порог. Уточните, рассчитана ли доходность до или после учета спреда, комиссий, рыночного воздействия, фондирования, заимствования и других издержек. Покажите наблюдаемый Sharpe и DSR вместе, чтобы читатель видел разницу.

Стандартная формула предполагает выборочную модель, которая может не подходить для серийно коррелированных наблюдений. Работа Ло о статистике коэффициента Шарпа объясняет, как временная агрегация и зависимость влияют на статистический вывод о Sharpe. Если доходности перекрываются или серийно коррелированы, используйте процедуру вывода, которая учитывает эту структуру, и поясните предположения. Умножение месячного Sharpe на $\sqrt{12}$ не исправляет автокорреляцию. Для оценки с учетом времени см. также руководство по расширяющимся и скользящим walk-forward-окнам.

DSR не обнаружит незадокументированный поиск, не устранит утечку будущей информации, не сделает репрезентативными данные с систематической ошибкой выжившего, не проверит исполнение сделок, не оценит емкость и не гарантирует стабильность в новом режиме. Он также не заменяет экономическую аргументацию или более поздние хронологические свидетельства. Рассматривайте DSR как одну документированную диагностику в исследовательском процессе и сохраняйте воспроизводимость истории кандидатов и конвейера данных.