Deflated Sharpe Ratio: Çoklu testler ve backtest seçimi

Bir araştırmacı farklı sinyal tanımlarını, geriye bakış dönemlerini, giriş eşiklerini, varlık evrenlerini, elde tutma sürelerini ve maliyet varsayımlarını deneyip en yüksek Sharpe oranına sahip sürümü raporlayabilir. Hiçbir adayın gerçek bir becerisi olmasa bile sınırlı örneklem nedeniyle tahminler değişir. Arama genişledikçe en yüksek tahmin yükselme eğilimindedir. Bu nedenle seçilen sonuç, verilere bakmadan önce belirlenmiş tek bir stratejinin değerlendirilmesinden farklıdır.

Bailey ve López de Prado'nun önerdiği Deflated Sharpe Ratio, seçilmiş Sharpe'ı şişiren iki kaynağı ele alır: çoklu test ve normal olmayan getiriler. Çoklu test, sonucun aşması gereken eşiği yükseltir; normallikten sapma ise Sharpe tahmininin belirsizliğini değiştirir. Özgün makale DSR'ı, seçime göre düzeltilmiş bir eşik karşısında hesaplanan Probabilistic Sharpe Ratio olarak tanımlar. Özgün makale, türetimi ve deneme sayısının nasıl tahmin edildiğini açıklar.

Bu çerçeve yaygın bir yorum hatasını önler. DSR, yeni bir performans oranı üretmek için bildirilen Sharpe'tan sabit bir cezayı mekanik olarak çıkarmaz. Gözlenen Sharpe'ın arama kapsamına, örneklem uzunluğuna ve getiri momentlerine bağlı bir eşiği ne ölçüde aştığını tahmin eder. Sharpe'ın nokta tahmini aynı kalabilir, ancak kanıt zayıfsa DSR düşebilir. Sharpe'ın anlamı için Sharpe'ın özgün açıklamasına da bakın.

Test edilen tüm kuralların gerçek Sharpe'ının aynı, ancak sonlu örneklem nedeniyle her tahminin farklı olduğunu varsayalım. En büyük tahmini seçmek, olumlu bir ölçüm hatasını da seçmek demektir. Bu, kazananın lanetidir: yeni verilerle değerlendirildiğinde seçilen tahminin grubun tipik değerine doğru gerilemesi beklenir.

Deneme sayısı kadar tahminlerin birbirinden ne ölçüde farklı olduğu da önemlidir. Adaylar neredeyse aynı getirileri üretiyorsa tahmini Sharpe'ları birbiriyle yakından ilişkilidir ve aynı büyüklükteki ilişkisiz aday grubuna kıyasla şans eseri yüksek bir maksimum bulmak için daha az bağımsız fırsat sunar. Dolayısıyla bir parametre ızgarasındaki satır sayısı, bağımsız deneme sayısı değildir.

Arama kaydı, biçimsel bir ızgaranın dışındaki kararları da kapsayabilir: elle değiştirilen bir eşik, çıkarılan bir piyasa veya elde tutulan sonucu etkileyen maliyet varsayımı değişikliği. Yalnızca son adaylardan hesaplanan DSR, kayda geçmemiş veya hesaplamaya girdi olarak verilmemiş deneyleri hesaba katamaz.

Probabilistic Sharpe Ratio (PSR), getiri gözlem sayısını ve tahmini çarpıklık ile basıklığı dikkate alarak örneklem Sharpe'ının seçilen bir referansı aşıp aşmadığını tahmin eder. DSR aynı temel hesabı kullanır, ancak aramadan beklenen maksimum Sharpe'ı yansıtan bir referans seçer.

Yaygın bir PSR yaklaşımında seçime göre düzeltilmiş hesap şöyledir:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

Burada $\Phi$ standart normal kümülatif dağılım fonksiyonu, $\widehat{SR}$ getiri gözlemi başına gözlenen Sharpe, $SR_0$ aynı birimlerde seçime göre düzeltilmiş eşik ve $T$ gözlem sayısıdır. $\widehat{\gamma}_3$ örneklem çarpıklığıdır. $\widehat{\gamma}_4$ Pearson basıklığıdır; normal dağılımda değeri 3'tür. Payda, çarpıklık ve basıklığın Sharpe tahminindeki belirsizliği nasıl değiştirdiğini yansıtır.

Bu ifade kullanılan kabullere duyarlıdır. Tek bir frekanstaki fazla getirileri kullanın, Sharpe'ı ve eşiği aynı frekansta hesaplayın, basıklığı da tutarlı biçimde tanımlayın. Bu büyüklüklerden yalnızca birini yıllıklandırmak karşılaştırmayı değiştirir. Yaygın formül, getiri gözlemlerinin bağımlılık yapısı hakkında da varsayımlara dayanır; seri bağımlılık, $T$'ye sessizce müdahale etmek yerine ayrıca ele alınmalıdır.

Dağılımları yaklaşık normal olan $N$ bağımsız Sharpe tahmini için Bailey ve López de Prado, beklenen maksimuma yönelik bir uç değer yaklaşımı kullanır:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ ve $\sigma_{SR}$ aday Sharpe tahminlerinin ortalaması ve standart sapmasıdır; $\Phi^{-1}$ standart normal kantil fonksiyonu, $e$ Euler sayısı, $\gamma_E \approx 0,5772$ ise Euler–Mascheroni sabitidir. Bu ifade, seçilen deneme modeli altında yalnızca seçim yüzünden en iyi tahminin ne kadar yükselebileceğini yaklaşık olarak verir. Her strateji araması için evrensel bir eşik değildir.

Aday sonuçları korelasyonluysa her varyasyonu bağımsız saymak etkin deneme sayısını fazla gösterebilir. Makale, adaylar arasındaki bağımlılıktan bağımsız deneme sayısını tahmin etmeyi ele alır; ancak bu tahmin de ayrı bir modelleme tercihidir. Korelasyon bağımlılığın yalnızca bir türüdür ve çok sayıda adayla kısa bir getiri geçmişine dayanan tahmin istikrarsız olabilir. Ham aday sayısını, etkin sayı için kullanılan yöntemi ve makul alternatiflere duyarlılığı bildirin.

Bilerek basitleştirilmiş bir aramada 20 bağımsız aday strateji olduğunu varsayalım. Sıfır hipotezi altında Sharpe tahminlerinin ortalamasını 0, standart sapmasını aylık birimlerde 0,20 kabul edelim. Beklenen maksimum yaklaşımı, ayda yaklaşık $SR_0=0,380$ seçme eşiği verir. Bu girdiler aritmetiği göstermek için kullanılan varsayımlardır; piyasa gözlemi ya da önerilen bir referans değildir.

Şimdi seçilmiş bir stratejinin aylık fazla getirilerden 60 gözlemi, tahmini aylık Sharpe'ı 0,50, örneklem çarpıklığı 0 ve Pearson basıklığı 3 olsun. PSR bileşeni 0,50'yi sıfırla değil, 0,380 ile karşılaştırır:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

Bu basitleştirici varsayımlarla DSR yaklaşık %80,7'dir. Bu değer, stratejinin gelecek ay kâr etme olasılığının %80,7 olduğu anlamına gelmez ve gelecek ayın getirisi için tahmin değildir. Model ve girdilere bağlı olarak, temel Sharpe'ın seçilen eşiği aştığına ilişkin kanıt tahminidir. Deneme sayısı, bağımlılık tahmini, örneklem veya getiri dağılımı farklı olursa sonuç da değişebilir.

Denemeler arasındaki tahmin dağılımına duyarlılık önemlidir. Aday Sharpe tahminlerinin varsayılan standart sapması 0,20'den 0,10'a değişirse, aynı 20 denemelik aramada eşik yaklaşık 0,190, DSR ise yaklaşık %98,8 olur. Standart sapma 0,30 ise eşik yaklaşık 0,570 ve DSR yaklaşık %30,6'dır. Gözlenen 0,50 Sharpe, 60 gözlem, çarpıklık ve basıklık değişmez. Bu varsayımsal duyarlılık, deneme dağılımı ile aday bağımlılığını tahmin etme yönteminin neden önemli olduğunu gösterir; değerler aynı aylık birimleri ve aynı basitleştirilmiş modeli kullanır.

İki strateji aynı örneklem Sharpe'ına ve örneklem uzunluğuna sahip olup farklı getiri dağılımları gösterebilir. Belirgin sol kuyruk, asimetri ya da olağan dışı sıklıkta uç gözlemler PSR paydasındaki örneklem belirsizliğini değiştirebilir. Düzeltme ölçülen momentlerden hesaplanır; her normal olmayan dağılımın aynı ölçüde zararlı olduğunu söylemez ve birkaç örneklem momentinin kuyruk davranışını bütünüyle açıkladığını garanti etmez.

Hesap, tek bir gözlemin nasıl tanımlandığına da bağlıdır. Günlük, haftalık ve aylık veriler $T$, Sharpe, çarpıklık ve basıklık için farklı değerler üretir. Örtüşen elde tutma dönemi getirileri komşu satırları bağımlı kılabilir. Yumuşatılmış veya eski fiyatlamalar, temel ekonomik riskten daha düşük değişkenlik gösterebilir. Yıllık Sharpe'ı yeterli girdi saymak yerine örneklem sıklığını ve oluşturulma biçimini açıklayın.

PBO, tamamlayıcı bloklarda örneklem içi kazananın aday medyanında veya altında kaç kez sıralandığını sorgulamak için Combinatorially Symmetric Cross-Validation kullanır. DSR, seçilmiş Sharpe'ın arama ve normallikten sapma için ayarlanmış eşiği aşıp aşmadığını tahmin eder. Çıktıları ve yeniden örnekleme varsayımları farklıdır; biri diğerinin yerine geçmez. PBO ve CSCV ile finansta çoklu testler kılavuzlarına da bakın. Bailey ve ortak yazarları, bu seçim tanısını özgün PBO makalesinde biçimsel olarak ortaya koyar.

White's Reality Check, veri madenciliğini dikkate aldıktan sonra aday ailesindeki en iyi kuralın belirli bir referansı aşıp aşmadığını bootstrap ile sınar. Burada soru referansa göredir; DSR ise Sharpe tabanlı eşik kullanır. Kronolojik walk-forward ya da son holdout, sabitlenmiş bir sürecin sonraki dönemlerde nasıl işlediğini sorar. Bu yöntemler araştırma iddiasının farklı parçalarını sınadığı için birbirini tamamlayabilir. White bu yöntemi Reality Check hakkındaki özgün makalesinde açıklar.

Yeniden üretilebilir bir rapor aday evrenini, seçimi etkileyen belgelenmiş tüm kararları, ham deneme sayısını, varsa etkin deneme sayısı yöntemini, getiri serisini, örneklem boyutu ve sıklığını, Sharpe tanımını, çarpıklığı, basıklık kabulünü ve seçime göre düzeltilmiş eşiği belirtir. Getirilerin alış-satış farkı, komisyon, piyasa etkisi, fonlama, borçlanma ve diğer maliyetlerden önce mi sonra mı olduğunu açıklayın. Değişenin görülmesi için gözlenen Sharpe ile DSR'ı birlikte gösterin.

Geleneksel formül, seri korelasyonlu gözlemlere uymayabilecek bir örnekleme modelini varsayar. Lo'nun Sharpe oranı istatistikleri üzerine çalışması, zaman içinde toplulaştırma ve bağımlılığın Sharpe çıkarımını neden etkilediğini açıklar. Getiriler örtüşüyorsa veya seri korelasyon gösteriyorsa bu yapıyı ele alan bir çıkarım yöntemi kullanın ve varsayımlarını açıklayın. Aylık Sharpe'ı $\sqrt{12}$ ile çarpmak otokorelasyonu düzeltmez. Zamanı dikkate alan değerlendirme için genişleyen ve kayan walk-forward pencereleri kılavuzuna da bakın.

DSR belgelenmemiş bir aramayı ortaya çıkaramaz, ileriye bakma sızıntısını gideremez, hayatta kalma yanlılığı içeren verileri temsili hale getiremez, gerçekleşen işlemleri doğrulayamaz, kapasiteyi tahmin edemez veya yeni bir rejimde istikrar garantisi veremez. Ekonomik gerekçenin ya da sonraki dönemlere ait kronolojik kanıtların yerini de tutmaz. DSR'ı araştırma sürecindeki belgelenmiş tanılardan biri olarak değerlendirin; aday kayıtlarını ve veri hattını yeniden üretilebilir tutun.