Backtest aşırı uyum olasılığı (PBO) ve CSCV açıklaması

Bir araştırma ekibi farklı geriye bakış pencerelerini, giriş eşiklerini, elde tutma sürelerini, evrenleri, maliyet varsayımlarını ve portföy kısıtlarını deneyip en yüksek backtest puanını alan varyantı tutabilir. Seçilen sonuç, örneklemin özelliklerine uyum sağlamak için birçok fırsat elde etmiştir. PBO bu aramanın bir sonucunu özetler: tanımlanmış IS/OOS bölmelerinde IS birincisi aynı adayların OOS medyanının altına ne sıklıkta düşer?

Bailey, Borwein, López de Prado ve Zhu, strateji seçimi riskini incelemek için PBO çerçevesini sundu ve tahmin yöntemlerinden biri olarak CSCV’yi önerdi. Tanım, tek bir tahmin denkleminde fazla parametre bulunup bulunmadığından ziyade sınanmış yapılandırmalar arasından seçim yapma sürecine ilişkindir. Her bölmede IS, adaylar arasından seçim için kullanılan alt kümedir; bu dönem bütün temel modellerin tahmin edildiği dönem olmak zorunda değildir. Biçimsel kurulum için orijinal PBO makalesine bakın.

Tek bir strateji tüm örneklemde yüksek Sharpe oranına sahip olsa da zayıf bir araştırma ailesinin en şanslı üyesi olabilir. Tersine, tüm adayların getirileri negatifken bile seçim süreci çoğunlukla OOS medyanının üzerinde sıralanan bir adayı seçebilir. PBO, sunulan aday kümesindeki göreli sıraları karşılaştırır; tek başına pozitif beklenen getiriyi sınamaz.

Kronolojik bir holdout veya walk-forward testi, tanımlı araştırma sürecinin önceki kararlarda kullanılmamış sonraki gözlemlerde nasıl işlediğini sorar. Purged cross-validation, eğitim etiket aralıklarıyla test sonuçlarının örtüşmesini ele alır; embargo ayrıca gerekçelendirilen bir tampon ekleyebilir. Bu işlemlerin hiçbiri tek başına geniş bir strateji aramasının birincisinin OOS aday medyanının altına ne sıklıkta düştüğünü ölçmez. Purged cross-validation ve embargo rehberine bakın.

PBO, çoklu test düzeltmesinden de farklıdır. White’s Reality Check, veri madenciliği etkisini hesaba kattıktan sonra bir ailedeki en iyi kuralın ölçütü aşıp aşmadığını bootstrap ile sınar. Deflated Sharpe Ratio, Sharpe tabanlı anlamlılık hesabını seçim etkileri ve normal dağılmayan getiriler için düzeltir. PBO ise bölmeler boyunca IS’de seçilen adayın OOS sırasını özetler. İstatistik ve varsayımları farklıdır; dolayısıyla birbirlerinin yerine otomatik olarak geçmezler. White’ın Reality Check üzerine orijinal makalesini ve Bailey ile López de Prado’nun Deflated Sharpe Ratio çalışmasını inceleyin.

M’nin T satır ve N sütundan oluşan bir matris olduğunu varsayalım. N sütunun her biri aday bir strateji veya yapılandırmayı, T satırın her biri de tüm adaylar için aynı gözlem aralığını temsil eder. Bir satır, ilgili işlem maliyetlerinden sonraki günlük getiriyi içerebilir. İşlem sıklıkları farklıysa önce ortak zaman dizini tanımlayın ve performansı tutarlı biçimde toplulaştırın. Bir stratejinin günlük getirilerini diğerinin aylık toplamlarıyla satır satır karşılaştırmak anlamlı bir matris oluşturmaz.

Aday kümesi gerçek seçim fırsatlarını yansıtmalıdır: grid search’te elenen varyantlar, sonuçlar görüldükten sonra yapılan elle değişiklikler, farklı evrenler ve son seçimi etkileyen kurallar. PBO yalnızca verilen adayları ve performans geçmişlerini değerlendirebilir. Çok daha geniş bir aramadan sonra yalnızca finalistler kaydedildiyse tahmin, gerçek arama kapsamını düşük gösterir.

Tüm adaylarda aynı getiri tanımını, para birimini, kaldıraç uygulamasını ve performans ölçütünü kullanın. Seçim net Sharpe ile yapılıyorsa ilgili ücretleri, spread’leri, finansmanı, funding’i, borçlanma maliyetini ve uygulama varsayımlarını her sütuna ekleyip sonra hesaplayın. Ölçüt sonraki alt örneklemlerde de hesaplanabilir olmalıdır. Orijinal makale senkronize satırlar ve her alt örneklemde tahmin edilebilir bir ölçüt ister; işlem sıklıkları farklı olduğunda serilerin ortak bir dizine eşlenmesini önerir.

Eşit büyüklükte ve çakışmayan S zaman bloğundan oluşan çift bir sayı seçin; her bloğun içindeki zaman sırasını koruyun. S/2 bloğun her olası seçimini örneklem içi (IS) kümesi olarak birleştirin ve kalan S/2 bloğu örneklem dışı (OOS) olarak kullanın. Yola bağlı ölçütlerde seçilen blokların özgün sırasını koruyun ve birleştirmenin ölçüt açısından anlamını kaydedin.

IS atamalarının sayısı C(S,S/2)’dir. A, B, C ve D olmak üzere dört blokta altı atama vardır: AB, AC, AD, BC, BD ve CD; her atamanın tamamlayıcısı da ayrı bir atama sayılır. S = 16 için C(16,8) = 12.870 olur. Bunlar aynı geçmişin deterministik kombinasyonlarıdır; 12.870 bağımsız piyasa deneyi değildir.

“Simetrik”, bir kombinasyonun tamamlayıcısının başka bir kombinasyonda seçim kümesi olarak yeniden kullanılmasını anlatır: bir bölmede AB IS ve CD OOS iken diğerinde tersi olur. “Kombinatoryal”, tek bir rastgele bölme çekmek yerine yarım blok seçimlerinin tamamını sıralamak demektir. Yöntem kronolojik bir yeniden oynatma değildir. Seçilen küme erken ve geç blokları birlikte içerebilir, tamamlayıcı kümede ise orta bloklar bulunabilir. Bu nedenle OOS, “eğitim döneminden sonraki gelecek” anlamına gelmez.

c bölmesi için araştırmanın seçim kuralını IS alt kümesine uygulayın ve en iyi aday n*(c)’yi seçin. Ardından aynı performans ölçütüyle tamamlayıcı OOS alt kümesinde N adayın tümünü puanlayın. Seçilen adayın OOS sırasını r(c) olarak tanımlayın: 1 en kötü, N en iyidir. Eşitliklerin nasıl ele alınacağını önceden belirleyin ve tüm bölmelerde aynı kuralı koruyun.

Sırayı göreli sıraya dönüştürün: ω(c) = r(c)/(N+1). N+1 paydası, en düşük ve en yüksek sıralarda bile değeri kesin olarak sıfır ile bir arasında tutar. Logit λ(c) = ln(ω(c)/(1−ω(c))) olur. Seçilen aday OOS medyanının altındaysa negatiftir; medyanda sıfır, üstünde pozitiftir. Tahmini PBO, λ(c) ≤ 0 olan tüm CSCV atamalarının oranıdır.

Tek bir PBO değeri, IS birincisinin OOS medyanına ne sıklıkta eşit ya da ondan düşük kaldığını özetler. Logit dağılımının tamamı, seçilen adayların genellikle ortada kalıp kalmadığını, sık sık çok aşağıya düşüp düşmediğini veya çoğunlukla medyanı aşıp aşmadığını da gösterir. Logit göreli sıranın dönüşümüdür; tek bir canlı işlem için olasılık ya da gelecekteki getiri için kalibre edilmiş tahmin değildir.

Eşit büyüklükte dört tarihsel blok ve R1–R4 adlı dört aday kural olduğunu varsayın. Tablo altı IS atamasını gösterir. OOS sırası sütunu, IS’de seçilen kuralın tamamlayıcı bloklarda dört kural arasındaki yerini verir. Tüm değerler varsayımsaldır ve yalnızca hesabı göstermek içindir.

Seçilen altı kuralın dördünün OOS göreli sırası en fazla yarımdır. Dolayısıyla ampirik PBO 4/6 ≈ 0,667, yani yaklaşık %66,7’dir. Örneğin sıra 2 için ω = 2/(4+1) = 0,4 ve λ = ln(0,4/0,6) ≈ −0,405 olur. Sıra 3, ω = 0,6 ve yaklaşık +0,405 olan ters işaretli logiti verir.

Bu, gelecek ay para kaybetme olasılığının %66,7 olduğu anlamına gelmez. Bu varsayımsal matriste ve sıra kuralında IS birincisi altı bölmenin dördünde OOS aday medyanında veya altında kalmıştır. Diğer iki birincinin de rakiplerini geçmelerine rağmen mutlak OOS getirileri negatif olabilir.

PBO aday ailesine, gözlenen performans matrisine, seçim ölçütüne, zaman bloklarına ve eşitlik kuralına bağlıdır. Kaydedilmemiş deneyler kapsam dışındadır. “Modelden bağımsız” ifadesi, tahmin denklemlerini bilmeden adayların performans geçmişinden hesaplanabilmesini anlatır; tasarım kararlarından, veri kalitesinden veya varsayımlardan bağımsız olmayı değil.

CSCV blokları simetrik ve eşit büyüklükte alt kümelerde birleştirir; ancak OOS kümesi genellikle tek ve ardışık bir sonraki dönem değildir. Blokları yeniden birleştirmek uzun dönemli bağımlılığı, mevsimselliği veya ekonomik rejimlerin sırasını bozabilir. S hem kombinasyon sayısını hem de her bloğun temsil ettiği süreyi belirler; stratejinin ilgili ufuk ve yapısına göre seçip kaydedin. Aynı bloklar yeniden kullanıldığı için çok sayıda kombinasyon aynı sayıda bağımsız gözlem yaratmaz.

İstatistik, kaynak getirilerdeki yanlılıkları devralır. Hayatta kalma yanlılığı, sonradan revize edilen veri, o tarihte mevcut olmayan özellikler, gerçekçi olmayan gerçekleşmeler, atlanan maliyetler veya sonuçlara bakıldıktan sonra seçilen evren tüm aday geçmişlerini yanıltabilir. CSCV örtüşen etiket aralıklarını otomatik olarak temizlemez, her bölmede tüm model hattını yeniden tahmin etmez veya ön işlemedeki bilgi sızıntısını önlemez. Bu adımları araştırma sorusuna göre açıkça uygulayın. Kronolojik korumalar için TimeSeriesSplit’in resmî belgelerine ve purged validation rehberine bakın.

Maksimum düşüş gibi yola bağlı ölçütlerde ayrıca dikkat gerekir: bitişik olmayan blokları birleştirmek yolu, dolayısıyla ölçütü değiştirebilir. PBO makalesi, Sharpe’tan farklı olarak bazı ölçütlerde gözlem sırasının önemli olduğunu belirtir. Sırayı yorumlamadan önce sıralamanın, boşlukların, eksik gözlemlerin ve bileşik getirilerin nasıl ele alındığını açıklayın.

Hesaplamadan önce aday kayıtlarını, sonuçları gördükten sonra yapılan her değişikliği, performans matrisini, seçim ölçütünü ve eşitlik kuralını saklayın. T, N, S, blokların nasıl kurulduğu, C(S,S/2), OOS sıra kuralı, tahmini PBO ve logit dağılımını bildirin. Mutlak OOS performansını, maliyetleri, devir hızını, düşüşleri ve zarar eden aday sayısını da ekleyin: sıra tek başına tüm adayların zayıf olup olmadığını göstermez.

Dondurulmuş araştırma sürecinin sonraki verilerde nasıl işlediğini görmek için walk-forward veya gerçek bir kronolojik holdout kullanın. Model ve eşikleri seçerken son dönemi kapalı tutun; tekrar tekrar kontrol etmek onu başka bir seçim setine dönüştürür. TimeSeriesSplit gibi zaman sıralı araçlar belgelenen varsayımları altında kronolojik fold’lar oluşturur; PBO ise aranan aday ailesinin farklı bir sıra özelliğini ölçer.

Bu nedenle PBO; etiket çakışması kontrollerini, çoklu test analizini, gerçekçi gerçekleşme modellemesini, ileriye dönük değerlendirmeyi ve canlı izlemeyi tamamlar ama onların yerini almaz. Ayrıca finansta çoklu test ve yanlış keşif oranı ile seri korelasyon için Sharpe düzeltmeleri konularını inceleyin. Tek bir istatistik, tarihsel bir sıralamayı kalıcı bir işlem avantajının kanıtına dönüştürmez.