Purged cross-validation ve embargo nedir? Finansal modellerde etiket sızıntısını önleme

Standart K-katlı çapraz doğrulama gözlemleri gruplara ayırır ve bu grupları sırayla test için kullanır. Finansal veride gözlemler bağımlıysa veya ileri getiri etiketlerinin zaman aralıkları çakışıyorsa rastgele bölme eğitim ve test bilgisini birbirine yaklaştırıp sonucu olduğundan iyi gösterebilir.

Bu, K-katlı yöntemin her kullanımının geçersiz olduğu anlamına gelmez. Varsayımların veri yapısına ve cevaplanmak istenen soruya uyup uymadığını inceleyin. Zaman serisinde özellikler tahmin anında gerçekten bilinen verilerden oluşturulmalı; test gözlemlerinin gelecekteki sonucu eğitim etiketlerine sızmamalıdır.

Doğrulamanın hangi soruyu yanıtlayacağını da belirleyin. Yalnızca geçmişteki bilgilerle eğitip sonraki dönemi tahmin eden gerçek kullanımı mı taklit ediyorsunuz, yoksa farklı dönem birleşimlerinde modelin istikrarını mı inceliyorsunuz? Bu hedefler aynı bölme düzenini gerektirmez.

Her örnek için karar zamanı t, o anda gerçekten erişilebilir bilgiler, özellik penceresi, hedef etiket aralığı ve etiketin kesinleştiği bitiş zamanı t1 kaydedilmelidir. Örneğin günlük bir karar anındaki t değerinden sonraki beş seansın getirisi için etiket, (t, t+5] aralığındaki sonucu kapsar. Ancak t+5'ten sonra öğrenilecek bir bilgi, t anındaki tahminde kullanılabilir sayılamaz.

Özelliklerin geçmiş penceresinin başka bir örnekle örtüşmesi tek başına sızıntı değildir. Bu geçmiş her iki tahmin zamanında da biliniyorsa ve özellikler yalnızca o tarihte mevcut verilerle kurulduysa, ortak geçmiş veri bağımlılığıdır; gelecekteki etiketi paylaşmakla aynı şey değildir. Buna karşılık sonradan revize edilen ekonomik veriyi veya geçmiş fiyat düzeltmelerini o gün biliniyormuş gibi kullanmak sorun yaratır.

Bariyer veya olayın bitiş koşuluna dayalı etiketlerin süreleri örnekler arasında değişebilir. Her etiketin gerçek başlangıç ve bitiş zamanını tutun; bunları gelişigüzel sabit bir satır sayısıyla temsil etmeyin.

Purging, eğitim örneğinin gerçek sonuç veya etiket aralığı bir test örneğinin sonuç aralığıyla çakışıyorsa o örneği eğitimden çıkarır. Yalnızca karar tarihlerini karşılaştırmak, aynı fiyat hareketinin hem eğitim hem test etiketine girdiğini gözden kaçırabilir.

Süresi değişken olay etiketlerinde gerçek başlangıç ve bitiş zamanlarını karşılaştırın. Her bölmeden sabit sayıda satırı, örneğin beş satırı çıkarmak, kısa ve uzun olayları doğru biçimde ele almaz. Önce gerçek aralık çakışmalarını kontrol edin; ardından ilave bir embargo gerekip gerekmediğine ayrı karar verin.

Çakışan etiketleri çıkarmak bölmeyi kendiliğinden kronolojik yapmaz. Bazı düzenlerde test bloğundan sonraki gözlemler de eğitimde kalabilir. Örtüşen etiketleri kaldırmak ile geçmişteki bir dağıtımı yalnızca geçmiş verilerle canlandırmak ayrı koşullardır. López de Prado'nun Advances in Financial Machine Learning kitabının 7. bölümü, finansal etiketlerde çapraz doğrulama ve purging konularını ele alır.

Her günlük kararın (t, t+5] aralığında beş seanslık bir sonuç etiketi olduğunu varsayalım. Test karar tarihleri 11–15. günler olsun; son test etiketleri 20. güne kadar uzanır. Burada gün numaralarının ardışık işlem seanslarını gösterdiğini varsayıyoruz.

Eğitim adayı (7,12] etiketi, test etiketlerinin 11–12. günlerle çakışan bölümünü paylaşır. (16,21] adayı da test etiketleri 20. güne uzandığı için örtüşür. Bu nedenle iki eğitim adayı da çıkarılır. Karar günleri arasındaki uzaklığa değil, sonuç etiketlerinin gerçek aralıklarına bakılır.

Daha sonraki bir örneğin etiketi doğrudan çakışmasa bile, ayrıca belirlenmiş embargo tamponuna düşerse eğitim dışında bırakılabilir. Örnek sınırları nasıl izleyebileceğinizi gösterir; herkes için geçerli sabit bir ara gün sayısı önermez.

Embargo, test bloğundan sonra gelen gözlemlerin eğitime alınmasından önce uygulanan ayrı bir tampon dönemdir. Test sonrasındaki örneklerin eğitime katıldığı bölmelerde kullanılabilir; olay etiketleri veya özellik oluşturma sürecinden kalan bağımlılığı azaltmaya yardımcı olur. Gerçek etiket aralığı çakışmalarını tek tek kontrol etmenin yerini almaz.

“Verinin yüzde biri” veya “beş gün” gibi her yerde geçerli bir kural yoktur. Tamponu örnekleme sıklığına, etiket ufkuna, özelliklerin nasıl oluşturulduğuna ve gözlenen bağımlılığa göre belirleyip gerekçesini kaydedin. Özellik penceresi etiket ufkundan uzunsa, bunu göz ardı ederek kısa bir embargo seçmek geride kalan bağımlılığı kaçırabilir.

Eğitim verisinin daima testten önce olduğu walk-forward bölmesinde test sonrası eğitim verisi bulunmayabilir; böylece bu amaçla embargo gerekmeyebilir. Yine de geçmiş eğitim etiketlerinin test sonuçlarıyla örtüşmediğini doğrulayın.

Walk-forward veya rolling-origin doğrulamasında model geçmişle eğitilir ve daha sonraki bir dönem üzerinde sınanır. Bu düzen, “o tarihte erişilebilen geçmiş veriler bir sonraki dönemi tahmin edebilir miydi?” sorusunu, gerçek dağıtım sırasına daha yakın biçimde yanıtlar. Eğitim penceresinin zamanla genişleyip genişlemediğini veya sabit uzunlukta tutulduğunu belirtin.

scikit-learn TimeSeriesSplit de eğitimi testten önce tutar; gap parametresi testten önce eğitim kümesinin sonundan kaç örnek çıkarılacağını belirler. Resmî dokümantasyonda gap satır sayısı olarak tanımlanır. Eşit aralıklı gözlemlerde sabit bir satır boşluğudur; olay zamanları değişken olan etiketlerde gerçek aralık çakışmasını otomatik bulan bir mekanizma değildir.

Bu yüzden gap tek başına olay etiketlerini purge etmez. Kronolojiyi, etiket aralıklarını ve gerekiyorsa tamponu ayrı ayrı ele alın. Satır aralıkları gerçek zamanda eşit değilse, satır sayısının ne kadar süreye karşılık geldiğini belgeleyin.

Purged K-fold, her test bloğuna göre çakışan etiketlere sahip eğitim örneklerini çıkarır. Bölme düzenine bağlı olarak test bloğundan sonraki gözlemler de eğitimde yer alabilir. Bu, farklı dönem birleşimlerinde model sağlamlığını değerlendirebilir; ancak geçmişten geleceğe dağıtım simülasyonuyla aynı soruyu yanıtlamaz.

Combinatorial purged cross-validation (CPCV), test bloklarının farklı birleşimleriyle birden fazla test yolu oluşturup sonuçların dağılımını incelemeye yarar. Advances in Financial Machine Learning kitabının 12. bölümü walk-forward ve CPCV yöntemlerini, 7. bölüm ise çakışan finansal etiketlerin ele alınmasını açıklar. Birden çok yol; ileriye bakan özellikleri, sonradan revize edilmiş veriyi, tüm örneklemde ön işlemeyi veya çok sayıda model denemesinden kaynaklanan seçilim yanlılığını ortadan kaldırmaz.

CPCV yol sayısını bağımsız model deneylerinin sayısı gibi yorumlamayın. Çok sayıda deneme arasından model seçmenin getirdiği aşırı uyum ayrı bir konudur. Bailey ve çalışma arkadaşlarının backtest overfitting olasılığı makalesi, çok sayıda aday arasından seçim etkisini inceler.

Purging'den sonra bile ileriye bakan özellikler, yanlış zaman damgaları, hayatta kalan yanlılığı veya sonradan revize edilmiş veriler bulunabilir. Normalizasyon, eksik değer doldurma veya özellik seçimini bölmeden önce tüm örneklemde yapmak test bilgisini eğitime taşır. Test sonuçlarına bakarak tekrar tekrar ayar yapmak ayrıca seçilim yanlılığı doğurur.

Dönüşümleri ve özellik seçimini her eğitim fold'unda öğrenin; o fold'un doğrulama bölümüne yalnızca bu dönüşümleri uygulayın. Model veya hiperparametre seçimini iç içe, zamana duyarlı doğrulamayla yapın ve son değerlendirme için dokunulmamış kronolojik bir holdout ayırın. Komisyonları, spread'i ve gerçekleşebilirliği gerçekçi yansıtmayan varsayımlar da sonuçları bozar.

Hiçbir çapraz doğrulama yöntemi gelecekteki performansı garanti etmez. Her skor belirli bir örnekleme, özellik tanımına, etikete ve maliyet varsayımına bağlı tahmindir.

Her deney için karar zamanını, bilginin erişilebilir olduğu anı, özellik penceresini, etiket başlangıç ve bitişini, eğitim-test sınırlarını, çıkarılan çakışmaları, embargo süresi ve gerekçesini, ön işlemenin öğrenildiği kapsamı ve son holdout'u kaydedin. Böylece başka biri aynı örnek sınırlarını yeniden kurabilir.

Model aşırı uyumuyla ilgili olarak finansal modellerde bias-variance dengesi, tekrarlanan denemeler için çoklu testler ve yanlış keşif oranı, seri korelasyonlu ölçümlerin yıllıklaştırılması için Sharpe oranı ve otokorelasyon yazılarına bakın. Yalnızca yöntemin adını değil, hangi bilginin hangi aşamada eğitime girdiğini de saklayın.