Walk-forward model doğrulamasında genişleyen ve kayan pencereler

Tahmin başlangıcında araştırmacı geçmiş özelliklerin ve sonuçların bir bölümünü bilir, modeli uyarlar ya da günceller, ardından daha sonraki bir blokta değerlendirir. Başlangıcı ileri taşımak art arda örneklem dışı dönemler oluşturur. Eğitim penceresi kuralı her uyarlamada geçmişteki hangi uygun satırların kullanılacağını belirler. Doğrulama ve test kuralları, seçenekleri karşılaştırmak ve performansı ölçmek için hangi sonraki sonuçların kullanılacağını belirler. Bu kararlar bağlantılıdır ama aynı pencere değildir.

Genişleyen kural sabit bir tarihsel sınırdan başlar ve yeni sonuçlar kullanılabilir oldukça büyür. Kayan kural iki sınırı ileri taşır, ancak başlangıç evresinden sonra gözlem sayısını sabit tutar. Tahmin başlangıcında sonucu henüz tamamlanmamış bir hedefi hiçbirinde kullanmayın. Etiket birkaç işlem gününe yayılıyorsa satır tarihi sonucun ne zaman öğrenildiğini göstermeyebilir; etiketin bitiş zamanını kaydedip bunu uygulayın.

Özelliklerin geriye baktığı süreyi eğitim penceresinden ayırın. Bir sinyal her satırın oynaklığını kısa bir geçmiş dönemden hesaplayabilir; uyarlanan model ise birkaç yıllık satırları kullanabilir. Özellik süresini değiştirmek girdileri, eğitim penceresini değiştirmek model tahmininde kullanılan gözlemleri değiştirir.

İlk uygun gözlemin dizini \(s\), uyarlama anında etiketi bütünüyle bilinen en son gözlemin dizini \(t\) olsun. Genişleyen eğitim kümesi \(\{s,s+1,\ldots,t\}\) olur. Bir sonraki tahmin başlangıcında mevcut satırlar korunur ve yeni uygun satırlar eklenir. Ayrı bir filtreleme ya da silme kuralı yoksa küme zamanla büyür.

Eski veriler incelenen süreci hâlâ açıklıyorsa daha çok gözlem parametre tahminlerindeki örnekleme gürültüsünü azaltabilir. Kısa bir yakın dönem örnekleminin kaçırabileceği seyrek piyasa koşullarını koruyabilir ve keyfî bir tarihsel kesme noktası seçme ihtiyacını azaltabilir. Ancak eski satırlar yalnızca yaşlandıkları için etkisini yitirmez. Özelliklerle getiriler arasındaki ilişki değişirse erken dönem verileri tahminleri artık mevcut piyasaya benzemeyen koşullara çekebilir. Büyük eğitim kümeleri yeniden uyarlamayı yavaşlatabilir. Geçmişi korumak onu otomatik olarak daha temsilî yapmaz.

Sabit pencere uzunluğu \(W\) ise \(t\) anındaki eğitim kümesi, etiket gecikmesi ve sınır boşluğu hesaba katıldıktan sonra \(\{t-W+1,\ldots,t\}\) olur. Sonraki başlangıçta bitiş ucu ileri kayar ve en eski uygun satır çıkar. Uzunluk gözlem sayısıyla ya da takvim süresiyle ifade edilebilir; düzensiz veride bu ölçüler birbirinin yerine kullanılamaz.

Kayan pencere bir güncellik kuralı koyar. Değişen koşullara uyumu inceleyen araştırma sorusu veya sabit eğitim boyutu gerektiren işletim ihtiyacı için uygun olabilir. Ancak modeli kendi başına uyarlamaz. Seyrek yeniden uyarlama ya da yavaş değişim tepkiyi geciktirebilir. Kısa aralık daha az bilgi sağlar; tahminleri kararsızlaştırabilir, seyrek stres dönemlerini dışarıda bırakabilir veya karmaşık bir modele az örnek bırakabilir. Uzun aralık daha çeşitli geçmişi korur ama yakın dönem örüntülerini sulandırabilir.

Ölçü birimi de önemlidir: eksik işlem günleri veya farklı gözlem sıklıkları yüzünden aynı satır sayısı farklı takvim aralıklarını kapsayabilir. Panel veride pencerenin satırları mı yoksa tarihe göre varlık gruplarını mı çıkardığını tanımlayın. \(W\)'yi nihai test sonuçlarına baktıktan sonra seçerseniz test, seçim sürecine katılmış olur ve bağımsızlığını yitirir.

Karşılaştırmanın yalnızca pencere kuralını ölçmesi için bilgi kesim zamanını, özellikleri, model sınıfını, eğitim hedefini, yeniden uyarlama tarihlerini, tahmin ufkunu, test bloklarını ve yürütme varsayımlarını aynı tutun. Kayan model daha sık yeniden uyarlanıyorsa veya farklı özellikler kullanıyorsa skor farkı yalnızca pencereye bağlanamaz.

Bu kurallar tahmin başlangıcını seçme kuralı da değildir. İki eğitim penceresi de kayan başlangıçlarla değerlendirilebilir: uygun geçmişte eğit, sonraki bloğu tahmin et, ilerle ve tekrarla. Leonard Tashman'ın örneklem dışı tahmin testleri incelemesi00065-0), kayan başlangıçları ve kayan tahmin pencerelerini ele alır. İlki değerlendirmenin ne zaman yapıldığını, ikincisi hangi eğitim satırlarının kaldığını tanımlar.

Aşağıdaki tarih ve sayılar varsayımsaldır. Modelin sonraki ayın getirisini tahmin etmek için her ay yeniden uyarlandığını ve ilk uyarlamada 120. ayda biten 60 uygun gözlemin kullanıldığını varsayın. Etiket ancak sonucu tamamlandıktan sonra kullanılabilir. Kayan pencere 60 satır uzunluğundaysa ilk tahmin başlangıcında iki kural da aynı 60 satırı kullanır.

Yeni bir aylık sonuç öğrenildiğinde genişleyen küme 61 uygun satır içerir. Kayan kural yeni satırı ekler, en eskisini çıkarır ve 60 satırda kalır. 12 güncellemeden sonra genişleyen pencere ilk başlangıçtan 72 satır içerirken kayan pencere en yeni 60 satırı tutar. Her satır kendi uyarlama zamanında erişilebilir olsa da geçmiş farklı olduğu için tahminler değişebilir.

Bu örnekte son 24 ayı dış test olarak ayırın. Pencere kuralını ve uzunluğunu, özellikleri ve diğer ayarları daha önceki kronolojik doğrulama dönemlerinde seçin. Ardından sabitlenmiş seçimi önceden belirlenen yeniden uyarlama takvimine göre değerlendirin. Dış test sonuçlarını gördükten sonra uzunluğu değiştirmek test verisini seçime katmak ve nihai kanıtı olduğundan güçlü göstermektir.

Karşılaştırmadan önce soruyu tanımlayın: Model her uyarlamada kullanılabilir geçmişin tamamını mı kullanmalı, yoksa eski örnekleri dışarıda bırakmak için araştırmaya dayalı bir neden var mı? Hedef ilişkinin sabit kalması mı bekleniyor, yoksa ilgili girdiler değişebilir mi? Bu sorular adayları belirlemeye yardım eder ama belirli bir piyasada hangi kuralın daha iyi olacağını önceden kanıtlamaz.

Daha eski geliştirme verilerinde, genişleyen pencere ve makul birkaç kayan uzunluk gibi az sayıda önceden belirlenmiş seçeneği aynı kronolojik doğrulama bloklarında ve aynı yeniden uyarlama sıklığında karşılaştırın. Puanlamadan önce amacı seçin: tahmin kaybı, kalibrasyon, devir maliyetini hesaba katan portföy faydası ve azami düşüş farklı soruları yanıtlar. Maliyetleri ve kısıtları aynı tutun; başarısız uyarlamaları ve eksik tahminleri kaydedin. Hedefler veya test blokları örtüşüyorsa komşu puanlar aynı getirileri paylaşabilir; her satırı bağımsız deney saymak yerine bu bağımlılığı açıklayın.

Daha sonraki kronolojik dönemi nihai kontrol için dokunulmadan bırakın. İç içe tasarımda iç doğrulama, her dış test bloğundan önceki verileri kullanarak pencereyi ve diğer ayarları seçer; dış sonuçlar seçim sürecinin tamamını değerlendirir. Purged CV rehberi etiket örtüşmesi sınırlarını açıklar; finansal model aşırı uyumu ve çoklu test bağlantılı seçim risklerini ele alır.

Her başlangıçta yalnızca o anda bilinen özellikleri ve etiketleri kullanın. Birden çok işlem gününe yayılan ileri getirinin sonucu, karar tarihi daha önce olsa bile doğrulama sınırında henüz tamamlanmamış olabilir. Gerektiğinde gerçek etiket aralıklarına göre boşluk bırakın veya satırları çıkarın; sabit satır sayısı ancak gözlem sıklığı ve hedef ufku bunu haklı kılıyorsa uygundur. Gelecek bilgisi içeren özelliği hiçbir pencere kuralı düzeltemez.

Eksik değer doldurma, ölçekleme, özellik seçimi ve öğrenilen diğer ön işlemeleri her fold'un yalnızca eğitim bölümünde uydurun. Eşik ya da hiperparametre seçilecekse eğitim döneminin içinde kronolojik doğrulama yapın ve sonraki bloğu puanlarken seçimi sabitleyin. scikit-learn'in resmi TimeSeriesSplit belgeleri, varsayılan olarak büyüyen eğitim kümesini ve boyutunu sınırlayan max_train_size seçeneğini açıklar. gap örnek sayısıdır; karşılaştırılabilir fold süreleri eşit aralıklı gözlemler varsayar. Finansal etiketlerin zamanını ve kullanılan kitaplık sürümünü ayrıca denetleyin.

Pencere kuralını ve kesin uzunluğunu, tutulan en eski tarihi, her uyarlamadaki uygun satır sayısını, etiket kullanılabilirliği kuralını, doğrulama ve nihai test tarihlerini, tahmin ufkunu ve yeniden uyarlama takvimini raporlayın. Toplam sonucun yanında test bloğu bazında sonuçları da gösterin. Ortalama tek bir piyasa döneminin etkisini gizleyebilir; bitişik tahminler aynı sonuçları paylaşabilir ve bağımsız kanıt oluşturmayabilir.

Tahmin doğruluğu net işlem performansı değildir. Pozisyon oluşturma, kaldıraç, devir, likidite, ücretler, spread, piyasa etkisi, borçlanma, fonlama ve gerçekleşme zamanı sonucu etkiler. Karşılaştırmada bu varsayımları sabit tutun ve nelerin dışarıda kaldığını belirtin. Cerqueira, Torgo ve Mozetič'in zaman serisi performans kestirimi çalışması, durağan ve durağan olmayan koşullarda tahminlerin farklılaşabildiğini bildirir. Çalışma finansal pencere politikalarını doğrudan karşılaştırmaz ve bir kuralın her zaman kazandığını göstermez.

Her backtest'i belirli bir geçmiş ve süreç hakkındaki kanıt olarak yorumlayın. Genişleyen pencere eskimiş bir rejimi koruyabilir; kayan pencere yararlı bilgiyi atıp tahminleri gürültülü hâle getirebilir. Seçilen kural başka bir rejimde, varlık evreninde veya maliyet ortamında başarısız olabilir. Doğrulama, test edilen süreçle ilgili belirsizliği azaltır; gelecekteki getiriyi vaat etmez ve herhangi bir pencerenin en iyi olduğunu kanıtlamaz.