Alım satım kurallarında White Reality Check ve Hansen SPA testi

Verileri görmeden önce tek bir stratejiyi belirlediyseniz, tek karşılaştırmalı bir test sorunuza uygun olabilir. Fakat çok sayıda kuralı deneyip sonuçları gördükten sonra yalnızca kazananı sanki baştan beri tek adaymış gibi sınamak, seçim aramasını yok sayar. Hiçbir kuralın gerçek üstünlüğü olmasa bile çok sayıda gürültülü tahmin arasındaki en yüksek değer tesadüfen pozitif çıkabilir. Bu kazananı seçen aynı örneklem, tek kural için hazırlanmış bir p değerinin dayandığı “önceden belirleme” varsayımını da bozar.

RC ve SPA daha geniş bir soruya yanıt verir: Arama sürecindeki adayları hesaba kattıktan sonra, en az bir kuralın seçilen performans ölçütünde kıstastan daha iyi olduğuna dair kanıt var mı? Adaylar teknik işlem kuralları, tahmin modelleri veya strateji çeşitleri olabilir. White, bir model aramasında bulunan en iyi modelin kıstastan üstün olup olmadığını sınamak için veri taraması çerçevesini geliştirdi (White, 2000). Sullivan, Timmermann ve White bu yaklaşımı geniş bir teknik işlem kuralı kümesine uyguladı (1999 çalışması). Düzeltmenin aile kapsamı, sonuçları seçmekte rol oynayan tüm adayları içerir; yalnızca geriye kalan kazananı değil. FDR ve çoklu test rehberi ilişkili ama farklı bir soruyu ele alır.

k, test edilen K ailesindeki bir adayı; t ise bütün kuralların ve kıstasın değerlendirildiği ortak tarihi göstersin. Getiri karşılaştırmasında dönemlik farkı şöyle tanımlayalım:

d(k,t) = k adayının net getirisi − kıstasın net getirisi

Pozitif fark, adayın daha iyi olduğu anlamına gelir. Tahmin kaybı karşılaştırılıyorsa işaret yönünü ters çevirip kıstasın kaybından adayın kaybını çıkarın; böylece yine pozitif değer aday lehine olur. Adaylar veya tarihler arasında işaret kuralını değiştirmeyin. Testten önce aileyi, kıstası, değerlendirme tarihlerini, maliyetleri ve “daha iyi” tanımını belirleyin. Ortalama net getiri farkı, ayrıca tanımlanmadıkça risk ayarlı getiri veya düşüş ölçüsü değildir.

k adayının beklenen farkını μ(k)=E[d(k,t)] olarak yazarsak, aile düzeyindeki hipotezler şöyledir:

H0: max(k∈K) μ(k) ≤ 0 H1: max(k∈K) μ(k) > 0

Bu zayıf küresel sıfır hipotezi, hiçbir adayın pozitif beklenen üstünlüğü olmadığını söyler; bazı kuralların gerçek ortalama farkı negatif olabilir. Burada her aday için ayrı ayrı karar listesi üretmek yerine ailenin tamamına yönelik tek bir ortak sınama yapılır. Kıstas ve ölçüt sonuç görüldükten sonra değiştirilirse testin cevapladığı soru da değişir.

n değerlendirme tarihi boyunca ortalama farkı d̄(k) ile gösterelim. Basit ortalama farkına dayalı RC istatistiği şöyledir:

T_RC = max(k∈K) sqrt(n) × d̄(k)

Bu en büyük değer, sıfır hipotezi altında oluşturulmuş bir bootstrap dağılımıyla karşılaştırılır. White'ın yaklaşımı bileşik sıfır hipotezinin en elverişsiz sınırını kullanır: her adayın gerçek beklenen farkı sıfır kabul edilir. Oysa H0, gerçek farkı negatif olan adaylara da izin verir. Tüm adayları kıstasla tam eşit varsayan sıfır sınırı bu nedenle korumacı olabilir; çok sayıda zayıf alternatif kritik değeri yükselterek reddetmeyi zorlaştırabilir. RC formülündeki maksimuma ayrıca sıfırla kırpma eklenmemiştir.

Bu test “gözlenen birinci sıradaki kural tek başına ne kadar sıra dışı?” diye sormaz. Aynı arama tüm ailede yürütülmüşken, bu kadar yüksek bir maksimum elde etmenin ne kadar sıra dışı olduğunu sorar. Kazananı önceden belirlenmiş tek bir kural gibi değerlendiren standart bir dağılım, seçim tekrarlarını hesaba katmaz.

Hansen'in SPA testi aynı aday ailesini ve kıstasa göre farkları kullanır, ancak test istatistiği ve sıfır dağılımının kurulma yöntemini değiştirir. Temel istatistik şöyle yazılır:

T_SPA = max(0, max(k∈K) sqrt(n) × d̄(k) / ω̂(k))

ω̂(k), √n d̄(k) ifadesinin uzun dönem standart sapmasını tahmin eder. Studentizasyon, değişkenlikleri farklı adayları yalnızca ham ortalama farklarıyla kıyaslamak yerine, ortalama tahmininin belirsizliğine göre ölçekler. Dıştaki sıfırla maksimum, en büyük studentize fark negatif olsa bile istatistiğin sıfırın altına inmesini engeller. Bu, burada kırpılmadan yazılan RC istatistiğinden ayrılır.

İkinci fark, örnekleme bağlı sıfır dağılımıdır. Tutarlı bir SPA uygulamasında gözlenen ortalaması yeterince negatif olan adaylar sıfır dağılımı oluşturulurken negatif ortalamayla kalır; sıfır sınırına yakın ve makul görünen adayların ortalaması sıfıra merkezlenir. Kötü görünen kurallar aileden basitçe silinmez. Bu tasarım, RC'deki “her adayın gerçek ortalaması sıfır” yaklaşımına kıyasla zayıf alternatiflerin dağılım üzerindeki etkisini azaltmayı amaçlar. Hansen bu iki değişikliğin test gücünü artırıp zayıf ve ilgisiz adaylara duyarlılığı düşürebileceğini gösterir (Hansen, 2005). Ancak SPA, her koşulda RC'ye üstün değildir.

Aynı tarihteki kurallar ortak piyasa hareketlerine maruz kalır; dolayısıyla aday getirileri eşzamanlı olarak ilişkili olabilir. Her adayın zaman serisinde dönemler arası bağımlılık da bulunabilir. Her aday sütununu bağımsız örneklemek bu eşzamanlı kovaryansı bozar ve maksimumun dağılımını değiştirir. Bunun yerine her tarih için d_t=(d(1,t),…,d(K,t)) vektörünü birlikte ele alın ve bütün sütunlara aynı zaman indekslerini ya da blok sırasını uygulayın.

Zaman blokları, gözlenen dizinin bir bölümünü koruyarak örnekleme yapar. Örneğin durağan bootstrap, uzunlukları geometrik dağılıma göre değişen blokları birleştirir; Politis ve Romano yöntemi zayıf bağımlı durağan gözlemlere yönelik çıkarımı inceler (Politis ve Romano, 1994). Blok kullanmak her türlü bağımlılık yapısına uygunluk sağlamaz. Sürecin yeterince kararlı ve bağımlılığın uygun anlamda zayıf olması gibi varsayımlar gerekir. Yapısal kırılma ya da rejim değişimi, tek bir sabit sürecin parçalarını yeniden çekerek ortadan kalkmaz. Blok bootstrap rehberi, sabit bir istatistiğin belirsizliği için blok tasarımını ayrıca açıklar.

Sadece aday sayısını göstermek için varsayımsal bir tarama düşünün: 12 lookback aralığı, 4 giriş filtresi ve 5 çıkış ayarı. Tam çarpım 12×4×5=240 kural verir. Hepsinin aynı tarihlerde, aynı maliyet yaklaşımıyla değerlendirildiğini ve kıstasın önceden sabitlenmiş bir al-tut stratejisi olduğunu varsayalım. Her aday için net getiri farkı hesaplanır; aile istatistiğinde 240 adayın tamamındaki maksimum kullanılır.

Bu örnek yalnızca sayıların çarpımını ve aile kapsamını gösterir. Herhangi bir gerçek getiri, p değeri, test sonucu veya kazanan strateji iddiası yoktur. Gerçek araştırmada farklı varlıklar, tutma süreleri, filtreler, örneklem dönemleri, kıstaslar veya işlem maliyeti varsayımları da denenmiş olabilir. Bunlar nihai seçimi etkilediyse, sadece sonradan raporlanan düzenli parametre ızgarasını göstermenin aramanın tamamını anlattığı varsayılamaz.

“Daha iyi” ölçütü de önceden sabitlenmelidir. Ortalama net getiri farkı kullanılıyorsa, test doğrudan volatilite, maksimum düşüş veya sermaye kullanımını da ölçüyor değildir. Komisyon, fonlama, borçlanma ve kayma maliyetleri bütün adaylara karşılaştırılabilir biçimde uygulanmalıdır; farklı işlem varsayımları strateji üstünlüğü gibi görünebilir.

Benjamini–Hochberg gibi yanlış keşif oranı (FDR) yöntemleri birden çok bireysel hipotezin p değerlerini birlikte ele alır ve varsayımlar altında reddedilenler içindeki yanlış keşif oranının beklenen değerini kontrol eder. RC ve SPA ise kıstasa göre aile maksimumu için tek bir küresel sınama yapar. İkisi çoklu testlerle ilgili olsa da birbirinin yerine kullanılamaz. FDR ve çoklu test rehberi, bireysel hipotezler ve yanlış keşif oranı üzerinde durur.

Blok bootstrap ile oluşturulan sıradan güven aralığı da RC veya SPA değildir. Önceden sabitlenmiş bir stratejinin ortalama getirisi ya da Sharpe oranı gibi tek bir istatistik için örnekleme belirsizliğini hesaplayabilir. Ancak o strateji çok sayıda aday denendikten sonra seçildiyse, aramayı ve kazanan seçimini kendiliğinden düzeltmez. RC ile SPA'nın her tekrarında aday ailesinin maksimumu hesaplanır ve sıfır hipotezine göre bir dağılımla karşılaştırılır. Blok bootstrap zamansal bağımlılığı modelleme araçlarından biridir; “bootstrap” kelimesi tek başına arama düzeltmesi yapıldığı anlamına gelmez.

Purged çapraz doğrulama farklı bir sorunu ele alır: zaman sıralı verilerde eğitim ve test gözlemleri arasındaki zamansal bilgi sızıntısını azaltmayı amaçlar. Kural ailesinin maksimumunun kıstası aşıp aşmadığını sınamaz; bu, RC/SPA’nın küresel sorusudur. Purged çapraz doğrulama ve embargo rehberi bu zaman ayrımını açıklar.

RC ya da SPA sıfır hipotezini reddederse çıkarım, belirtilen aday ailesi, kıstas, değerlendirme dönemi, ölçüt, sıfır dağılımı ve varsayımlarla sınırlıdır: Ailede en az bir adayın seçilen ölçüte göre kıstası aşmış olabileceğine dair kanıt vardır. Hangi kuralın gerçekten üstün olduğunu belirlemez, seçilmiş kuralın bireysel anlamlılığını kanıtlamaz veya her kuralın kazandığını göstermez. Reddedememek de bütün stratejilerin eşit ya da yararsız olduğunun kanıtı değildir; mevcut veri ve tasarım yeterli kanıt sağlamamış olabilir.

Test, gelecekteki getiriyi tahmin etmez ve işlemler başladıktan sonra kâr garantisi vermez. Kaydedilmemiş denemeler, ileriye dönük bilgi sızıntısı, hayatta kalma yanlılığı, maliyetlerin düşük tahmin edilmesi, piyasa etkisi ve durağan olmama ayrıca incelenmelidir. Sonuç görüldükten sonra aileyi değiştirmek de testin biçimsel olarak sorduğu soruyu değiştirir. Seçilen kurala dair ayrı bir çıkarım gerekiyorsa, uygun aday düzeyi yöntemi kullanın ve seçime katılmamış bir dönemde doğrulayın; bu doğrulama da geleceğin garantisi değildir.

Rapor; kıstası, aday ailesinin tamamını ve nasıl oluştuğunu, tarih aralığını, gözlem sıklığını, getiri veya kayıp farkının tanımını, maliyetleri, seçilen ölçütü ve test adını belirtmelidir. SPA için uygulama sürümünü ve hangi p değeri çeşidinin raporlandığını da yazın. Yeniden örnekleme yöntemi, blok uzunluğu ya da ortalaması, tekrar sayısı, zaman dizisinin nasıl eşlendiği ve sıfır dağılımının nasıl kurulduğu açıklanmalıdır.

Kazananı seçmeden önce denenen ek parametreleri, filtreleri, piyasaları, tutma sürelerini ve maliyet varsayımlarını da kaydedin. Sadece daraltılmış bir aile sınandıysa, bu ailenin nasıl seçildiğini ve seçime hangi verilerin katıldığını açıklayın. Böylece okuyucu yapılan düzeltmenin gerçek arama sürecini kapsayıp kapsamadığını anlayabilir. RC veya SPA sonucu, tanımlanmış veriye ve varsayımlara bağlı aile düzeyinde istatistiksel kanıttır; uygulama kalitesini ve canlı performansı izleme gereğini ortadan kaldırmaz.