Pesaran–Timmermann Testi: Yön Tahmini Bilgi Katıyor mu?

Değerlendirme örneklemindeki tarihlerin %60'ında piyasanın yükseldiğini varsayalım. Tahminci bu tarihlerin %70'inde “yükseliş” der. Tahminler ile sonuçlar ilişkisiz olsa bile iki seri sık sık aynı yönde olur: bazı günlerde ikisi de yükseliş, bazı günlerde ikisi de düşüş der. İsabet oranını mekanik biçimde %50 ile karşılaştırmak bu dengesizliği göz ardı eder.

PT çerçevesi bu karşılaştırmayı açıkça tanımlar. Tahmin yönü ile gerçekleşen yönün, ayrı marjinal sıklıklarının bağımsızlık altında ima ettiğinden daha sık örtüşüp örtüşmediğini sınar. Bu, yön tahminindeki bilgiye ilişkin bir testtir; getiri büyüklüğünü, işlem zamanlamasını veya tüm stratejinin değerini ölçen bir puan değildir. Pesaran ve Timmermann, çapraz tabloları kullanan bir tahmin performansı testi geliştirmiştir; ikili 2×2 durumda testleri asimptotik olarak bağımsızlık testine denktir {source:pesaranTimmermannDirectionalTests1992}.

Gerçekleşen sonuç yükseliş olarak sınıflandırıldığında \(Y_t=1\), düşüş olarak sınıflandırıldığında \(Y_t=0\) olsun. Tahmin yükseliş diyorsa \(Z_t=1\), düşüş diyorsa \(Z_t=0\) olsun. Değerlendirmedeki her satır, \(t\) başlangıcında üretilen tahmini ve tahmin edilen ufuktaki gerçekleşen sonucu eşleştirmelidir.

Dört hücre yükseliş/yükseliş, yükseliş/düşüş, düşüş/yükseliş ve düşüş/düşüş çiftlerini sayar. İki uyum hücresi \(n_{11}\) ve \(n_{00}\), kullanılabilir eşleşmiş çift sayısı \(n\) ise gözlenen yön isabet oranı şöyledir:

\[ \widehat{P}=\frac{n_{11}+n_{00}}{n}. \]

Bu kurulum ikilidir. Sıfır getiriyi, sıfır tahmini veya nötr bandı nasıl ele alacağınızı önceden belirleyin. Örneğin getiri sıfıra eşit ya da sıfırdan küçükse ve tahmin kendi eşiğine eşit ya da altındaysa “yükseliş değil” diye sınıflandırabilirsiniz. Eşitlikleri dışlamak da mümkündür; ancak bu örneklemi değiştirir ve tutarlı uygulanmalıdır. İki kategorili temel formülü kullanırken sıfır-sıfırı üçüncü bir uyum türü olarak saymayın.

Tahmin başlangıcı ile hedef ufuk da aynı olmalıdır. \(Z_t\) sonraki beş işlem seansının getiri işaretini tahmin ediyorsa, \(Y_t\) de ertesi günün tek seanslık getirisini değil, aynı başlangıçtan itibaren o beş seanslık getiriyi etiketlemelidir. Aksi takdirde tablo farklı olayları eşleştirir. Örtüşen beş seanslık sonuçlar için günlük tahminler betimleyici tabloya dahil edilebilir; ancak aşağıda ele alınan bağımlılık sorununu doğururlar.

\(\hat p_y\), yükseliş diye sınıflandırılan gerçekleşen sonuçların örneklem payı; \(\hat p_z\) ise yükseliş öngören tahminlerin payı olsun. Gerçekleşen ve tahmin edilen etiketler bağımsız olsaydı beklenen uyum payı şöyle olurdu:

\[ \widehat{P}^{*}=\hat p_y\hat p_z+(1-\hat p_y)(1-\hat p_z). \]

İlk çarpım, bağımsızlık altında yükseliş/yükseliş uyum olasılığıdır; ikinci çarpım ise düşüş/düşüş olasılığıdır. Dolayısıyla temel değer iki marjinal paya göre değişir ve %50'nin üstünde ya da altında olabilir. En sık görülen yönü sürekli tahmin eden bir model, bilgi katmadan da görünüşte yüksek isabet oranına sahip olabilir.

Uç bir durum bunu açıkça gösterir. Sınıflandırıcı her tarih için “yükseliş” diyorsa \(\hat p_z=1\), gözlenen isabet oranı gerçekleşen yükseliş payı \(\hat p_y\) olur ve bağımsızlık temel değeri de \(\hat p_y\) olur. Fazladan uyum tanım gereği sıfırdır. Böyle sabit bir tahmin, yükselişlerin sık olduğu dönemde doğru görünse de hangi tarihlerde yükseliş olacağını ayırt edemez; tahmini varyansı da dejenere olabilir ve standart PT p değeri bulunmayabilir.

Eşleştirilmiş 100 varsayımsal tarih düşünün. Gerçekleşen sonuçlar 60 tarihte yükselmiş, tahminler 70 tarihte yükseliş demiş olsun. Tablo şöyle olsun:

64 uyum vardır; dolayısıyla \(\widehat P=0.64\). Bağımsızlık temel değeri \(0.60\times0.70+0.40\times0.30=0.54\) olur. Gözlenen isabet oranı bu değerin 10 yüzde puan üzerindedir. Bu uydurma sayılar yalnızca hesabı gösterir; fark tek başına geçerli bir belirsizlik tahmini ya da işlem performansı kanıtı değildir.

Standart ikili PT istatistiği için şunları tanımlayın:

\[ \widehat v=\frac{\widehat P^{*}(1-\widehat P^{*})}{n} \]

ve

\[ \widehat w=\frac{(2\hat p_y-1)^2\hat p_z(1-\hat p_z)+(2\hat p_z-1)^2\hat p_y(1-\hat p_y)}{n}. \]

Buna göre

\[ PT=\frac{\widehat P-\widehat P^{*}}{\sqrt{\widehat v-\widehat w}}. \]

Sıfır hipotezi ve standart büyük örneklem varsayımları altında bu istatistik, asimptotik standart normal dağılıma göre değerlendirilir. Pay, bağımsızlık temel değerinin üzerindeki fazla uyumu gösterir. Payda ise bu temel değerin sabit %50 sayılmadığını, aynı örneklemden tahmin edildiğini hesaba katar. Formül ve gösterim, statsmodels uygulamasında belgelenmiştir {source:statsmodelsPesaranTimmermannAPI}.

Yukarıdaki ifade, statsmodels'ın belgelediği başlıca asimptotik varyans biçimidir. Orijinal çalışmadaki daha kapsamlı sonlu örneklem delta varyansı, \(\widehat w\)'ye \(4\hat p_y\hat p_z(1-\hat p_y)(1-\hat p_z)/n^2\) terimini ekler. Daha düşük mertebeden bu terim birinci mertebe asimptotiği değiştirmez, ancak sonlu örneklem istatistiğini kaydırabilir. Sonuçlar uygulamaya bağlıysa her paketin sonlu örneklem hesabını aynı varsaymayın; kullanılan formülü ve yazılım sürümünü belirtin.

Formül zayıf bir araştırma tasarımını düzeltmez. Çok küçük bir örneklem, neredeyse sabit tahminler, boş hücreler ya da sıfır/geçersiz tahmini varyans, olağan yaklaşımı güvenilmez veya tanımsız kılabilir. Böyle durumlarda formülden zorla p değeri çıkarmayın; marjinal payları ve tabloyu raporlayıp örnekleme ve veri yapısına uygun çıkarım yöntemini seçin.

Yukarıdaki varsayımsal tablo için başlıca formül bileşenleri \(\widehat v=0.54(0.46)/100=0.002484\) ve \(\widehat w=[0.2^2(0.7)(0.3)+0.4^2(0.6)(0.4)]/100=0.000468\) olur. Standart hata \(\sqrt{0.002484-0.000468}\approx0.0449\), dolayısıyla \(PT\approx0.10/0.0449=2.23\) olur. İki yönlü standart normal referansı yaklaşık 0.026 p değeri verir. Bu, uydurma sayılara başlıca asimptotik formülün uygulanmasıyla elde edilen bir hesaptır; daha kapsamlı sonlu örneklem terimi sonucu biraz değiştirir ve seri bağımlılık normal referansı geçersiz kılabilir. Bunu ampirik sonuç gibi sunmayın.

Pozitif pay, gözlenen yönlerin bağımsızlık temel değerinden daha sık uyuştuğunu; negatif pay ise daha seyrek uyuştuğunu gösterir. Önceden belirlenmiş tek yönlü bir test, uyumun temel değerden yüksek olup olmadığını sorabilir. Çift yönlü test, yön ilişkisinin her iki yönde de farklı olup olmadığını sınar. Alternatif hipotez ve anlamlılık düzeyi sonuçlar incelenmeden seçilmelidir.

Küçük bir p değeri, test varsayımları altında verinin belirtilen sıfır hipoteziyle daha az uyumlu olduğuna kanıttır. Sıfır hipotezinin doğru olma olasılığı ya da tahminin gelecek dönemde işe yarama olasılığı değildir. Getirilerin spread, ücret, piyasa etkisi, fonlama veya ödünç alma maliyetini karşılayacak kadar büyük olduğunu da göstermez. Birden çok varlık, ufuk, eşik, model seçeneği ya da tahmin yönü denenip yalnızca kazanan raporlandığında oluşan arama sorununu da düzeltmez. Aday stratejiler arasında arama yaptıysanız, White Reality Check kılavuzu seçimin çıkarıma neden yansıtılması gerektiğini açıklar.

Tersine, sıfır hipotezini reddedememek yönlerin bağımsız olduğunun kanıtı değildir. Kısa veya dengesiz bir örneklemde ilişkiyi saptayacak güç yetersiz olabilir. Negatif PT değeri de tahminde hiçbir yapı olmadığını kanıtlamaz; sistematik bir uyuşmazlığa işaret edebilir. Bu sonucu gördükten sonra tahmin işaretini çevirmek yeni bir model seçimidir ve yeni veride değerlendirilmesi ya da ilk arama sürecine dahil edilmesi gerekir.

Gerçekleşen yükseliş payını, tahmin edilen yükseliş payını, gözlenen isabet oranını, bağımsızlık temel değerini, yüzde puan cinsinden farkı, alternatif hipotezi ve belirsizlik yöntemini birlikte raporlayın. Tablo marjinalleri ve etki büyüklüğü olmadan verilen p değeri, küçük ama hassas tahmin edilmiş bir farkla daha büyük fakat daha gürültülü bir farkı ayırt etmeyi zorlaştırır.

Standart PT istatistiği genellikle seri bağımsız yön gözlemleri için sunulur. Oysa finansal etiketler aynı yönde kümelenebilir. Günlük gözlemler, örtüşen çok günlük hedefleri paylaşabilir; oynaklık rejimleri sürebilir ve kayan tahminler çoğunlukla aynı tahmin verilerini yeniden kullanabilir. Bu durumda \(n\) eşleşmiş çift, birbirinden bağımsız \(n\) bilgi parçası değildir. Standart hata gereğinden küçük kalabilir ve retler gereğinden sık görülebilir.

Pesaran ve Timmermann, daha sonraki çalışmalarında dinamik olarak genişletilmiş regresyonlar ve sonlu dereceli Markov çerçevesiyle seri korelasyonlu çok kategorili değişkenler arasındaki bağımlılık için testler geliştirmiştir {source:pesaranTimmermannSerialCategories2009}. Yön tahminlerine odaklanan çalışmalar da seri korelasyon bulunduğunda bağımsızlığa dayalı klasik PT prosedürlerinin aşırı ret verebildiğini bildirir ve bootstrap yöntemleri dahil bağımlılığa dayanıklı alternatifleri inceler {source:blaskowitzHerwartzDirectionalSerialCorrelation2014}. Uygun yöntem, tahminlerin nasıl üretildiğine, tahmin ufkuna ve bağımlılık yapısına bağlıdır; genel bir yeniden örnekleme tarifi kendiliğinden geçerli değildir.

Tahmin başlangıçlarının örtüşüp örtüşmediğini, aralarındaki süreyi ve belirsizlik tahmini için hangi bağımlılık yönteminin kullanıldığını belirtin. Ders kitabındaki istatistiği betimleyici bir kıyas olarak veriyorsanız bağımsızlık varsayımını açıkça yazın. Tasarım bu varsayımı ihlal ederken nominal %5 sonucunu gerçek yanlış ret oranı da %5'mış gibi yorumlamayın.

Her başlangıç için o sırada erişilebilir olan tahmini, tahmin ufkunu, bilgi kesim zamanını, gerçekleşen sonucu ve her ikisini yükseliş/düşüş etiketine çeviren kuralı aynen koruyun. Tabloyu oluşturmadan önce zaman damgalarını, finansal araçları, fiyat veya getiri tanımını ve eksik değer işlemesini eşleştirin. Revize edilmiş makroekonomik veriye dayanan ya da değerlendirme döneminde ayarlanmış bir sinyali kullanan tahmin, dokunulmamış bir örneklem dışı tahmin değildir.

Sınıflandırma eşiğini elde tutulan sonuçları görmeden belirleyin. Model olasılık üretiyorsa eşik bunu ikili yöne çevirir; aynı örneklemde eşik aramak soruyu değiştirir ve seçim yanlılığı yaratır. Eğitim, doğrulama ve nihai değerlendirme rollerini ayırın. Model aramasını hesaba katmayı amaçlayan yeniden örneklemede, seçim sürecinin tamamını her seferinde yeniden çalıştırın.

PT'nin sorusu, tahmin hatalarının büyüklüklerini karşılaştırmaktan farklıdır. Diebold–Mariano kılavuzu eşleştirilmiş kayıp farklarını karşılaştırır; Giacomini–White kılavuzu, göreli tahmin yeteneğinin önceden belirlenmiş bilgilere göre değişip değişmediğini sorar. İç içe geçmiş tahmin modelleri için Clark–West düzeltme kılavuzuna bakın. Tanıdık test istatistikleri vermeleri, bu testlerin birbirinin yerine kullanılabileceği anlamına gelmez.

PT testi her sonucu bir yön etiketine indirger. Bir tiklik yükselişle büyük bir ralli aynı “yükseliş” sonucudur; küçük bir ıskalama ile ağır bir kayıp da aynı yön hatası olarak sayılır. Iskalamalar kazançlardan büyükse, sinyal fiyat hareketinden sonra geliyorsa veya işlem maliyetleri avantajı tüketiyorsa, isabet oranı artarken strateji yine de para kaybedebilir.

Örneğin, eşit büyüklükte 100 varsayımsal işlem düşünün: yönün doğru tahmin edildiği 64 işlem ortalama %0.10 kazandırırken, 36 yanlış tahmin ortalama %0.25 kaybettirsin. Bileşik getiriyi ve maliyetleri dışarıda bırakan basit brüt toplam \(64(0.10\%)-36(0.25\%)=-2.6\) yüzde puandır; buna rağmen isabet oranı %64’tür. Bu özellikle basitleştirilmiş hesap bileşik getiriyi yok sayar ve piyasa verisi değildir; tek başına isabet oranının beklenen getiriyi belirlemediğini gösterir.

Bir işlemi değerlendirmek için getirileri hesaplamadan önce giriş ve çıkış zamanını, pozisyon büyüklüğünü, risk sınırlarını ve gerçekleşmeyen emirlerin nasıl ele alınacağını belirleyin. Uygun olduğu yerde alış-satış farkı, komisyon, kayma, piyasa etkisi, finansman ve platforma özgü maliyetleri dahil edin. Örneklem dışı net getirileri uygun bir kıyasla karşılaştırın ve kuralı üreten aynı çoklu deneme aramasını hesaba katın. PT sonucu yön ilişkisine dair kanıtların bir parçası olabilir; uygulanabilir ve maliyetleri hesaba katan değerlendirmenin yerini tutmaz.