Giacomini–White Testi: Koşullu Tahmin Doğruluğu

Bir test örneklemi boyunca A tahmininin ortalama kaybının B'den düşük olduğunu varsayalım. Bu ortalama yararlı bir örüntüyü gizleyebilir: A sakin piyasalarda daha iyi sonuç verirken B volatilitenin yüksek olduğu dönemlerde öne çıkabilir. Soru, hangi tahminin ortalamada daha iyi olduğuysa koşulsuz karşılaştırma uygundur. Soru, tahmin tarihindeki bilginin hangisinin daha iyi olacağını öngörmeye yardım edip etmediğiyse incelenmesi gereken konu koşullu tahmin başarısıdır.

Giacomini ve White bu çerçeveyi, belirli bir kayıp fonksiyonu ve bilgi kümesi altında tahmin yöntemlerini karşılaştırmak için kurar. Kayıp, tahmin görevine uygun tanımlandığında nokta, aralık, olasılık veya yoğunluk tahminlerine uygulanabilir. Yöntem, her tahmini üretmek için kullanılan tahmin prosedürünü de değerlendirmenin parçası sayar. Bu nedenle kayan pencere, sabit eğitim örneklemi veya ağırlık kuralı, sonuçları gördükten sonra değiştirilebilecek önemsiz bir ayrıntı değil, değerlendirilen yöntemin bir parçasıdır (Giacomini ve White, 2006).

Bu ayrım yapısal kırılma testiyle ilişkili olsa da aynı şey değildir. Koşullu test, göreli tahmin kaybının seçilen bilgilerle sistematik biçimde ilişkili olup olmadığını sorar. Kırılma testi ise parametrelerin veya ilişkinin bilinmeyen ya da önceden belirlenmiş bir zamanda değişip değişmediğini inceler. Diebold–Mariano rehberi koşulsuz ortalama kayıp karşılaştırmasını ele alır; koşullu bir soru, koşullandırma bilgisinin açıkça belirtilmesini gerektirir.

\(Y_{t+1}\), tahmin başlangıç zamanı \(t\)'den sonra gözlenen hedef olsun. \(\hat y^A_{t+1}\) ve \(\hat y^B_{t+1}\) tahminleri aynı hedefi, ufku, birimleri ve bilgi kesim zamanını ifade etmelidir. Daha düşük değerin tercih edildiği bir kayıp fonksiyonu \(L\) için kayıp farkını şöyle tanımlayın:

dₜ₊₁ = L(Yₜ₊₁, ŷA,ₜ₊₁) − L(Yₜ₊₁, ŷB,ₜ₊₁)

Bu işaret kuralında pozitif değer, A'nın daha fazla kayıp yaşadığı ve o tahmin başlangıcında B'nin önde olduğu anlamına gelir; negatif değer A'yı destekler. Her tahmin başlangıcı için bir satır tutun ve iki tahmini de aynı gerçekleşmeye göre puanlayın. Tahminleri, o anda erişilebilir oldukları biçimde; veri sürümü ve model sürümüyle birlikte saklayın. Geçmiş tahminleri sonradan revize edilmiş girdilerle veya daha sonra edinilen bilgilerle yeniden oluşturmayın.

Koşullandırma değişkenlerinin de tahmin başlangıcında bilinmesi gerekir. Gecikmeli volatilite tahmini, önceden duyurulmuş bir olay göstergesi, gecikmeli kayıp farkı veya yalnızca geçmiş gözlemlerden hesaplanan piyasa durumu değişkeni örnek olabilir. \(t\)'den sonra ölçülen bir değişken, ileriye bakma yanlılığı olmadan \(t+1\)'de hangi tahminin daha iyi olacağını açıklayamaz.

Skoru hedefle eşleştirin. Kare hata koşullu ortalama tahmini için bir seçenektir, ancak volatilite, kantil veya yoğunluk tahminine otomatik olarak uygun değildir. Bir model varyansı, diğeri standart sapmayı öngörüyorsa önce aynı büyüklüğün tahminleri olacak şekilde dönüştürün. Test, değerlendirilen sorudaki uyumsuzluğu gideremez.

Volatilite tahminlerinde ikisini de aynı gerçekleşmiş varyans tanımı ve örnekleme aralığıyla puanlayın. Bir tahmin gün içi fiyatları, diğeri gecelik getirileri de kapsıyorsa kayıp farkı tahmin becerisinden değil, farklı hedeflerden kaynaklanabilir. Piyasa kapalıyken oluşan hareketleri, örnekleme sıklığını, eksik gözlemleri ve gerçekleşmiş ölçüyü nasıl ele alacağınıza önceden karar verip tutarlı biçimde uygulayın. Gerçekleşmiş vekil ölçü gürültülüyse bu ölçüm hatası iki kayıp skorunu da etkiler ve yorumda yer almalıdır.

\(\mathcal{G}_t\), karşılaştırmada koşullandırma için kullanılan bilgileri göstersin. İdeal sıfır hipotezi şöyledir:

H₀: E[dₜ₊₁ | 𝒢ₜ] = 0

Belirtilen bilgi koşulu altında beklenen kayıp farkının sıfır olduğunu söyler. Tek adımlı GW testi, önceden seçilmiş ve \(t\) anında mevcut bilgilerle hesaplanabilen test fonksiyonları vektörü \(h_t\) ile koşullu ifadeyi bir moment kümesine dönüştürür:

H₀,ₕ: E[hₜ dₜ₊₁] = 0

\(h_t\) içindeki sabit terim, ortalama kayıp farkı momentini kapsar. Diğer bileşenler piyasa durumunu, gecikmeli göreli kaybı veya test sonuçları incelenmeden önce seçilmiş doğrusal olmayan bir dönüşümü temsil edebilir. Örneğin \(S_t\), \(t\) anında bilinen ikili bir yüksek-volatilite göstergesi olmak üzere \(h_t=(1,S_t)'\), hem sabit momenti hem de kayıp farkının bu durumla ilişkili olup olmadığını sınar.

Sonlu sayıdaki test fonksiyonu yalnızca seçilen momentleri sınar. Sıfır hipotezini reddetmek, test varsayımları altında seçilen momentlerden en az birinin sıfırla tutarsız olduğunu gösterir; evrensel olarak en iyi modeli belirlemez ve mümkün olan her durum değişkeninin önemli olduğunu kanıtlamaz. Reddedememek koşullu performansların eşit olduğunu kanıtlamaz. Yalnızca sabit terimle yapılan test, koşulsuz bir moment karşılaştırmasıdır; olası her koşul üzerinde kapsamlı bir arama değildir.

Kayıp fonksiyonunu, araç değişkenleri, dönüşümleri, örneklemi ve tahmin ufkunu hangi modelin kazandığını görmeden önce seçin. Sonuçları gördükten sonra çok sayıda durum göstergesi, eşik ve gecikme eklemek yeni bir arama sorunu yaratır. Koşullu test, bu seçimin etkisini kendi başına düzeltmez.

Durum değişkenlerini oluştururken zamanlamayı sabitleyin. “Yüksek volatilite” tüm örneklemdeki volatilitenin en üst yüzde 20'si demekse, gelecek gözlemler geçmiş tahmin başlangıçlarının eşiğini belirler. Eşiği her tahmin başlangıcında yalnızca o ana kadar mevcut bilgilerle tahmin edin veya o tarihten önce duyurulmuş bir kural kullanın. Sürekli durum değişkenlerinde birimleri, merkezlemeyi ve ölçeklemeyi önceden tanımlayın. Birbirine çok benzeyen göstergeler momentleri gereksiz kılabilir ve kovaryans matrisinin tersini almayı zorlaştırabilir; bu nedenle açık yorumu olan en küçük kümeyi kullanın.

\(q\) test fonksiyonu için \(g_{t+1}=h_t d_{t+1}\) vektörünü kurun. Örneklem ortalaması şöyledir:

ḡ = (1/n) Σₜ gₜ₊₁

Tek adımlı GW istatistiğinin Wald biçimi:

GW = n ḡ′ Ω̂⁻¹ ḡ

\(\hat\Omega\), moment vektörünün kovaryans matrisini tahmin eder. Sıfır hipotezi ve makaledeki düzenlilik koşulları altında istatistik, \(q\) serbestlik dereceli asimptotik ki-kare referans dağılımına sahiptir. Bu nedenle test fonksiyonlarının sayısı referans dağılımını, dolayısıyla test gücünü etkileyebilir. Çok sayıda zayıf veya yinelenen araç değişken eklemek, yararlı bilgi sağlamadan kovaryans tahminini kararsızlaştırabilir.

Tek adımlı kurulumda sıfır hipotezi, moment vektörü için martingal-fark yapısı doğurur ve özgün testin örneklem ikinci moment tahminini kullanmasına olanak verir. Farklı ufuklarda, örtüşen sonuçlarda veya bu kurulumdan sapmalarda varyans tahmincisi testin varsayımları ve bağımlılık yapısıyla uyumlu olmalıdır. Seçilen uygulamanın formülasyonunu izleyin; başka bir testin HAC bant genişliğini otomatik olarak kopyalamayın. Newey ve West'in (1987) tahmincisi dâhil genel HAC kovaryans yöntemleri, gerektiği durumlar için araçtır; GW için evrensel bir bant genişliği reçetesi değildir. Sonucun güvenilirliği, kullanılan kovaryans tahmini ve tahmin tasarımı kadar güçlüdür.

\(\hat\Omega\)'nın seçilen momentlerden tahmin edilebilir olup olmadığını da inceleyin. Neredeyse aynı test fonksiyonları, bir durumda çok az gözlem bulunan gösterge veya aşırı sayıda etkileşim matrisi tekil ya da kararsız hâle getirebilir. Tersi küçük bir veri revizyonundan sonra bile keskin biçimde değişebilir ve test istatistiğini bozabilir. Her fonksiyonun seçilen koşul veya tahmin performansı farkıyla ilişkili bir gerekçesi olmalıdır; sayılarını ve moment kovaryansını raporlayın. Sonuca baktıktan sonra işe yaramayan bir fonksiyonu çıkarmak başka bir seçim adımıdır ve açıklanmalıdır.

p-değeri, referans dağılımı altında belirtilen moment kısıtlarına karşı kanıttır. A veya B'nin gerçek model olma olasılığı ya da bir işlem kuralının kâr etme olasılığı değildir. Okuyucunun reddin ne anlama geldiğini anlayabilmesi için test istatistiğini, serbestlik derecesini, p-değerini ve tam olarak sınanan momentleri raporlayın.

<!-- learn:illustration -->

Sekiz varsayımsal tek-adım tahmin başlangıcını ele alalım. \(S_t=0\) sakin durumu, \(S_t=1\) yüksek-volatilite durumunu göstersin. Kayıp farkı \(d_{t+1}=L_A-L_B\), dört sakin başlangıçta −2, −2, −2 ve −2; dört yüksek-volatilite başlangıçta ise +2, +2, +2 ve +2 olsun. Negatif farklar A'yı, pozitif farklar B'yi destekler.

Sekiz başlangıcın ortalaması sıfırdır; bu küçük örnekte koşulsuz kayıp farkı görünmez. Sakin durum ortalaması −2, yüksek-volatilite durum ortalaması +2'dir. Göreli sıralama piyasa durumuna göre tersine döner. \(h_t=(1,S_t)'\) kullanan test, sabit momentin yanında bu örüntüyü yansıtabilecek bir yüksek-volatilite momentini de içerir.

Bu sekiz değer çıkarım için yeterli gözlem sayısı değil, öğretici bir örnektir. Gerçek veride test; tahminlerin nasıl tahmin edildiğini, durum değişkeninin önceden sabitlenip sabitlenmediğini, kaç başlangıç bulunduğunu ve kayıp farkı momentlerinin zaman içindeki değişimini dikkate almalıdır. Grafikte görülen tek bir durum ayrımı, örüntünün süreceğine kanıt değildir.

Özgün GW asimptotiği, örneklem dışı tahmin sayısı artarken en büyük tahmin penceresi boyutunu sonlu tutarak tahmin-estimasyon belirsizliğini korur. Kayan pencereler ve sabit eğitim örneklemi bu temel kurulumla uyumludur. Pencere boyutu ve veriye bağlı pencere seçme kuralı, her tahmin yönteminin parçasıdır; bu nedenle önceden belirlenip raporlanmalıdır.

Bu, tahmin modelleri yeniden tahmin edildiğinde önem kazanır. Parametre tahminini yok sayan bir karşılaştırma, her yöntemin geçmiş veriden öğrenme biçiminden kaynaklanan belirsizliği kaçırabilir. GW belirtilen koşullarda iç içe veya iç içe olmayan modellerden gelen tahminleri ele alabilir; ancak bu, her genişleyen pencere uygulaması veya her tahminci için geçerlilik garantisi değildir. Özgün tek-adım çerçevesinde geleneksel genişleyen pencere, sonlu pencere varsayımının dışındadır. Kurulum farklıysa gerçek tahmin yapısı için türetilmiş bir sonuç kullanın.

Test sizin yerinize uygun pencereyi seçmez. Kısa pencere güncel koşullara uyum sağlayabilir ama daha az gözlem kullanır; uzun veya genişleyen pencere tahminleri kararlılaştırırken eski ilişkileri koruyabilir. Bu seçenekleri önceden planlanmış bir değerlendirmeyle karşılaştırın ve pencere seçiminin kendisini de kayıt altına alın. Giacomini ve Rossi (2010), istikrarsız ortamlarda göreli tahmin performansının zaman içindeki seyrine yönelik ayrı testler geliştirir; zaman yolu sorusu temel GW koşullu testiyle ilişkili olsa da aynı istatistik değildir.

Koşullu bir ret, gerçek zamanlı olarak doğru tahmini seçen bir işlem kuralı da vermez. Araç değişken, değerlendirme verisinde kayıp farkıyla ilişkili olabilir; yine de bu ilişki kararlı veya uygulanabilir bir değiştirme kuralı üretmeyebilir. Güncel bilgiyi tahmin seçmek için kullanacaksanız, bu kuralı geçmiş gözlemlerle tanımlayın ve tahmin ile karar belirsizliği dâhil olmak üzere daha sonraki, hiç kullanılmamış bir başlangıç dizisinde değerlendirin.

Diebold–Mariano testi, değerlendirme örnekleminde iki tahminin ortalama kaybının aynı olup olmadığını sorar. GW, seçilen bilginin göreli kayıpla ilişkili olup olmadığını inceler ve koşulsuz karşılaştırmayı özel bir moment kısıtlaması olarak içerebilir. İki model aynı ortalama puana sahip olduğu hâlde göreli başarım piyasa durumuna göre değişebilir; iki durumlu örnek bunu gösterir.

Tahminler iç içe modellerden geliyorsa ve amaç özellikle eşit MSPE karşılaştırmasıysa Clark–West düzeltmesi gibi bir iç içe-model yöntemi farklı bir sıfır hipotezini ve tahmin gürültüsü sorununu ele alır. Çok sayıda işlem kuralı veya tahmin arasından seçim yapıp adaylardan herhangi birinin üstün öngörü gücü olup olmadığını soruyorsanız, White Reality Check veya Hansen SPA testi gibi aile düzeyinde bir yöntem kullanın. Seçilmiş tek bir çift üzerinde koşullu test yapmak, daha geniş aramanın etkisini ortadan kaldırmaz.

Son olarak, göreli doğruluğun zamanla değiştiğine dair kanıt belirli bir kırılma tarihini ortaya koymaz. Araştırma sorusu seçilmiş araçlarla ilişkiden çok göreli başarımın seyriyse yerel istikrarsızlık veya sıralama değişimleri için bir test daha uygun olabilir. Giacomini ve Rossi (2010) bu tür tahmin karşılaştırmalarını inceler. Her reddi rejim değiştiren bir işlem stratejisinin kanıtı saymak yerine yöntemi soruya göre seçin.

Koşullu testler büyük miktarda veri gerektirebilir. Örneklemi sakin ve oynak durumlara ayırmak, her karşılaştırmayı destekleyen gözlem sayısını azaltır. Daha fazla fonksiyon eklemek moment sayısını ve serbestlik derecesini artırır. Birçok koşul göreli kayıpla yalnızca zayıf ilişkiliyse koşullu farklar bulunsa bile test gücü düşük olabilir.

McCracken'ın St. Louis Fed çalışma makalesi, basit bir karesel kayıp örneğinde GW testinin varlığını, boyutunu ve gücünü inceler. Simülasyonlar, incelenen koşullarda testin büyüklüğü doğru ayarlayabildiğini ancak gücünün çoğunlukla düşük olduğunu bulur (McCracken, 2020). Bu, yoruma yönelik bir uyarıdır; her uygulama için geçerli evrensel bir sayısal tahmin değildir. Sıfır hipotezini reddedememek, sınırlı bilgiyi veya düşük test gücünü yansıtabilir; tahminlerin birbirinin yerine kullanılabileceğinin kanıtı diye sunulmamalıdır.

Alternatif durum tanımlarını, eşikleri, ufukları, kayıp fonksiyonlarını ve değerlendirme tarihlerini tekrar tekrar denemek tesadüfi bir bulguya ulaşma olasılığını yükseltir. Aday testlerin tümünü kaydedin, keşif amaçlı analizi önceden belirlenmiş doğrulama örnekleminden ayırın. Amaç bir strateji ailesinden birinin öngörü gücü bulunduğunu iddia etmekse, o aileye uygun çoklu test veya veri tarama yöntemini uygulayın. Daha fazla koşullu araç değişken, kanıtı otomatik olarak güçlendirmez.

Birden çok tahmin modeli karşılaştırılmaya devam ediyorsa aile düzeyinde bir yöntem, ikili koşullu testten farklı bir soruya yanıt verebilir. Model güven kümesi rehberi, seçilen düzeyde birbirinden ayırt edilemeyen modellerin yinelemeli karşılaştırmayla nasıl tutulabileceğini açıklar; ancak GW analizindeki koşulları önceden belirlemenin yerini almaz.

Her iki tahmin yöntemini, her birinin nasıl tahmin edildiğini, modellerin iç içe olup olmadığını, hedefi ve ufku, değerlendirme tarihlerini belirtin. Kayıp fonksiyonunu ve \(d_{t+1}\) için işaret kuralını tam olarak yazın. \(h_t\)'nin her bileşenini, nasıl oluşturulduğunu, ne zaman gözlemlenebilir hâle geldiğini ve sonuçlara bakılmadan seçilip seçilmediğini açıklayın.

Tahmin başlangıç takvimini, tahmin penceresi kuralını, veri sürümünü, ortak örneklem kuralını, örneklem dışı başlangıç sayısını, test fonksiyonu sayısını, kovaryans tahmincisini, referans dağılımını, test istatistiğini, serbestlik derecesini ve p-değerini raporlayın. Ufukların çakışıp çakışmadığını ve bağımlılığın nasıl ele alındığını belirtin. Yalnızca test sonucunu değil, ortalama kayıpları ve ilgili kayıp farkı özetlerini de ekleyin.

Denenen diğer araç değişkenleri, eşikler, pencereler, kayıplar ve tahmin çiftlerini listeleyin. Aynı gözlemler hem modeli veya koşullandırma değişkenlerini seçmek hem de onları sınamak için kullanıldıysa bunu açıklayın. Bir sonuç doğrulayıcı olmasa bile bilgilendirici olabilir; şeffaf raporlama kapsamı değerlendirmeyi ve ayrı bir doğrulama tasarlamayı sağlar.