Olasılık integral dönüşümü: yoğunluk tahminlerinde kalibrasyon

Nokta tahmini yarının getirisini %0,2 olarak öngörebilir. Yoğunluk tahmini ise olağan hareketlerden uç olaylara kadar getiri aralığının tamamına olasılık atar. Değerlendirme, sonuç gözlenmeden önce yayımlanan dağılımın sonradan gerçekleşenlerle tutarlı olup olmadığını sorar. Mincer–Zarnowitz rehberi sayısal nokta tahminlerinin doğrusal kalibrasyonunu ele alır; bu farklı bir sorudur.

PIT, tahminin gerçekleşen değere kadar atadığı kümülatif olasılığı ölçer. Bu bir olasılık sıralamasıdır; getiri, alım-satım sinyali veya kâr ölçüsü değildir. Diebold–Mariano rehberi seçilen skora göre ortalama tahmin kaybını karşılaştırır; yoğunluk kalibrasyonunu ölçmez.

Tahmin başlangıcı (t) sonrasındaki sonuç (Y_{t+1}), o sırada kullanılabilen (\mathcal I_t) bilgisine dayalı tahmin kümülatif dağılım fonksiyonu (CDF) ise (F_{t+1}(y\mid\mathcal I_t)) olsun. Sürekli dağılım için

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

CDF, değerin (y)'ye eşit ya da ondan küçük olma olasılığıdır. Tahmin CDF'si gerçek koşullu dağılımsa PIT teoremi şunu verir:

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

Dolayısıyla ideal sürekli tek adımlı tahmin, tahmin bilgisine koşullu uniform PIT üretir. Bilgi kümesinin geçmişi içerdiği ardışık düzende ideal PIT'ler, uygun varsayımlarla tahmin başlangıçları arasında da bağımsızdır. Dönüşümü Rosenblatt inceledi; Diebold, Gunther ve Tay PIT dizilerini yoğunluk tahmini değerlendirmesine uyguladı (1952; 1998).

Elle kontrol örneği: Tahmin (N(0,1)), gözlem (y=1) ise PIT (Phi(1)\approx0.8413) olur; tahmin 1'e kadar olan değerlere yaklaşık %84,13 olasılık vermiştir. Tek gözlem kalibrasyonu belirlemez; bir dizi gerekir.

Kesikli CDF olası sonuçlarda sıçrar. Bu nedenle sıradan (F(Y)) yalnızca belirli seviyeleri alır ve doğru tahminde bile genellikle uniform değildir. Rastgeleleştirilmiş PIT her sıçrama aralığını doldurur:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

(F(y^-)) sol limit, yani (y)'den kesin olarak küçük değerlerin olasılığıdır; (V), yalnızca değerlendirmede kullanılan bağımsız Uniform(0,1) çekilişidir. Sürekli dağılımda sıçrama sıfırdır ve ifade (F(Y)) olur. Brockwell, kesikli ve karma dağılımlar dahil genel dağılımlar için bu rastgele dönüşümü kanıtlar (2007). Sıralı sayım verilerinde Czado, Gneiting ve Held rastgele olmayan PIT ve marjinal kalibrasyon grafiklerini de tartışır; kesikli (F(Y)) değerlerini sürekli-uniform gibi değerlendirmeyin (2009).

Varsayımsal Bernoulli örneği: (P(Y=1)=0.20) ve (P(Y=0)=0.80). Sıradan PIT, (Y=0) için 0,80 ve (Y=1) için 1,00 olduğundan uniform değildir. Rastgeleleştirmeyle (Y=0), ([0,0.80]) aralığında (0.80V); (Y=1), ([0.80,1]) aralığında (0.80+0.20V) verir. Olay olasılıklarıyla ağırlıklandırıldığında toplam yoğunluk ([0,1]) üzerinde uniform olur. Çekiliş değerlendirme aracıdır, tahminin parçası değildir.

Marjinal PIT dağılımının uniform olması ideal sürekli tahminler için gereklidir, fakat yeterli değildir. Farklı rejimlerdeki zıt hatalar birleştirilmiş veride birbirini götürüp histogramı düz gösterebilir. Gneiting, Balabdaoui ve Raftery, yaklaşık uniform PIT ile yanlı bireysel tahminlerin bir arada bulunabildiğini gösterir (2007).

Sıralama da önemlidir: seri uniform histogramla birlikte kümelenme veya uzun benzer değer dizileri gösterebilir. İdeal koşullu tahminler toplu uniformluktan fazlasını gerektirir. Örtüşen ufuklarda referans dağılımı örtüşmeyi hesaba katmalıdır; iid testi otomatik olarak uygun değildir.

PIT dağılımını ve zaman, gecikmeler, tahmin başlangıcı değişkenleri ve önceden belirlenen rejimlerle ilişkisini inceleyin. Gruplu grafikler veya koşullu testler gizli örüntüleri gösterebilir, ancak grup seçimi ve küçük örneklem sınırlıdır. Sonlu sayıda kontrol, olası tüm koşullandırma değişkenlerinde kalibrasyonu kanıtlayamaz.

U biçimi çoğu zaman fazla yoğun veya az dağılmış tahminlerle; ortada tümsek ise fazla yaygın veya aşırı dağılmış tahminlerle tutarlıdır. Sağa-sola dengesizlik konum yanlılığına işaret edebilir. Bunlar tekil teşhis değil sezgisel ipuçlarıdır: bağımlılık, rejim karışımı, kesiklik, binleme ve küçük örneklem yanıltabilir.

Histogram zaman sırasını siler; sorunun ne zaman başladığını, uç değerlerin kümelenmesini veya bir alt grubun yanlış kalibrasyonunu göstermez. Geniş binler az veriyi düz gösterebilir, dar binler örneklem gürültüsüyle düzensiz görünebilir. Tahmin sayısını, bin sınırlarını ve mümkünse belirsizliği raporlayın. Diebold–Gunther–Tay çerçevesi ve Berkowitz testi, varsayımları düzene uydurulması gereken örneklerdir. Berkowitz iç PIT'yi (Z_t=\Phi^{-1}(U_t)) biçimine dönüştürüp bağımsız standart normal değerler ortak sıfır hipotezini AR(1) gibi belirli dinamik alternatife karşı sınar. Evrensel bir sertifika değildir (2001).

<!-- learn:illustration -->

Uniformluk sonucu CDF'nin gerçek koşullu dağılım olduğunu varsayar. Pratikte parametreleri tahmin eder, dağılım ailesi seçer, eşik veya özellikleri ayarlarız. Dolayısıyla (F_{t+1}(\cdot;\hat\theta_t)) tahmin prosedürünün parçasıdır. Değerlendirme dönemi sonuçlarıyla modeli uydurup PIT'yi dokunulmamış örneklem dışı kanıt diye sunmak bilgi sızıntısıdır.

Kayan değerlendirmede her tahmin başlangıcında yalnız o sırada bulunan bilgiyi kullanın. Tahmin penceresini, yeniden tahmin sıklığını, veri ve model sürümünü, seçim adımlarını kaydedin. Komşu pencereler çoğu zaman gözlemleri paylaşır; örtüşen sonuçlar ek bağımlılık getirir.

Testin boyutu ve gücü tahminciye, örnekleme ve prosedüre bağlıdır. PIT histogramı parametre belirsizliğini kapsamaz; ders kitabı iid referansları her tahmin edilmiş veya örtüşen düzene uygulanmaz. Önemli çıkarım için uygun test seçin ya da tüm tahmin/öngörü hattını tekrarlayarak sıfır hipotezini simüle/bootstrap edin. Gerekiyorsa model seçiminde kullanılmayan son değerlendirme örneklemi tutun.

Kalibrasyon, tahminlerle sonuçların ilişkisini sorar: belirli olasılık verilen olaylar o oranda gerçekleşiyor mu? Keskinlik, sonuçlara bakmadan tahmin dağılımlarının yoğunlaşmasını tarif eder. Gneiting, Balabdaoui ve Raftery keskinliği kalibrasyon koşuluyla istenir görür; onun yerine geçmez.

Geniş tahmin kalibre olsa da az bilgilendirici olabilir. Dar tahmin hassas görünür, ancak sonuçlar olasılık kütlesinin dışına sık çıkıyorsa kalibre değildir. PIT dağılım tutarlılığını, keskinlik özetleri yayılımı ve genişliği ölçer. Yalnızca birini raporlamak değerlendirmenin bir kısmını atlar.

Toplu PIT histogramı volatilite rejimine veya ufka göre hataları saklayabilir. Önemli koşulları önceden belirleyin. Bu, nokta tahmini regresyonu ve seçilmiş bilgiye koşullu kayıpları karşılaştıran Giacomini–White koşullu öngörü yeteneği testi ile ilişkili ama farklıdır.

PIT öncelikle tanıdır; yoğunluk tahminlerini tek başına sıralamaz. Log skor ve continuous ranked probability score (CRPS), her tahmin-sonuç çiftine skaler kayıp atar; tanımları gereği doğru tahmin dağılımının beklenen kaybı en düşüktür. Tek örneklemde gerçekleşen ortalama modelin doğruluğunu kanıtlamaz. Model Confidence Set rehberi küme tabanlı karşılaştırmayı açıklar. Tam dağılım için tanımlanmış skoru aynı sonuçlara uygulayın.

Hedefi, ufku, ortak tarihleri, kayıp tanımını ve kıyas ölçütünü belirtin. Log skor, gözlem noktasında çok düşük yoğunluğa özellikle duyarlıdır; CRPS CDF'leri farklı bir hassasiyetle karşılaştırır. Skor farklarının belirsizliği seri bağımlılık, tahmin ve model aramasını dikkate almalıdır. PIT grafikleri ile skorlar farklı görevler görür.

Kalibrasyon ya da daha iyi skor işlem kârlılığını kanıtlamaz. İşlem iddiası için karar kuralı, bilgi zamanı, pozisyon büyüklüğü, işlem/fonlama maliyetleri ve örneklem dışı getiri değerlendirmesi ayrıca gerekir. Tahmin değerlendirme istatistiği backtest getirisi değildir.

Hedefi, ufku, tahmin başlangıç zamanını, sonuç sürümünü ve dağılımın sürekli, kesikli veya karma olmasını belirleyin. Her tahmin CDF'sini veya yeniden kurmaya yetecek bilgiyi sonuç ve bilgi kümesiyle saklayın. Sürekli durumda (F_t(Y_t)) hesaplayın; sıçramalarda belgelenmiş rastgele PIT ya da uygun kesikli tanı kullanın.

Marjinal dağılımı ve zaman sırasını inceleyin. Binleri, örneklem sayısını, eşitliklerin ele alınışını ve seed/tekrarlı randomizasyon yöntemini belirtin. Önceden tanımlanmış sorular için bağımsızlık/koşullu kontroller ekleyip kayan, örtüşen veya tahmin edilmiş düzene uygun çıkarım yapın. Modelleri aynı ayrılmış sonuçlarda uygun skorlarla ayrıca karşılaştırın. Sonuç, tanımlanan tahmin ve koşullara dair kanıttır; gelecekte kalibrasyon veya kâr garantisi değildir.