Transformasi kamiran kebarangkalian: kalibrasi ramalan ketumpatan

Ramalan titik mungkin menjangkakan pulangan esok sebanyak 0.2%. Ramalan ketumpatan memberikan kebarangkalian kepada keseluruhan julat pulangan, termasuk pergerakan biasa dan kejadian ekstrem. Penilaian bertanya sama ada taburan yang dikeluarkan sebelum hasil diketahui selaras dengan kejadian kemudian. Panduan Mincer–Zarnowitz membincangkan kalibrasi linear bagi ramalan titik berangka—soalan yang berbeza.

PIT mengukur kebarangkalian terkumpul yang diberikan sehingga nilai sebenar. Ia ialah kedudukan kebarangkalian, bukannya pulangan, isyarat dagangan atau ukuran untung. Panduan Diebold–Mariano membandingkan purata kerugian ramalan di bawah skor pilihan; ia tidak menjawab soalan kalibrasi ketumpatan.

Ambil hasil selepas masa asal ramalan (t) sebagai (Y_{t+1}), dan fungsi taburan terkumpul (CDF) ramalan (F_{t+1}(y\mid\mathcal I_t)) berdasarkan maklumat (\mathcal I_t) yang tersedia ketika itu. Bagi taburan berterusan, kira

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

CDF ialah kebarangkalian bagi nilai yang tidak melebihi (y). Jika CDF ramalan ialah taburan bersyarat sebenar, teorem PIT memberikan

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

Maka ramalan satu langkah berterusan yang ideal menghasilkan PIT seragam bersyarat pada maklumat ramalan. Dalam siri berjujukan yang maklumatnya merangkumi masa lalu, PIT ideal turut bebas antara masa asal di bawah andaian bersesuaian. Rosenblatt mengkaji transformasi ini; Diebold, Gunther dan Tay menggunakannya untuk menilai ramalan ketumpatan (1952; 1998).

Contoh semakan tangan: ramalan (N(0,1)) dan hasil (y=1) memberikan (Phi(1)\approx0.8413). Ramalan meletakkan kira-kira 84.13% kebarangkalian pada nilai sehingga 1. Satu pemerhatian tidak menentukan kalibrasi; kita memerlukan siri.

CDF diskret melompat pada hasil yang mungkin. Oleh itu (F(Y)) biasa hanya mengambil beberapa aras dan lazimnya tidak seragam walaupun ramalan betul. PIT rawak mengisi setiap selang lompatan:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

(F(y^-)) ialah had kiri, iaitu kebarangkalian nilai yang benar-benar lebih kecil daripada (y); (V) ialah cabutan bebas Uniform(0,1) untuk penilaian sahaja. Bagi taburan berterusan, lompatan sifar dan formula kembali kepada (F(Y)). Brockwell membuktikan transformasi rawak untuk taburan umum termasuk kes diskret dan campuran (2007). Untuk data kiraan tersusun, Czado, Gneiting dan Held turut membincangkan PIT tanpa rawak serta rajah kalibrasi marginal; jangan anggap (F(Y)) diskret sebagai berterusan-seragam (2009).

Contoh Bernoulli hipotesis: (P(Y=1)=0.20) dan (P(Y=0)=0.80). PIT biasa ialah 0.80 apabila (Y=0), dan 1.00 apabila (Y=1), jadi ia tidak seragam. Dengan rawakan, (Y=0) dipetakan kepada (0.80V) dalam ([0,0.80]); (Y=1) kepada (0.80+0.20V) dalam ([0.80,1]). Apabila ditimbang dengan kebarangkalian masing-masing, ketumpatan gabungan seragam pada ([0,1]). Cabutan itu alat penilaian, bukan sebahagian ramalan.

Taburan marginal PIT yang seragam perlu bagi ramalan berterusan ideal, tetapi tidak mencukupi. Ralat bertentangan antara rejim boleh saling mengimbangi apabila data digabungkan lalu menghasilkan histogram yang kelihatan rata. Gneiting, Balabdaoui dan Raftery menunjukkan PIT yang hampir seragam boleh wujud bersama ramalan individu yang berat sebelah (2007).

Susunan juga penting. Siri boleh mempunyai histogram seragam tetapi masih bersiri-dependen, dengan kelompok atau rentetan nilai serupa. Ramalan bersyarat ideal membayangkan lebih daripada keseragaman terkumpul. Jika horizon bertindih, taburan rujukan perlu mengambil kira pertindihan itu; ujian iid tidak semestinya sesuai.

Periksa taburan PIT dan hubungannya dengan masa, lag, pemboleh ubah masa asal dan rejim yang ditetapkan lebih awal. Plot berkumpulan atau ujian bersyarat boleh mendedahkan corak, tetapi pilihan kumpulan dan had sampel tetap penting. Tiada set ujian terhad membuktikan kalibrasi untuk semua pemboleh ubah bersyarat.

Bentuk U kerap selaras dengan ramalan yang terlalu tertumpu atau kurang tersebar; bonggol tengah kerap selaras dengan ramalan terlalu luas. Ketidakseimbangan kiri-kanan mungkin menunjukkan bias lokasi. Ini heuristik, bukan diagnosis tunggal: kebergantungan, campuran rejim, hasil diskret, binning dan sampel kecil boleh mengelirukan.

Histogram membuang susunan masa. Ia tidak menunjukkan bila masalah bermula, sama ada nilai besar berkelompok, atau sama ada satu subkumpulan tersalah kalibrasi. Bin lebar dan data sedikit boleh kelihatan rata; bin sempit pula boleh nampak tidak teratur akibat hingar. Laporkan bilangan ramalan, sempadan bin dan ketidakpastian jika boleh. Kaedah Diebold–Gunther–Tay dan Berkowitz ialah contoh ujian yang andaian perlu sepadan dengan reka bentuk. Berkowitz menukar PIT dalaman kepada (Z_t=\Phi^{-1}(U_t)) lalu menguji nol bersama nilai normal piawai bebas terhadap alternatif dinamik tertentu seperti AR(1). Ia bukan sijil universal (2001).

<!-- learn:illustration -->

Keputusan keseragaman mengandaikan CDF ialah hukum bersyarat sebenar. Dalam amalan, parameter dianggar, keluarga taburan dipilih, dan ambang atau ciri mungkin ditala. Maka (F_{t+1}(\cdot;\hat\theta_t)) ialah sebahagian prosedur ramalan. Menggunakan hasil tempoh penilaian untuk memadankan model lalu mendakwa PIT sebagai bukti luar sampel yang tidak disentuh ialah kebocoran maklumat.

Dalam penilaian bergulir, gunakan hanya maklumat yang tersedia pada setiap masa asal. Rekodkan tetingkap anggaran, kekerapan anggaran semula, vintaj data, versi model dan langkah pemilihan. Tetingkap bersebelahan sering berkongsi pemerhatian; hasil bertindih menambah kebergantungan.

Saiz dan kuasa ujian bergantung pada penganggar, sampel dan prosedur. Histogram PIT tidak mengambil kira ketidakpastian parameter; rujukan iid buku teks tidak sesuai untuk setiap reka bentuk yang dianggar atau bertindih. Untuk inferens penting, gunakan ujian yang sesuai atau simulasikan/bootstrap nol dengan mengulangi keseluruhan saluran anggaran dan ramalan. Asingkan sampel penilaian akhir daripada pemilihan model jika soalan kajian memerlukannya.

Kalibrasi melibatkan hubungan ramalan dengan hasil: adakah peristiwa yang diberi kebarangkalian tertentu berlaku pada kadar sepadan? Ketajaman menerangkan kepekatan taburan ramalan tanpa melihat hasil. Gneiting, Balabdaoui dan Raftery menganggap ketajaman diingini tertakluk pada kalibrasi, bukan penggantinya.

Ramalan luas boleh terkalibrasi tetapi kurang bermaklumat. Ramalan sempit mungkin nampak tepat tetapi tersalah kalibrasi jika hasil kerap jatuh di luar jisim kebarangkaliannya. PIT menilai konsistensi taburan; ringkasan ketajaman menerangkan sebaran atau lebar. Melaporkan satu sahaja meninggalkan sebahagian penilaian.

PIT terkumpul yang rata boleh menyembunyikan ralat mengikut rejim volatiliti atau horizon. Tentukan keadaan penting lebih awal. Ini berkaitan tetapi berbeza daripada regresi ramalan titik dan ujian keupayaan ramalan bersyarat Giacomini–White, yang membandingkan kerugian bersyarat pada maklumat pilihan.

PIT terutamanya diagnostik, bukan pemeringkat tunggal ramalan ketumpatan. Log score dan continuous ranked probability score (CRPS) memberikan kerugian skalar kepada setiap pasangan ramalan-hasil; mengikut definisi, kerugian jangkaan minimum apabila taburan ramalan sebenar dilaporkan. Purata satu sampel tidak membuktikan model betul. Panduan Model Confidence Set membincangkan perbandingan berasaskan set. Bandingkan ramalan ketumpatan menggunakan skor untuk taburan penuh pada hasil yang sama.

Nyatakan sasaran, horizon, tarikh bersama, konvensyen kerugian dan penanda aras. Log score amat sensitif apabila ketumpatan pada pemerhatian terlalu kecil; CRPS membandingkan CDF dengan profil sensitiviti berbeza. Ketidakpastian perbezaan skor perlu mengambil kira kebergantungan bersiri, penganggaran dan carian model. Gunakan plot PIT bersama skor kerana fungsinya berbeza.

Kalibrasi atau skor yang lebih baik tidak membuktikan keuntungan dagangan. Tuntutan dagangan memerlukan peraturan keputusan, masa maklumat, saiz posisi, kos transaksi/pembiayaan dan penilaian pulangan luar sampel. Statistik ramalan bukan pulangan backtest.

Tetapkan sasaran, horizon, masa asal, vintaj hasil, dan sama ada taburan berterusan, diskret atau campuran. Simpan CDF ramalan atau maklumat untuk membinanya semula bersama hasil dan set maklumat. Kira (F_t(Y_t)) untuk kes berterusan; bagi lompatan, dokumentasikan PIT rawak atau diagnostik diskret yang sesuai.

Periksa taburan marginal dan susunan masa. Nyatakan bin, saiz sampel, pengendalian nilai seri dan seed/prosedur rawakan berulang. Tambah pemeriksaan kebebasan atau bersyarat bagi soalan yang ditetapkan awal, dengan inferens yang sesuai untuk reka bentuk bergulir, bertindih atau dianggar. Bandingkan model berasingan dengan skor wajar pada hasil tahan-uji yang sama. Kesimpulan hanya mengenai ramalan dan keadaan yang ditakrifkan, bukan jaminan kalibrasi masa depan atau untung dagangan.