Skoring VaR–ES Gabungan: Evaluasi Ramalan Fissler–Ziegel

Misalkan L_t adalah kerugian, sehingga nilai lebih tinggi lebih buruk, dan c adalah tingkat keyakinan seperti 97,5%. Kuantil kerugian kondisional v(c,t) adalah x terkecil yang membuat F(L_t ≤ x | informasi sampai t−1) mencapai c. Untuk kerugian positif di ekor atas, ES = [1/(1−c)] kali integral v(u,t) dari c sampai 1, selama rata-rata ekor terbatas. Pada distribusi kontinu, ini adalah rata-rata kerugian di atas ambang VaR. Jika ada massa probabilitas di ambang, definisi integral kuantil mengambil bagian massa yang diperlukan.

Skor harus memakai konvensi yang sama dengan ramalan. Beberapa artikel mendefinisikan VaR dan ES di ekor bawah imbal hasil, biasanya bernilai negatif, dan menulis probabilitas ekor sebagai α = 1−c. Untuk kerugian positif, risiko yang sama berada di ekor atas dan ES setidaknya sebesar VaR. Mencampur konvensi dapat membalik pertidaksamaan dan indikator pengecualian. Catat tanda, tingkat keyakinan, horizon, dan informasi yang tersedia sebelum hasil terjadi.

Kuantil memiliki skor pinball yang strictly consistent. Untuk kerugian L dan kuantil-c v, salah satu skor VaR adalah S_VaR(v,L) = (I{L ≤ v}−c)(v−L). Dalam kondisi kuantil yang lazim, nilai harapannya minimum pada kuantil target, sehingga VaR dapat dievaluasi sendiri.

Tidak ada skor strictly consistent yang sepadan untuk mengelicit ES saja pada kelas distribusi kerugian luas yang digunakan dalam manajemen risiko. Pernyataan ini khusus untuk ramalan titik mandiri dengan skor harapan yang memilih ES secara unik. Ini tidak berarti ES tidak bermakna, tidak dapat diuji, atau tidak bisa dibandingkan sebagai bagian dari ramalan yang lebih besar.

Fissler dan Ziegel menetapkan perbedaan penting: ES sendiri tidak elicitable dalam arti tersebut, tetapi pasangan (VaR, ES) dapat dielicit bersama dalam kondisi regularitas dan momen tertentu. Makalah mereka tahun 2016 memberi syarat perlu dan cukup untuk kelas skor strictly consistent (Fissler and Ziegel, 2016). Elicitability gabungan berarti satu fungsi skor menerima kedua komponen ramalan dan hasil aktual. Menjumlahkan dua kerugian sembarang tidak otomatis menghasilkan skor ES yang valid.

Tuliskan S_c(v,e;L) untuk skor gabungan yang admissible pada tingkat c. Strict consistency berarti skor harapan pada distribusi target minimum pada pasangan yang benar: (VaR_c, ES_c) = arg min atas (v,e) dari E[S_c(v,e;L)]. Dengan kondisi yang relevan, minimumnya unik. Skor menggabungkan informasi apakah ambang VaR terlampaui, besar kerugian ekor aktual, dan ramalan ES. Untuk kerugian positif di ekor atas, ES semestinya tidak di bawah VaR.

Fissler–Ziegel mendeskripsikan kelas skor, bukan satu formula wajib. Patton, Ziegel, dan Chen menerapkan hasilnya untuk memodelkan dan membandingkan ramalan VaR–ES dinamis (Patton, Ziegel, and Chen, 2019). Salah satu anggota umum, FZ0, ditulis untuk imbal hasil ekor bawah Y = −L, α = 1−c, serta ramalan negatif e ≤ v < 0: S_FZ0(Y,v,e;α) = −I{Y ≤ v}(v−Y)/(αe) + v/e + ln(−e) − 1. Ekspresi ini bergantung pada konvensi tanda imbal hasil dan asumsi negatif tersebut. Jangan menggunakannya langsung untuk semua data kerugian positif atau semua skor gabungan. Dokumentasikan skor yang dipilih dan cocokkan asumsinya dengan data serta konvensi ramalan.

Untuk model m, hitung skor gabungan pada setiap pasangan ramalan–hasil lalu rata-ratanya: mean_S_m = (1/T) Σ_t S_c(v_hat(m,t), e_hat(m,t); L_t). Dengan skor admissible, tanggal, target, dan konvensi yang sama, rata-rata lebih rendah berarti kinerja relatif lebih baik menurut aturan tersebut. Skor bukan probabilitas, nilai VaR, atau estimasi uang yang hilang; skalanya bergantung pada skor pilihan.

Untuk perbandingan berpasangan A dan B, bentuk d_t = S_A,t − S_B,t. Rata-rata negatif mendukung A menurut skor itu. Kedua ramalan menghadapi realisasi yang sama, sehingga selisih berpasangan lebih informatif daripada membandingkan rata-rata yang dibulatkan terpisah. Namun hasilnya tetap bising jika pengamatan ekor sedikit.

<!-- learn:illustration -->

Bandingkan origin ramalan, portofolio atau target, horizon, tingkat keyakinan, dan versi data yang sama. Ramalan harus dicatat sebelum hasil diketahui. Jika horizon tumpang tindih atau selisih skor bergantung secara serial, perhitungan ketidakpastian perlu menangani dependensi tersebut. Laporkan standard error atau interval yang sesuai; selisih mentah kecil belum tentu bermakna.

Seseorang mungkin menjumlahkan pinball loss VaR dan selisih absolut ramalan ES terhadap suatu proksi. Suku kedua belum tentu merupakan skor ES yang valid, dan jumlah berbobot sembarang tidak menjamin konsistensi gabungan. Skor FZ dibangun agar pasangan ramalan menargetkan fungsional VaR–ES bersama. Bobot atau transformasi tanpa sifat ini mengubah pertanyaan evaluasi.

Ada beberapa skor dalam kelas Fissler–Ziegel dengan skala dan sensitivitas berbeda, sehingga selisih dari aturan berbeda tidak dapat dibandingkan langsung. Patton, Ziegel, dan Chen membahas desain skor serta sifat skala FZ0 dengan asumsi tanda tambahan; itu tidak menjadikan FZ0 terbaik secara universal. Pilih dan laporkan aturan sebelum melihat peringkat.

Pasangan ramalan juga penting. Ramalan ES yang tampak menarik dapat tidak sesuai dengan VaR pasangannya. Sebaliknya, skor gabungan yang baik tidak membuktikan seluruh distribusi kondisional benar. Skor mengevaluasi fungsional yang disebutkan menurut aturan dan rancangan evaluasi pilihan.

Indikator pengecualian VaR bersifat biner: I_t = 1 jika L_t melampaui ramalan VaR, dan 0 jika tidak. Dua model dapat memiliki jumlah dan waktu pengecualian yang sama, tetapi besarnya kerugian di atas ambang sangat berbeda. Hitungan empat pelanggaran tidak menjelaskan apakah kerugiannya hanya sedikit atau jauh melampaui VaR. Hitungan saja membuang informasi tingkat keparahan yang hendak dijelaskan ES.

Skor gabungan memakai ambang dan ramalan ES bersama kerugian aktual, sehingga besar kerugian ekor dapat memengaruhi skor di luar jumlah hit. Skor yang dipilih menentukan kontribusi tepat setiap observasi. Jangan menentukan pemenang dari satu kerugian ekstrem: hitung skor pada seluruh sampel bersama dan periksa sensitivitas.

Penggunaan skor untuk membandingkan ramalan berbeda dari pemeriksaan frekuensi pengecualian VaR. Skor menjawab pasangan ramalan mana yang berkinerja lebih baik menurut aturan bersama; skor bukan sertifikat kalibrasi lengkap.

Uji VaR ala Kupiec membandingkan jumlah pengecualian dengan tingkat target; perluasan Christoffersen juga memeriksa dependensi atau pengelompokan. Karena setiap hasil dipadatkan menjadi hit atau bukan hit, uji ini tidak mengukur besarnya kerugian setelah VaR dan tidak menguji ramalan ES secara langsung. Panduan VaR dan Expected Shortfall menjelaskan mengapa hitungan pengecualian mengabaikan tingkat keparahan ekor.

Skor gabungan mendukung perbandingan ramalan relatif, sementara backtesting menanyakan apakah ramalan terkalibrasi memadai untuk prosedur tertentu. Acerbi dan Szekely mengusulkan backtest ES nonparametrik dan menjelaskan bahwa elicitability relevan untuk pemilihan model, bukan prasyarat menguji ukuran risiko (Acerbi and Szekely, 2014). Bayer dan Dimitriadis kemudian mengembangkan backtest ES berbasis regresi dengan struktur VaR–ES gabungan; variannya memiliki asumsi dan kebutuhan kovarians masing-masing (Bayer and Dimitriadis, 2022). Peringkat skor bukan pengganti backtest khusus, dan gagal menolak hipotesis bukan bukti ramalan akurat.

Perlakukan deret waktu selisih skor sebagai data. Untuk ramalan satu langkah yang tidak tumpang tindih dengan asumsi dependensi memadai, uji berpasangan atas rata-rata selisih dapat dipertimbangkan. Untuk dependensi serial atau horizon tumpang tindih, gunakan inferensi yang sesuai, misalnya estimasi varians jangka panjang atau resampling blok. Sebutkan metode dan bandwidth atau aturan blok, bukan hanya nilai p.

Tetapkan skor, tingkat ekor, horizon, tanggal evaluasi, dan kumpulan model sebelum melihat peringkat. Mencoba banyak skor, jendela, aset, atau variasi lalu hanya melaporkan hasil terbaik menimbulkan bias seleksi. Jika memungkinkan, sisihkan periode evaluasi berikutnya dan jelaskan penyaringan alternatif. Ketidakpastian biasa tidak otomatis memperhitungkan tuning pada sampel uji.

Laporkan rata-rata dan selisih berpasangan beserta ketidakpastian, definisi skor, konvensi VaR dan ES, tanggal out-of-sample yang sama, serta jumlah pengamatan ekor. Jika peringkat berubah pada pilihan skor atau periode yang wajar, tunjukkan sensitivitasnya.

Tingkat keyakinan tinggi menyisakan sedikit pengamatan ekor sehingga peringkat dapat tidak stabil meski seri waktu panjang. Heteroskedastisitas kondisional, perubahan rezim, imbal hasil tumpang tindih, kesalahan estimasi, masalah data, dan perubahan portofolio memengaruhi selisih skor. Joint elicitability tidak menghapus masalah ini; hasil tersebut menyediakan kelas skor berprinsip di bawah kondisi matematis.

Pastikan kerugian aktual sesuai dengan portofolio, horizon, metode valuasi, dan tanda ramalan; VaR dan ES memakai probabilitas ekor yang sama; ramalan benar-benar dibuat sebelum hasil; dan skor memenuhi asumsi. Laporkan panjang sampel, jumlah observasi ekor, formula skor, prosedur ketidakpastian berpasangan, serta pencarian model atau skor. Kesimpulan terbatas pada rancangan itu.

Skor gabungan yang lebih rendah merupakan bukti kinerja prediktif relatif menurut aturan yang dipilih. Itu tidak membuktikan model menangkap semua kejadian ekor, taksiran risiko aman, atau hasil mendatang akan menyerupai sampel. Ini materi statistik, bukan saran investasi.