Model Confidence Set (MCS): Membandingkan Model Ramalan Tanpa Memilih Pemenang Secara Paksa

Bayangkan beberapa prosedur meramalkan volatiliti hari berikutnya. Ralatnya berbeza, tetapi sampel mungkin terlalu pendek atau bising untuk menentukan prosedur yang mempunyai jangkaan kerugian paling rendah. Memilih prosedur dengan kerugian purata paling rendah akan memaksa satu pemenang walaupun jurangnya mungkin sekadar variasi sampel. MCS memberikan jawapan berbentuk set: calon manakah yang masih serasi secara statistik dengan kedudukan terbaik di bawah kriteria prestasi yang ditetapkan?

MCS bermula dengan set calon \(\mathcal M_0\), fungsi kerugian atau kriteria lain, dan tahap keyakinan. Ia menguji berulang kali sama ada calon yang masih dipertimbangkan mempunyai keupayaan ramalan yang setara. Jika ujian menolak hipotesis, peraturan penyingkiran mengeluarkan calon yang dinilai agak lemah dan ujian diteruskan pada set yang lebih kecil. Calon yang tinggal membentuk MCS. Hansen, Lunde dan Nason memperkenalkan prosedur ini sebagai set keyakinan untuk model terbaik dalam koleksi yang dinyatakan, seumpama selang keyakinan parameter yang boleh mengekalkan beberapa nilai apabila data tidak tepat (makalah 2011).

“Terbaik” hanya relatif kepada calon yang dimasukkan, sasaran, ufuk ramalan, maklumat yang tersedia pada setiap origin dan kriteria pemarkahan. MCS tidak memerlukan mana-mana calon sebagai proses penjana data sebenar dan boleh mengekalkan beberapa calon dengan prestasi jangkaan terbaik yang sama. Ia bukan kebarangkalian posterior bahawa model yang kekal itu betul.

Sebelum mengira kerugian, tetapkan \(\mathcal M_0\). Calon boleh berupa model terpasang bersama peraturan anggaran dan kemas kini ramalannya, atau prosedur ramalan yang tidak dinyatakan sebagai model statistik. Contohnya, “GARCH” belum ditakrif sepenuhnya jika taburan volatiliti, tetingkap rolling, kemas kini parameter dan ufuk ramalan boleh berubah. Setiap pilihan itu boleh menjadi calon yang berbeza.

Setiap calon perlu meramal sasaran yang sama pada origin dan ufuk yang sama, menggunakan maklumat yang tersedia pada masa tersebut sahaja. Kerugian mentah tidak boleh dibandingkan secara adil jika satu model meramal varians sehari dan satu lagi volatiliti lima hari. Gunakan sampel penilaian bersama, selaraskan pemerhatian yang hilang dengan jelas, serta rekodkan vintage data, tetingkap anggaran awal, jadual recursive atau rolling dan cara input yang disemak dikendalikan. Ramalan yang bertindih dari segi masa boleh menyebabkan kerugian pada origin berdekatan berkongsi pemerhatian.

Pilih kriteria sebelum melihat hasil. Ralat kuasa dua, ralat mutlak atau kerugian khusus keputusan boleh menyusun model secara berbeza. Ramalan varians mungkin memerlukan kerugian volatiliti yang sesuai untuk proksi bising; ramalan kuantil memerlukan quantile score dan bukannya mean squared error. MCS yang baik di bawah satu kerugian tidak semestinya baik di bawah kerugian lain. Jika senarai calon dikecilkan selepas hasil penilaian yang sama diperiksa, set formal itu bersyarat pada penapisan yang tidak dilaporkan dan tidak lagi mewakili keseluruhan carian.

Biarkan \(y_{t+h}\) menjadi sasaran terealisasi bagi ramalan dari origin \(t\), dan \(\hat y_{i,t+h|t}\) ramalan calon \(i\). Bagi fungsi kerugian \(L\) yang telah dipilih, hitung satu kerugian bagi setiap calon dan origin bersama:

\[ L_{i,t}=L(y_{t+h},\hat y_{i,t+h|t}) \]

Anggap kerugian lebih rendah adalah lebih baik. Bagi calon \(i\) dan \(j\), takrifkan perbezaan berpasangan:

\[ d_{ij,t}=L_{i,t}-L_{j,t}, \qquad \bar d_{ij}=\frac{1}{P}\sum_{t=1}^{P}d_{ij,t} \]

Di sini \(P\) ialah bilangan origin ramalan bersama. Dengan konvensyen tanda ini, \(\bar d_{ij}\) positif bermaksud purata kerugian calon \(i\) dalam sampel lebih tinggi daripada calon \(j\); nilai negatif memihak kepada \(i\). Perbandingan berpasangan penting kerana kedua-dua calon menghadapi hasil terealisasi yang sama. Kejutan pasaran bersama boleh menaikkan kedua-dua kerugian, manakala perbezaannya mengasingkan prestasi relatif.

Hipotesis nol keupayaan ramalan setara bagi set semasa \(\mathcal M\) boleh ditulis begini:

\[ H_{0,\mathcal M}:\quad \mu_{ij}=E[d_{ij,t}]=0 \quad \text{bagi setiap } i,j\in\mathcal M \]

Ini kenyataan bersama tentang set semasa, bukannya himpunan ujian pasangan yang tidak berkaitan untuk diperiksa satu demi satu. Kerangka MCS asal menggunakan ujian kesetaraan bersama dan peraturan penyingkiran untuk mengurus carian merentas model. Ia tidak bertanya sama ada ramalan benar-benar sama pada setiap tarikh.

Prosedur MCS berselang-seli antara ujian peringkat set dengan langkah penyingkiran. Mulakan dengan \(\mathcal M=\mathcal M_0\), kemudian uji keupayaan ramalan setara pada tahap \(\alpha\) yang dipilih. Jika ujian tidak menolak, hentikan proses dan laporkan set semasa. Jika ditolak, gunakan peraturan penyingkiran yang telah ditetapkan untuk mengeluarkan satu calon, kemudian ulangi ujian pada set yang lebih kecil. Dengan andaian prosedur, set yang kekal ialah MCS \((1-\alpha)\).

Makalah itu membangunkan dua statistik lazim. Statistik range mencari perbezaan kerugian berpasangan piawai yang terbesar:

\[ T_{R,\mathcal M}=\max_{i,j\in\mathcal M}|t_{ij}|, \qquad t_{ij}=\frac{\bar d_{ij}}{\widehat{\mathrm{se}}(\bar d_{ij})} \]

Peraturan penyingkiran sepadan membuang calon yang paling dirugikan secara piawai berbanding calon lain. Statistik kedua membandingkan setiap calon dengan prestasi purata set semasa:

\[ T_{\max,\mathcal M}=\max_{i\in\mathcal M}t_{i\cdot}, \qquad d_{i\cdot,t}=\frac{1}{|\mathcal M|}\sum_{j\in\mathcal M}d_{ij,t} \]

Di sini \(t_{i\cdot}\) mempiawaikan purata \(d_{i\cdot,t}\); peraturan berkaitannya membuang calon dengan lebihan kerugian piawai terbesar berbanding purata set. Statistik dan peraturan penyingkiran ialah satu pasangan. Pilih dan laporkan kedua-duanya sebagai prosedur, bukan mencampurkannya selepas melihat yang mana menghasilkan set lebih kecil. Makalah MCS menerangkan mengapa ujian penolakan mesti konsisten dengan peraturan mengenal pasti calon yang disingkirkan (Hansen, Lunde dan Nason).

Taburan statistik maksimum bergantung pada kebolehubahan bersama perbezaan kerugian calon. Menganggap setiap model atau tarikh sebagai pemerhatian bebas boleh memutuskan dua jenis kebergantungan: kerugian berturutan mungkin berkorelasi secara bersiri dan kerugian calon berbeza pada tarikh sama adalah berpasangan. Oleh itu bootstrap MCS perlu mengekalkan struktur siri masa bersama yang relevan sambil menganggar taburan nol statistik peringkat set.

Satu pendekatan ialah mengambil semula blok masa yang sejajar daripada vektor kerugian atau perbezaan calon. Dalam stationary bootstrap, panjang blok adalah rawak dan siri sampel semula boleh bermula semula pada tarikh yang dipilih secara rawak; Politis dan Romano memperkenalkan kaedah ini untuk pemerhatian pegun yang bergantung secara lemah (makalah 1994). Pengarang MCS menerangkan pelaksanaan block bootstrap dan menyebut stationary bootstrap sebagai pilihan lain. Mengambil semula siri kerugian setiap model secara berasingan akan memusnahkan pairing tarikh yang sama dan boleh mengubah perbandingan.

Panjang blok purata, varian bootstrap, pemusatan di bawah nol keupayaan setara, bilangan replikasi dan ufuk ramalan semuanya mempengaruhi anggaran ketidakpastian. Ufuk ramalan bertindih yang lebih panjang sering memanjangkan kebergantungan perbezaan kerugian, tetapi tiada satu panjang blok yang sesuai untuk semua sasaran dan sampel. Terangkan reka bentuk dan periksa sama ada kesimpulan berubah di bawah tetapan kebergantungan yang munasabah. Output bootstrap ialah penghampiran di bawah andaian; ia tidak membaiki look-ahead, holdout yang digunakan semula, tingkah laku skor tidak pegun atau keluarga calon yang tidak lengkap.

Andaikan prosedur A, B, C dan D meramal sasaran volatiliti yang sama pada 120 origin harian bersama. Purata squared-error loss dalam unit ilustrasi kuasa dua mata peratusan ialah 1.20, 1.23, 1.45 dan 1.90. Purata itu meletakkan A di tempat pertama dan D terakhir, tetapi kedudukan sahaja tidak menunjukkan ketidakpastian sampel.

Bagi A berbanding B, purata perbezaan kerugian berpasangan ialah \(1.20-1.23=-0.03\). Jika standard error yang mengambil kira kebergantungan ialah \(0.04\), statistik pasangan ialah \(-0.03/0.04=-0.75\). Perbezaan tunggal itu tidak menunjukkan perbezaan statistik yang jelas antara A dan B. MCS tidak berhenti di situ: statistik peringkat set mempertimbangkan perbezaan bersama antara keempat-empat calon.

Sebagai ilustrasi, andaikan larian MCS block-bootstrap pada siri kerugian lengkap 120 origin menggunakan \(T_R\), \(\alpha=0.05\), dan peraturan koheren untuk menyingkirkan calon terburuk. Katakan p-value set penuh ialah 0.018, D disingkirkan, kemudian p-value bagi \(\{A,B,C\}\) ialah 0.11. Oleh sebab 0.11 melebihi 0.05, prosedur berhenti dengan \(\{A,B,C\}\) sebagai MCS hipotetikal 95%. C kekal walaupun purata kerugiannya lebih tinggi daripada A: larian hipotetikal ini belum membuktikan C inferior melalui ujian bersama.

P-value di sini direka untuk menunjukkan langkah, bukan dihitung daripada empat purata kerugian atau perbezaan A–B. Keputusan sebenar memerlukan siri kerugian penuh mengikut origin, ramalan calon, reka bentuk bootstrap dan urutan penyingkiran. Simpan input tersebut dan laporkan urutan penuh supaya pembaca dapat melihat calon yang disingkirkan pada setiap penolakan. <!-- learn:illustration -->

Pada tahap keyakinan 95%, di bawah syarat regulariti dan ujian, MCS direka untuk merangkumi calon terbaik dalam set yang dinyatakan dengan sekurang-kurangnya liputan asimptotik yang dilaporkan. Ini tidak bermaksud setiap model yang dikekalkan mempunyai kebarangkalian 95% untuk menjadi terbaik. Kenyataan keyakinan berkaitan liputan prosedur merentas sampel berulang, bukannya taburan posterior label model.

Gagal menolak keupayaan ramalan setara bukan bukti bahawa jangkaan kerugian calon benar-benar sama. Kuasa ujian boleh terhad jika tempoh penilaian pendek, perbezaan kerugian sangat berubah-ubah atau beberapa calon hampir seri. Set yang besar boleh menunjukkan dengan jujur bahawa data tidak membezakan alternatif. Ia juga boleh mengandungi model yang semuanya lemah secara mutlak kerana MCS membandingkan calon sesama sendiri, bukan dengan piawaian luar yang diwajibkan.

Set itu juga terhad kepada calon dalam \(\mathcal M_0\). Jika prosedur ramalan yang benar-benar lebih baik ditinggalkan, MCS tidak boleh menemuinya. Jika model dikeluarkan sebelum analisis selepas tempoh penilaian yang sama dilihat, liputan nominal tidak mengambil kira carian yang tidak direkodkan itu. Nyatakan sejarah pembentukan dan penapisan calon. Jika beberapa calon berkongsi jangkaan kerugian terbaik, mengekalkan lebih daripada satu adalah selaras dengan kaedah, bukannya gagal memilih.

Ujian Diebold–Mariano menumpukan perbezaan kerugian berpasangan bagi dua prosedur ramalan. MCS berulang kali menguji set dan melaporkan calon yang kekal selepas prosedur penyingkiran bersama. Menjalankan banyak ujian DM dan mengekalkan pasangan yang tidak signifikan tidak secara automatik bersamaan dengan MCS; bootstrap bersama dan peraturan penyingkiran yang konsisten penting.

Ujian Clark–West menangani perbandingan squared error yang lebih khusus apabila satu model merangkumi penanda aras terkekang dan noise anggaran mempengaruhi perbezaan mentah. MCS tidak memerlukan calon bersarang dan boleh menggunakan kerugian pilihan pengguna, tetapi masih memerlukan reka bentuk ramalan bersama.

White’s Reality Check dan Hansen’s Superior Predictive Ability menguji sama ada sekurang-kurangnya satu ahli keluarga yang dicari mengatasi penanda aras yang ditetapkan. MCS bebas daripada penanda aras dan menerangkan set calon yang relatif lebih baik. Semua kaedah perlu melaporkan skop carian dan kebergantungan dengan tepat, tetapi hipotesis nolnya berbeza. Lihat panduan Reality Check dan SPA, serta makalah asal White (2000) dan Hansen (2005).

Laporan MCS yang boleh diulang menyenaraikan setiap prosedur calon, sasaran dan ufuk bersama, peraturan origin dan maklumat, jadual anggaran, tarikh penilaian, cara data hilang dikendalikan, formula kerugian dan arah yang dianggap lebih baik. Nyatakan tahap signifikan, statistik ujian dan peraturan penyingkiran, jenis bootstrap, pilihan panjang blok, kaedah pemusatan, bilangan replikasi, p-value setiap langkah dan keahlian akhir. Purata kerugian memberi konteks tetapi tidak menggantikan inferens bersama dengan jadual kedudukan.

Bagi penilaian volatiliti, terangkan cara proksi pemerhatian dibina dan sama ada ia bising atau disemak. Bagi ramalan berbilang langkah, dedahkan tetingkap sasaran yang bertindih dan kaedah kebergantungan. Tunjukkan kepekaan kepada perubahan munasabah pada kerugian, tempoh sampel dan tetapan bootstrap apabila pilihan tersebut mempengaruhi keahlian. Satu p-value kecil tanpa calon yang disingkirkan dan butiran prosedur tidak cukup untuk mengulang keputusan.

MCS menyusun prosedur ramalan mengikut satu kriteria. Ia tidak membuktikan struktur sebab-akibat, mengenal pasti model penjana data atau membuktikan ramalan yang tinggal menghasilkan dagangan untung. Menukar ramalan kepada posisi melibatkan ambang, saiz posisi, turnover, masa pelaksanaan, spread, fi, slippage, pembiayaan, pinjaman dan had risiko. Nilai proses keputusan yang dibekukan pada data kemudian yang sesuai dan laporkan hasil dagangan bersih secara berasingan. Untuk skor volatiliti dengan proksi tidak sempurna, lihat panduan QLIKE berbanding squared-error loss.