Uji Clark–West untuk Prakiraan Bersarang: Rumus, Contoh, dan Batasan

Misalkan model terbatas memprakirakan imbal hasil bulan depan menggunakan konstanta, sedangkan model yang lebih besar menambahkan rasio valuasi. Model terbatas bersarang di dalam model yang lebih besar: menetapkan koefisien tambahan menjadi nol akan menghasilkan benchmark. Jika koefisien tersebut benar-benar nol, proses estimasinya tetap dapat menambahkan derau sampel ke prakiraan model yang lebih besar. Akibatnya, mean squared prediction error (MSPE) teramati bisa lebih tinggi meskipun kandungan prediktif populasi kedua model sama.

Penyesuaian Clark–West menangani masalah derau estimasi ini dalam perbandingan galat kuadrat di luar sampel untuk prakiraan bersarang. Uji ini menanyakan apakah model yang lebih besar memiliki nilai prediktif tambahan dibandingkan benchmark terbatas dalam rancangan tersebut. Pertanyaannya lebih sempit daripada perbandingan umum dalam panduan Diebold–Mariano, yang membandingkan kerugian prakiraan berpasangan dan tidak otomatis valid dengan distribusi acuan standar untuk model bersarang. Clark dan McCracken mengkaji perilaku asimtotik dan sampel terbatas yang berbeda pada akurasi prakiraan dan uji encompassing untuk model bersarang; Clark dan West mengembangkan prosedur MSPE tersesuaikan beserta inferensi pendekatannya. Clark dan McCracken (2001)00071-9); Clark dan West (2007).

Misalkan benchmark terbatas memprakirakan target yang sama (y_{t+h}) dengan alternatif yang lebih besar. Model yang lebih besar harus memuat spesifikasi benchmark sebagai kasus khusus, biasanya dengan menetapkan satu atau beberapa koefisien tambahan menjadi nol. Model yang sekadar lebih rumit, menggunakan lebih banyak variabel, atau memiliki kecocokan dalam sampel yang lebih baik belum tentu bersarang.

Untuk setiap titik awal prakiraan, buat kedua prediksi hanya dengan informasi yang tersedia saat itu. Estimasikan model pada jendela pelatihan kronologis, keluarkan prakiraan untuk jendela evaluasi yang lebih baru, dan gunakan target, horizon, satuan, titik awal, serta observasi aktual yang sama untuk keduanya. Estimasi ulang rekursif atau bergulir dapat digunakan, tetapi nyatakan metode yang dipilih dan simpan prakiraan yang benar-benar dibuat pada tiap titik awal. Memeriksa jendela evaluasi berulang kali untuk memilih prediktor, transformasi, atau horizon menjadikan jendela tersebut bagian dari seleksi model, bukan lagi bukti yang belum disentuh. Panduan CAViaR menunjukkan bahwa prakiraan kuantil ekor juga perlu dinilai dengan kerugian yang sesuai dengan targetnya, bukan dimasukkan begitu saja ke perbandingan prakiraan rata-rata.

Penyesuaian Clark–West membahas derau estimasi parameter di bawah hipotesis nol model bersarang; penyesuaian ini tidak memperbaiki penggunaan informasi masa depan, sampel yang tidak sepadan, data revisi yang dianggap sudah diketahui sebelumnya, atau pencarian model yang tidak diungkapkan. Laporkan jendela estimasi awal, jumlah titik prakiraan, horizon, versi data, serta setiap pembaruan bergulir atau rekursif agar pembaca dapat menilai apakah evaluasinya benar-benar di luar sampel.

Tuliskan f₀,t+h untuk prakiraan terbatas, f₁,t+h untuk prakiraan model yang lebih besar, dan eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h untuk galat prakiraan j. Untuk kerugian kuadrat, selisih tersesuaikan Clark–West pada tiap periode adalah

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

Bentuk ekuivalennya adalah galat kuadrat model terbatas dikurangi galat kuadrat model yang lebih besar, lalu ditambah jarak kuadrat antara kedua prakiraan. Suku terakhir memperkirakan derau prakiraan tambahan yang terkait dengan parameter ekstra yang diestimasi di bawah hipotesis nol. Clark dan West menjelaskan penyesuaian ini sebagai pengurangan suku selisih prakiraan tersebut dari MSPE sampel model yang lebih besar sebelum dibandingkan dengan model terbatas. Clark dan West (2007).

Rata-ratakan selisih tersesuaikan pada titik evaluasi bersama: mean(dCW) = (1/P) Σ dCW,t+h. Jika hasil dan prakiraan diukur dalam basis poin, setiap galat kuadrat dan selisih tersesuaikan bersatuan basis poin kuadrat. Rata-rata tersesuaikan yang positif mengarah pada model yang lebih besar menurut konvensi di atas. Nilai ini adalah skor perbandingan tersesuaikan, bukan MSPE terealisasi model yang lebih besar dan bukan prakiraan untuk digunakan dalam perdagangan.

Pertanyaan Clark–West yang lazim adalah apakah model bersarang yang lebih besar memiliki MSPE harapan lebih rendah daripada benchmark terbatas. Hipotesis nol menyatakan bahwa komponen model tambahan tidak memberi peningkatan prediktif; alternatif satu sisi berpihak pada model yang lebih besar. Dengan rumus di atas, bukti untuk alternatif tersebut berupa rata-rata selisih tersesuaikan yang cukup positif relatif terhadap galat bakunya.

Dalam notasi kerugian tersesuaikan, hipotesis kerja adalah H₀: E[dCW] = 0 melawan H₁: E[dCW] > 0. Arah positif itu mengikuti urutan yang menempatkan kerugian model terbatas lebih dahulu. Jika urutan pengurangan dibalik, tandanya juga berbalik, jadi nyatakan konvensinya bersama hasil.

Statistik uji biasanya ditulis sebagai rata-rata sampel dCW dibagi galat baku estimasinya. Clark dan West menyarankan uji satu sisi dengan pendekatan normal untuk rancangan yang mereka kaji, menggunakan galat baku standar atau yang konsisten terhadap autokorelasi sesuai kebutuhan. West (1996) mengembangkan inferensi untuk momen fungsi halus dari prakiraan dan galat di luar sampel, termasuk rancangan ketika prakiraan bergantung pada parameter yang diestimasi. Arah uji harus ditentukan sebelum melihat hasil: statistik Clark–West yang positif bukan alasan untuk beralih ke hipotesis dua sisi atau tanda yang berbeda setelah hasil sampel diketahui.

Nilai p yang dilaporkan bersyarat pada hubungan bersarang, pembentukan prakiraan, target, kerugian, metode inferensi, dan asumsi pengambilan sampel. Nilai itu bukan probabilitas bahwa model yang lebih besar benar, dan tidak membuktikan bahwa prediktor tambahan menyebabkan target bergerak.

Gunakan empat observasi hipotetis dalam basis poin. Nilai aktualnya adalah [0, 1, −1, 0], prakiraan terbatas [−1, 0, 0, 0], dan prakiraan model bersarang yang lebih besar [−1.5, 0.5, −0.5, 0.5]. Galat kuadrat model terbatas adalah [1, 1, 1, 0], dengan MSPE rata-rata 0.75 bp². Galat kuadrat model yang lebih besar adalah [2.25, 0.25, 0.25, 0.25], juga dengan MSPE rata-rata 0.75 bp².

Selisih prakiraan kuadrat (f₀ − f₁)² adalah [0.25, 0.25, 0.25, 0.25]. Dengan menerapkan selisih tersesuaikan e₀² − e₁² + (f₀ − f₁)², hasilnya [−1, 1, 1, 0] bp². Rata-rata sampelnya 0.25 bp². MSPE mentah sama, sedangkan rata-rata tersesuaikan positif karena koreksi memperhitungkan derau estimasi prakiraan model yang lebih besar.

Empat periode ini hanya menunjukkan aritmetikanya. Jumlahnya terlalu sedikit untuk mengestimasi ketidakpastian secara andal atau menetapkan signifikansi statistik. Rata-rata tersesuaikan yang positif tidak dengan sendirinya membuktikan keunggulan prakiraan yang nyata; nilainya hipotetis, bukan observasi pasar. <!-- learn:illustration -->

Untuk prakiraan satu langkah, selisih kerugian tersesuaikan masih dapat berkorelasi serial karena target, prediktor, atau jendela estimasi berubah dari waktu ke waktu. Pada prakiraan beberapa langkah dengan periode yang saling tumpang tindih, titik awal yang berdekatan berbagi periode target aktual sehingga selisih tersesuaikan dapat berkorelasi secara struktural. Galat baku biasa yang menganggap setiap titik awal independen dapat meremehkan ketidakpastian.

Estimasi galat baku dari rangkaian selisih tersesuaikan dengan metode inferensi yang mencerminkan rancangan sampel, misalnya estimasi varians jangka panjang yang konsisten terhadap heteroskedastisitas dan autokorelasi jika asumsi metodenya sesuai. Clark dan West secara eksplisit mencatat galat yang konsisten terhadap autokorelasi untuk galat prakiraan yang berautokorelasi. Nyatakan horizon prakiraan, estimator kovarians, kernel dan bandwidth jika digunakan, serta metode resampling atau nilai kritis. Panduan block bootstrap menjelaskan mengapa resampling observasi deret waktu yang dependen perlu mempertahankan urutannya; bootstrap generik tidak otomatis menerapkan hipotesis nol Clark–West.

Perlakuan dependensi yang dibutuhkan bergantung pada rancangan. Horizon lebih panjang, target persisten, estimasi parameter berulang, dan perubahan volatilitas dapat menimbulkan dependensi di luar pola tumpang tindih sederhana. Bandingkan beberapa setelan inferensi yang masuk akal dan jelaskan pilihannya, alih-alih memilih setelan yang menghasilkan nilai p terkecil.

Uji prakiraan model bersarang dapat memiliki distribusi nol nonstandar, terutama ketika sampel estimasi dan evaluasi sama-sama bertambah. Analisis Clark dan McCracken menunjukkan bahwa prosedur akurasi setara dan encompassing untuk prakiraan bersarang memiliki perilaku asimtotik dan sampel terbatas yang berbeda dari perbandingan non-bersarang yang umum. Clark dan West memotivasi statistik tersesuaikan dengan inferensi yang mendekati normal dan berguna untuk rancangan yang dikaji, tetapi itu bukan jaminan universal untuk sampel terbatas. Clark dan McCracken (2001)00071-9); Clark dan West (2007).

Sampel evaluasi kecil, banyak parameter tambahan, benchmark yang salah spesifikasi, pemilihan prediktor berdasarkan data, dan pilihan antara estimasi bergulir atau rekursif dapat memengaruhi ukuran serta daya uji. Jika sampel atau rancangan berbeda secara material dari kondisi yang dikaji dalam makalah, pertimbangkan nilai kritis yang sesuai dengan rancangan atau prosedur simulasi/bootstrap yang dirumuskan dengan cermat. Laporkan ukuran sampel estimasi dan evaluasi, lalu jelaskan distribusi acuan yang menghasilkan nilai p.

Uji Diebold–Mariano menanyakan apakah dua rangkaian kerugian prakiraan memiliki kerugian harapan yang sama dalam kerangka umum kerugian berpasangan. Penyesuaian Clark–West ditujukan bagi perbandingan galat kuadrat ketika satu model bersarang dalam model lain dan parameter ekstra yang diestimasi mendistorsi selisih MSPE mentah di bawah hipotesis nol. Menerapkan penyesuaian ini pada model yang tidak bersarang dan tidak berkaitan mengubah pertanyaan tanpa pembenaran. Makalah DM asli mengizinkan beragam ukuran kerugian dan membahas galat prakiraan yang tidak harus berdistribusi normal atau independen; makalah itu terkait dalam literatur, tetapi bukan nama lain untuk prosedur model bersarang. Diebold dan Mariano (1995).

Kedua metode tidak menyelesaikan derajat kebebasan peneliti akibat mencoba banyak target, horizon, benchmark, dan set prediktor. Jika perbandingan akhir muncul dari pencarian luas, catat keluarga kandidat dan gunakan metode yang memang dirancang untuk pertanyaan pada tingkat pencarian tersebut. Panduan White’s Reality Check dan Hansen’s SPA membahas inferensi menyeluruh untuk aturan perdagangan yang dicari; uji Clark–West saja tidak menjadikan perbandingan prakiraan terpilih sebagai konfirmasi.

Hasil satu sisi yang signifikan merupakan bukti, berdasarkan asumsi yang dinyatakan, bahwa model yang lebih besar meningkatkan akurasi prakiraan kuadrat harapan untuk target dan rancangan evaluasi yang diuji. Hasil itu tidak membuktikan bahwa prediktor tambahan bersifat kausal, sinyal akan tetap stabil, atau strategi yang menggunakan prakiraan akan menghasilkan imbal hasil positif. Peningkatan prakiraan mungkin terlalu kecil untuk memengaruhi keputusan, dan keuntungan terbesar model mungkin muncul pada periode ketika perdagangan mahal.

Profitabilitas perdagangan memerlukan aturan terpisah, data evaluasi yang belum digunakan, serta spread, biaya, slippage, dampak pasar, pembiayaan, pinjaman, dan batas risiko yang realistis. Klaim kausal membutuhkan strategi identifikasi yang sesuai dengan pertanyaannya; perbandingan prakiraan setelah sampel bukan rancangan kausal. Nyatakan hal yang benar-benar dibuktikan oleh hasil Clark–West dan serahkan klaim lainnya pada bukti yang memang mengujinya.

Sebutkan model terbatas dan model yang lebih besar, identifikasi batasan tepat yang membuat keduanya bersarang, serta definisikan target, horizon, satuan galat kuadrat, jendela estimasi, jadwal titik awal prakiraan, tanggal evaluasi, dan aturan sampel bersama. Jelaskan apakah koefisien diestimasi ulang secara rekursif atau dengan jendela bergulir, serta bagaimana set informasi dan versi data dipertahankan.

Laporkan kedua MSPE mentah, rata-rata selisih tersesuaikan Clark–West, konvensi tandanya, galat baku, alternatif satu sisi, distribusi acuan atau nilai kritis, nilai p, dan estimator dependensi. Ungkapkan pula jumlah parameter tambahan, ukuran sampel, pencarian prediktor dan horizon, pemilihan benchmark, serta apakah jendela evaluasi memengaruhi rancangan model. Catatan tersebut membantu pembaca membedakan uji model bersarang tersesuaikan dari perbandingan prakiraan umum dan menilai sisa ketidakpastiannya.