Uji Encompassing Prakiraan: Apakah Satu Prakiraan Memuat Informasi Prakiraan Lain?

Misalkan A dan B memprakirakan target yang sama. Uji ini bertanya apakah B membantu menjelaskan target setelah informasi dalam prakiraan A diperhitungkan. Di bawah kombinasi linear yang ditentukan, hipotesis nol bahwa A meng-encompass B berarti B tidak menyediakan informasi prakiraan tambahan. Penolakan hipotesis nol dapat menjadi bukti informasi tambahan dalam spesifikasi tersebut.

Ini bukan pertanyaan “model mana yang memiliki RMSE lebih rendah pada sampel ini?” RMSE merangkum besar kesalahan tiap prakiraan secara terpisah. Encompassing memeriksa apakah prakiraan atau kesalahan satu model memiliki informasi tambahan setelah prakiraan lain diperhitungkan. B bisa memiliki RMSE lebih rendah tetapi informasinya sudah terkandung dalam A; atau RMSE lebih tinggi namun tetap membawa informasi tambahan pada arah tertentu.

Chong dan Hendry membahas perspektif encompassing dalam evaluasi model makroekonomi linear. Interpretasinya terbatas pada target, horizon, himpunan informasi, dan spesifikasi yang ditentukan—bukan bukti bahwa A benar dalam semua pengertian (Chong dan Hendry, 1986). {source:chongHendry1986ForecastEncompassing}

RMSE (root mean squared error) adalah akar kuadrat dari mean squared error (MSE), yaitu rata-rata kuadrat galat prakiraan. RMSE terendah berarti rata-rata kuadrat galat lebih kecil pada target, periode, sampel, dan metrik tersebut. Uji encompassing mengajukan pertanyaan relasional. Karena itu, kedua hasil tidak harus searah meskipun prakiraan telah dipasangkan pada tanggal yang sama.

Misalnya, beberapa galat B yang besar dapat meningkatkan RMSE, sementara arah selisih B tetap memuat informasi yang berkaitan dengan galat A. Sebaliknya, RMSE B yang lebih rendah tidak memastikan bahwa B menambahkan informasi di luar A. Laporkan tabel akurasi individual terpisah dari hasil kombinasi dan encompassing.

Pisahkan pula pertanyaan dari pengujian terkait. Uji Diebold–Mariano membandingkan rata-rata kerugian prakiraan untuk kerugian yang ditentukan. Uji Clark–West menyesuaikan perbandingan MSPE luar sampel pada model bersarang. Panduan kombinasi prakiraan membahas rata-rata atau pemilihan bobot. Uji Mincer–Zarnowitz menilai kalibrasi intersep dan kemiringan. Pertanyaan dan hipotesis nolnya berbeda.

Di bawah hipotesis nol, korelasi galat prakiraan dan struktur galat estimasi dapat berbeda antara dua prakiraan pesaing yang tidak bersarang dan dua model ketika model besar memuat model terbatas. Statistik OLS atau distribusi acuan yang sah untuk satu situasi tidak otomatis berlaku di situasi lain.

Harvey, Leybourne, dan Newbold mencatat bahwa distribusi nol uji OLS encompassing yang alami tidak robust terhadap nonnormalitas galat prakiraan, lalu membahas alternatif. Menjalankan OLS saja tidak membenarkan nilai-p umum. Jelaskan prosedur uji serta ukuran sampel, distribusi dan ketergantungan galat, dan cara prakiraan dibuat (Harvey, Leybourne, dan Newbold, 1998). {source:harveyLeybourneNewbold1998ForecastEncompassing}

Clark dan McCracken menganalisis sifat asimtotik dan sampel terbatas yang nonstandar untuk uji akurasi setara dan encompassing dalam desain prakiraan luar sampel satu langkah dari model linear bersarang yang mereka teliti. Hasilnya tidak otomatis berlaku bagi setiap desain bersarang atau perbandingan model tak bersarang. Hasil tersebut tidak otomatis menjadi distribusi acuan untuk perbandingan tak bersarang, dan hasil untuk model tak bersarang juga tidak boleh dibawa begitu saja ke kasus bersarang (Clark dan McCracken, 200100071-9)). {source:clarkMcCrackenNestedForecasts2001}

Jika prakiraan bergantung pada koefisien regresi yang diestimasi, ketidakpastian estimasi masuk ke dalam perbandingan. West membahas pengujian encompassing saat prakiraan bergantung pada parameter regresi hasil estimasi. Simpan prosedur estimasi, jendela pelatihan, dan jadwal estimasi ulang untuk setiap origin, bukan hanya deret prakiraan akhirnya (West, 2001). {source:west2001EstimatedForecastsEncompassing}

Misalkan targetnya \(y_t\), dengan prakiraan \(f_{A,t}\) dan \(f_{B,t}\) yang mengacu pada periode dan cutoff informasi yang sama. Definisikan galat prakiraan acuan dan selisih antara prakiraan:

\[ e_{A,t}=y_t-f_{A,t}, \qquad d_t=f_{B,t}-f_{A,t} \]

Kombinasi sederhananya adalah \(f_{C,t}=f_{A,t}+w d_t\). Jika \(w=0\), hanya A yang digunakan; jika \(w=1\), hasilnya B. Nilai di antaranya mencampur keduanya, sedangkan bobot di luar 0 dan 1 mengekstrapolasi melampaui salah satu prakiraan.

Secara intuitif, kemiringan dari regresi \(e_A\) terhadap \(d\) menunjukkan apakah selisih prakiraan B dan A berhubungan dengan galat A secara linear. Kemiringan yang berbeda dari nol dapat mengindikasikan informasi tambahan di bawah prosedur dan asumsi yang ditentukan. Namun, itu adalah intuisi, bukan statistik atau nilai kritis universal yang berlaku sama di setiap implementasi.

Dalam regresi berintersep \(e_{A,t}=a+w d_t+u_t\), \(a\) terkait koreksi rata-rata galat, sementara \(w\) adalah kemiringan terhadap selisih prakiraan. Kombinasi yang juga menerapkan koreksi itu menjadi \(f_A+a+w d\). Jika kombinasi tidak mengizinkan intersep, estimasinya bisa berbeda. Periksa spesifikasi regresi dalam studi yang dirujuk.

Dalam regresi populasi dengan intersep, kemiringan \(\beta=\operatorname{Cov}(e_A,d)/\operatorname{Var}(d)\). Jika \(\operatorname{Var}(d)>0\), \(\beta=0\) berarti tidak ada kovariansi linear setelah bias konstan disesuaikan melalui intersep; itu tidak berarti \(e_A\) dan \(d\) independen atau independen bersyarat. Regresi tanpa intersep memakai kondisi momen \(E[e_A d]=0\). Kondisi itu sama dengan kovariansi nol hanya jika \(E[e_A]=0\) atau \(E[d]=0\), sebab \(\operatorname{Cov}(e_A,d)=E[e_A d]-E[e_A]E[d]\). Jadi, melarang intersep juga membatasi \(\alpha=0\), yaitu tidak ada koreksi bias rata-rata

<!-- learn:illustration -->

Angka berikut hipotetis dan semuanya dalam basis poin (bp). Gunakan \(d=f_B-f_A\), \(e_A=y-f_A\), dan enam origin prakiraan.

OLS dengan intersep memberi rata-rata \(\bar e_A=1/3\) bp. Jumlah hasil kali selisih yang dipusatkan adalah \(\sum d_t(e_{A,t}-\bar e_A)=16.4\), sedangkan \(\sum d_t^2=42\). Jadi kemiringannya \(16.4/42\approx0.3905\). Dalam sampel mainan ini, penyesuaian linear menambahkan sekitar 39% dari selisih B terhadap A dan berkaitan dengan struktur galat A.

Jika intersep diterapkan ke kombinasi, koreksinya adalah \(1/3+0.3905d_t\). Jangan menganggap bobot dari kombinasi tanpa intersep akan sama. Enam observasi ini hanya memperagakan aritmetika koefisien; jumlahnya tidak cukup untuk menyatakan nilai-p, signifikansi, kinerja luar sampel, atau kemampuan generalisasi.

Encompassing tanpa syarat dan bersyarat menjawab pertanyaan berbeda. Jelaskan apakah informasi hanya mencakup dua prakiraan atau juga variabel keadaan seperti kondisi ekonomi maupun volatilitas. Pastikan setiap variabel tersedia pada setiap origin. Menambahkan informasi yang baru diketahui setelahnya mengubah pertanyaan yang semula dimaksudkan untuk penggunaan waktu nyata.

Tentukan apakah bobot kombinasi bebas atau dibatasi, misalnya \(0\leq w\leq1\). OLS tanpa batasan dapat menghasilkan bobot di luar rentang tersebut. Itu bukan kesalahan hitung; artinya spesifikasi mengizinkan ekstrapolasi, bukan hanya rata-rata dua prakiraan. Kombinasi berbatas dan tak berbatas merupakan masalah estimasi yang berbeda.

Putuskan pula apakah akan mengoreksi bias dengan intersep atau memusatkan variabel sebelum estimasi. Mengubah intersep, batasan, atau variabel kondisi setelah melihat hasil akan mencampur pemilihan spesifikasi dengan inferensi. Laporkan hipotesis nol, persamaan kombinasi, informasi yang digunakan, sampel estimasi, dan prosedur inferensi sebagai satu rancangan.

Pastikan \(y_t\), \(f_A\), dan \(f_B\) pada setiap baris mengacu pada target, horizon, unit, origin, dan cutoff informasi yang sama. Prakiraan untuk imbal hasil bulanan tidak serta-merta sebanding dengan prakiraan imbal hasil kumulatif sampai akhir bulan depan. Catat jeda ketersediaan data dan revisi target.

Setiap prakiraan seharusnya dibuat hanya dengan data yang tersedia pada saat itu. Arsipkan jendela pelatihan, versi model, jadwal estimasi ulang, transformasi, dan pemilihan hiperparameter. Jika parameter regresi diestimasi, pastikan sampel estimasinya tidak memakai periode evaluasi atau informasi masa depan. Nilai fitted dalam sampel bukan pengganti arsip prakiraan luar sampel yang benar-benar dibuat saat itu.

Pisahkan periode pemilihan bobot dan model dari evaluasi akhir. Pada origin \(t\), gunakan hanya hasil yang sudah dapat diketahui sebelum \(t\); evaluasi A dan B pada target masa depan yang sama. Prakiraan multilangkah yang saling tumpang tindih dapat menghasilkan galat atau kerugian yang bergantung, jadi gunakan inferensi yang sesuai rancangan, bukan menganggap setiap baris independen.

Jika urutan galat regresi menunjukkan heteroskedastisitas dan autokorelasi, pertimbangkan estimator kovarians HAC yang sesuai dengan desain dan horizon. Newey dan West (1987) menyajikan estimator matriks kovarians yang konsisten terhadap heteroskedastisitas dan autokorelasi serta semidefinit positif (Newey–West, 1987). {source:neweyWest1987} Laporkan pilihan estimator dan aturan lag yang digunakan. Standard error HAC tidak dengan sendirinya menyelesaikan masalah distribusi nol akibat nonnormalitas atau model bersarang.

Gagal menolak hipotesis nol tidak membuktikan kedua prakiraan setara atau A lebih baik. Artinya, uji yang ditentukan tidak menemukan informasi tambahan yang cukup jelas. Daya uji rendah, sampel pendek, galat prakiraan berkorelasi tinggi, atau spesifikasi yang kurang tepat dapat menyembunyikan informasi. Klaim ekuivalensi memerlukan rancangan dan toleransi yang sesuai untuk pertanyaan ekuivalensi.

Penolakan hipotesis nol juga tidak membuktikan B menguntungkan atau mampu mengalahkan biaya perdagangan. Informasi prakiraan berbeda dari kinerja strategi setelah aturan keputusan, harga eksekusi, spread, komisi, dampak pasar, pendanaan, dan batas risiko diterapkan. Nilai informasinya bagi strategi harus dievaluasi terpisah.

Agar dapat direplikasi, laporkan target, waktu prakiraan, cara kedua prakiraan dibuat, cutoff informasi, intersep dan batasan, variabel kondisi, rentang sampel, penanganan observasi hilang, hipotesis nol, statistik uji, dan metode estimasi standard error. Nyatakan apakah model bersarang dan bagaimana parameter estimasi berperan. Jika melaporkan RMSE, tandai sebagai pertanyaan terpisah dari encompassing.

• Chong dan Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), *Review of Economic Studies*, 53(4), 671–690
• Harvey, Leybourne, dan Newbold, “Tests for Forecast Encompassing” (1998), *Journal of Business & Economic Statistics*, 16(2), 254–259
• Clark dan McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), *Journal of Econometrics*, 105(1), 85–11000071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), *Journal of Business & Economic Statistics*, 19(1), 29–33
• Newey dan West, “A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987), *Econometrica*, 55(3), 703–708