Ujian Encompassing Ramalan: Adakah Satu Ramalan Mengandungi Maklumat Ramalan yang Lain?

Andaikan A dan B meramalkan sasaran yang sama. Ujian ini bertanya sama ada B membantu menerangkan sasaran selepas maklumat dalam A diambil kira. Di bawah gabungan linear yang ditetapkan, hipotesis nol bahawa A meng-encompass B bermaksud B tidak memberikan maklumat ramalan tambahan. Penolakan hipotesis nol boleh menjadi bukti bahawa B menambah maklumat dalam spesifikasi tersebut.

Soalan ini bukan “ramalan manakah mempunyai RMSE lebih rendah dalam sampel ini?” RMSE meringkaskan magnitud ralat setiap ramalan secara berasingan. Encompassing melihat sama ada satu ramalan atau ralatnya membawa maklumat tambahan selepas ramalan yang lain diketahui. B boleh mencatat RMSE lebih rendah tetapi tidak menambah maklumat di luar A; sebaliknya, walaupun RMSE B lebih tinggi, masih mungkin terdapat maklumat tambahan pada arah tertentu.

Chong dan Hendry membincangkan perspektif encompassing untuk menilai model makroekonomi linear. Tafsirannya terhad kepada sasaran, ufuk, set maklumat dan spesifikasi yang dinyatakan—bukan bukti bahawa A benar dalam semua erti (Chong dan Hendry, 1986). {source:chongHendry1986ForecastEncompassing}

RMSE ialah punca kuasa dua min ralat kuasa dua (MSE) bagi sesuatu ramalan. RMSE terendah bermaksud purata kuasa dua ralat lebih kecil bagi sasaran, tempoh, sampel dan ukuran tersebut. Ujian encompassing pula menilai hubungan antara ramalan. Kedua-dua keputusan tidak semestinya sehala walaupun ramalan dipadankan pada tarikh yang sama.

Sebagai contoh, beberapa ralat B yang besar boleh menaikkan RMSE, sedangkan arah beza B masih membawa maklumat yang berkaitan dengan ralat A. Sebaliknya, RMSE B yang lebih rendah tidak memastikan B menambah maklumat di luar A. Laporkan ukuran ketepatan individu secara berasingan daripada hasil gabungan dan encompassing.

Pisahkan juga soalan daripada ujian berkaitan. Ujian Diebold–Mariano membandingkan purata kerugian ramalan yang ditetapkan. Ujian Clark–West melaraskan perbandingan MSPE luar sampel bagi model bersarang. Panduan gabungan ramalan membincangkan purata atau pemilihan bobot. Ujian Mincer–Zarnowitz menilai kalibrasi pintasan dan kecerunan. Hipotesis dan persoalan setiap satu berbeza.

Di bawah hipotesis nol, korelasi ralat ramalan dan struktur ralat anggaran boleh berbeza antara ramalan pesaing yang tidak bersarang dan model apabila model besar merangkumi model terhad. Statistik OLS atau taburan rujukan yang wajar dalam satu keadaan tidak secara automatik sesuai untuk keadaan yang lain.

Harvey, Leybourne dan Newbold menyatakan bahawa taburan nol bagi ujian OLS encompassing yang semula jadi tidak teguh terhadap ketidaknormalan ralat ramalan, lalu membincangkan alternatif. Menjalankan OLS sahaja tidak mewajarkan nilai-p umum. Nyatakan prosedur ujian, saiz sampel, taburan dan kebergantungan ralat, serta cara ramalan dihasilkan (Harvey, Leybourne dan Newbold, 1998). {source:harveyLeybourneNewbold1998ForecastEncompassing}

Clark dan McCracken menganalisis sifat asimptotik dan sampel terhingga yang tidak standard bagi ujian ketepatan setara dan encompassing dalam reka bentuk ramalan luar sampel satu langkah untuk model linear bersarang yang mereka kaji. Hasil itu tidak secara automatik meliputi setiap reka bentuk bersarang atau perbandingan tidak bersarang. Dapatan itu bukan taburan rujukan automatik untuk perbandingan tidak bersarang; dapatan untuk model tidak bersarang juga tidak patut dipindahkan terus ke situasi bersarang (Clark dan McCracken, 200100071-9)). {source:clarkMcCrackenNestedForecasts2001}

Jika ramalan bergantung pada pekali regresi yang dianggarkan, ketidakpastian anggaran masuk ke dalam perbandingan. West membincangkan ujian encompassing apabila ramalan bergantung pada parameter regresi anggaran. Simpan prosedur anggaran, tetingkap latihan dan jadual anggaran semula bagi setiap titik asal, bukan hanya siri ramalan akhirnya (West, 2001). {source:west2001EstimatedForecastsEncompassing}

Biarkan sasaran ialah \(y_t\), dengan ramalan \(f_{A,t}\) dan \(f_{B,t}\) bagi tempoh serta cut-off maklumat yang sama. Takrifkan ralat ramalan penanda aras dan beza antara ramalan:

\[ e_{A,t}=y_t-f_{A,t}, \qquad d_t=f_{B,t}-f_{A,t} \]

Gabungan mudah ialah \(f_{C,t}=f_{A,t}+w d_t\). Jika \(w=0\), hanya A digunakan; jika \(w=1\), hasilnya ialah B. Nilai di antaranya mencampurkan kedua-dua ramalan, manakala bobot di luar 0 hingga 1 mengekstrapolasi melampaui salah satu ramalan.

Secara intuitif, kecerunan daripada regresi \(e_A\) terhadap \(d\) menunjukkan sama ada beza ramalan B dan A mempunyai hubungan linear dengan ralat A. Kecerunan yang berbeza daripada sifar boleh menunjukkan maklumat tambahan di bawah prosedur dan andaian yang dinyatakan. Namun, ini ialah intuisi, bukannya statistik atau nilai kritikal sejagat yang sama dalam setiap pelaksanaan.

Dalam regresi dengan pintasan, \(e_{A,t}=a+w d_t+u_t\), pintasan \(a\) berkaitan dengan pelarasan ralat purata, manakala \(w\) ialah kecerunan terhadap beza ramalan. Jika kedua-duanya digunakan dalam ramalan gabungan, pembetulannya menjadi \(f_A+a+w d\). Jika pintasan tidak dibenarkan, anggaran mungkin berbeza. Semak persamaan regresi sebenar dalam kajian yang dirujuk.

Dalam populasi, kecerunan regresi dengan pintasan ialah \(\beta=\operatorname{Cov}(e_A,d)/\operatorname{Var}(d)\). Jika \(\operatorname{Var}(d)>0\), \(\beta=0\) bermaksud tiada kovarians linear selepas ralat purata dilaraskan melalui pintasan; ini tidak bermaksud \(e_A\) dan \(d\) bebas atau bebas bersyarat. Regresi tanpa pintasan menggunakan syarat momen mentah \(E[e_A d]=0\). Syarat ini bersamaan dengan kovarians sifar hanya jika \(E[e_A]=0\) atau \(E[d]=0\), kerana \(\operatorname{Cov}(e_A,d)=E[e_A d]-E[e_A]E[d]\). Maka, menggugurkan pintasan turut menetapkan \(\alpha=0\), iaitu tiada pelarasan bias purata

<!-- learn:illustration -->

Angka di bawah ialah hipotesis dan semuanya dalam mata asas (bp). Gunakan \(d=f_B-f_A\), \(e_A=y-f_A\), dan enam titik asal ramalan.

OLS dengan pintasan memberikan purata \(\bar e_A=1/3\) bp. Jumlah hasil darab beza yang dipusatkan ialah \(\sum d_t(e_{A,t}-\bar e_A)=16.4\), manakala \(\sum d_t^2=42\). Maka kecerunannya \(16.4/42\approx0.3905\). Dalam sampel contoh ini, pelarasan linear menambah kira-kira 39% beza B berbanding A dan berkaitan dengan struktur ralat A.

Jika pintasan turut digunakan dalam gabungan, pembetulannya ialah \(1/3+0.3905d_t\). Jangan anggap bobot bagi spesifikasi tanpa pintasan akan sama. Enam pemerhatian ini hanya menunjukkan aritmetik pekali; jumlahnya tidak cukup untuk menyatakan nilai-p, keertian statistik, prestasi luar sampel atau kebolehumuman.

Encompassing tanpa syarat dan bersyarat ialah soalan berlainan. Jelaskan sama ada set maklumat mengandungi dua ramalan sahaja atau turut memasukkan pemboleh ubah keadaan seperti keadaan ekonomi atau volatiliti. Pastikan setiap pemboleh ubah tersedia pada setiap titik asal. Memasukkan maklumat yang hanya diketahui kemudian mengubah soalan ramalan masa nyata.

Tentukan sama ada bobot gabungan bebas atau dihadkan, misalnya \(0\leq w\leq1\). OLS tanpa sekatan boleh menghasilkan bobot di luar julat tersebut. Itu bukan kesilapan aritmetik; spesifikasi itu membenarkan ekstrapolasi dan bukan sekadar purata dua ramalan. Gabungan bersyarat dan tanpa sekatan ialah masalah anggaran yang berlainan.

Putuskan juga sama ada bias akan dilaraskan melalui pintasan atau pemboleh ubah dipusatkan. Menukar pintasan, sekatan atau pemboleh ubah keadaan selepas melihat keputusan mencampurkan pemilihan spesifikasi dengan inferens. Laporkan hipotesis nol, persamaan gabungan, maklumat yang digunakan, sampel anggaran dan prosedur inferens bersama-sama.

Pastikan \(y_t\), \(f_A\) dan \(f_B\) pada setiap baris mengacu kepada sasaran, ufuk, unit, titik asal dan cut-off maklumat yang sama. Ramalan pulangan bulanan tidak semestinya setara dengan ramalan pulangan terkumpul hingga akhir bulan berikutnya. Catat juga kelewatan ketersediaan data dan sebarang semakan sasaran.

Setiap ramalan hendaklah menggunakan data yang benar-benar tersedia pada ketika itu. Arkibkan tetingkap latihan, versi model, jadual anggaran semula, transformasi dan pemilihan hiperparameter. Jika ramalan menggunakan parameter regresi anggaran, pastikan sampel anggarannya tidak menceroboh tempoh penilaian atau maklumat masa depan. Nilai padanan dalam sampel bukan pengganti rekod ramalan luar sampel yang dibuat pada waktunya.

Asingkan pemilihan bobot dan model daripada penilaian akhir. Pada titik asal \(t\), gunakan hanya hasil yang sudah diketahui sebelum \(t\), lalu nilai A dan B terhadap sasaran masa depan yang sama. Ramalan berbilang langkah yang bertindih boleh menghasilkan ralat atau kerugian yang saling bergantung; gunakan inferens yang sesuai dengan reka bentuk dan jangan anggap setiap baris bebas.

Jika jujukan ralat regresi menunjukkan heteroskedastisiti dan autokorelasi, pertimbangkan penganggar kovarians HAC yang sesuai dengan reka bentuk dan ufuk. Newey dan West (1987) memperkenalkan penganggar matriks kovarians yang konsisten terhadap heteroskedastisiti dan autokorelasi serta semidefinit positif (Newey–West, 1987). {source:neweyWest1987} Laporkan penganggar dan peraturan lat yang digunakan. Ralat piawai HAC tidak dengan sendirinya menyelesaikan isu taburan nol akibat ketidaknormalan atau model bersarang.

Gagal menolak hipotesis nol bukan bukti bahawa kedua-dua ramalan setara atau A lebih baik. Ertinya, ujian yang ditentukan tidak menemui bukti yang cukup jelas tentang maklumat tambahan. Kuasa ujian yang rendah, sampel pendek, korelasi ralat tinggi atau spesifikasi yang kurang sesuai boleh menyembunyikan maklumat. Dakwaan kesetaraan memerlukan reka bentuk dan toleransi khusus untuk ujian kesetaraan.

Penolakan hipotesis nol juga tidak membuktikan B menguntungkan atau mengatasi kos dagangan. Maklumat ramalan berbeza daripada prestasi strategi selepas peraturan keputusan, harga pelaksanaan, spread, komisen, impak pasaran, pembiayaan dan had risiko digunakan. Nilai maklumat untuk strategi perlu diuji secara berasingan.

Untuk membolehkan hasil diulang, laporkan sasaran dan masa ramalan, cara kedua-dua ramalan dijana, cut-off maklumat, pintasan dan sekatan, pemboleh ubah keadaan, julat sampel, pengendalian pemerhatian hilang, hipotesis nol, statistik ujian dan kaedah menganggar ralat piawai. Nyatakan juga status bersarang dan peranan parameter anggaran. Jika RMSE dilaporkan, bezakan soalan itu daripada encompassing.

• Chong dan Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), *Review of Economic Studies*, 53(4), 671–690
• Harvey, Leybourne dan Newbold, “Tests for Forecast Encompassing” (1998), *Journal of Business & Economic Statistics*, 16(2), 254–259
• Clark dan McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), *Journal of Econometrics*, 105(1), 85–11000071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), *Journal of Business & Economic Statistics*, 19(1), 29–33
• Newey dan West, “A Simple, Positive Semi-definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987), *Econometrica*, 55(3), 703–708