Regresi Mincer–Zarnowitz: menguji bias dan kalibrasi prakiraan

Misalkan suatu model memperkirakan imbal hasil periode berikutnya atau seorang ekonom memperkirakan pertumbuhan kuartal mendatang. Rata-rata galat prakiraan pada sampel evaluasi bisa saja nol. Ini menjadi bukti terhadap kecenderungan melebihkan atau meremehkan secara persisten, tetapi tidak menunjukkan bahwa nilai prakiraan bergerak satu banding satu dengan hasil yang kemudian terjadi. Prakiraan bisa terlalu ekstrem, terlalu terkompresi, atau bergeser secara linear, sementara galat positif dan negatif saling menghapus.

Regresi MZ menampakkan pertanyaan kedua ini dengan meregresikan hasil aktual pada prakiraan. Mincer dan Zarnowitz memperkenalkan kerangka ini saat mengevaluasi prakiraan ekonomi (bab tahun 1969). Ini adalah diagnostik untuk prakiraan titik atas target numerik, terutama ketika sasaran yang diprakirakan adalah rata-rata kondisional dengan loss kuadrat. Metode ini bukan perbandingan model mana yang memiliki loss rata-rata lebih rendah; untuk pertanyaan tersebut, lihat panduan Diebold–Mariano.

Pembedaan ini juga penting dalam riset trading. Prakiraan imbal hasil dapat memiliki bias rata-rata kecil tetapi skala yang keliru; prakiraan volatilitas bisa terlalu tinggi pada satu rentang dan terlalu rendah pada rentang lain. Regresi dapat menandai ketidakcocokan linear, tetapi hasilnya bergantung pada sampel evaluasi, definisi target, waktu tersedianya informasi, dan metode inferensi. Uji ini tidak membuktikan bahwa prakiraan dapat diubah menjadi aturan trading yang menguntungkan.

Untuk setiap titik asal prakiraan t, pasangkan prakiraan (fₜ) dengan target aktual berikutnya (yₜ) yang hendak diprediksi. Setiap pasangan memakai horizon tetap: (fₜ) diterbitkan pada titik asal yang lebih awal untuk target (yₜ) di kemudian hari; indeks t selanjutnya menjadi notasi ringkas untuk pasangan tersebut. Keduanya harus merujuk pada variabel, horizon, satuan, dan konvensi waktu yang sama. Memasangkan prakiraan imbal hasil lima hari dengan hasil satu hari tidak menguji kalibrasi untuk target yang dimaksud.

Gunakan prakiraan yang benar-benar tersedia pada tiap titik asal dan simpan nilainya, versi model, vintage data, serta batas waktu informasi. Rilis awal data makro dapat direvisi kemudian. Tentukan apakah kalibrasi dinilai terhadap rilis pertama atau nilai final yang sudah direvisi, lalu pertahankan pilihan itu. Mengganti masukan historis dengan data revisi dapat memberi evaluasi akses ke informasi yang tidak dimiliki peramal pada saat itu.

Untuk deret trading, selaraskan komponen close-to-close, intraday, dan overnight secara konsisten. Target multi-periode yang bertumpang tindih juga membuat galat berdekatan saling bergantung. Sampel evaluasi bersama penting: jika prakiraan suatu model justru hilang pada tanggal volatil, perbedaan komposisi sampel dapat terlihat seperti masalah kalibrasi. Gunakan target dan jadwal titik asal yang sama untuk setiap deret prakiraan yang diuji.

Bedakan prakiraan yang benar-benar dihasilkan dari nilai fitted. Jika model diestimasi dengan observasi yang juga masuk ke regresi MZ, kecocokan in-sample dapat memberi kesan seolah-olah model terkalibrasi. Untuk klaim mengenai kinerja ke depan, buat urutan out-of-sample yang kronologis, estimasi ulang hanya dengan informasi yang tersedia pada tiap titik asal, dan sisihkan periode konfirmasi akhir yang tidak dipakai untuk memilih model atau ambang.

Regresi level standar berbentuk

yₜ = α + β fₜ + uₜ

di mana (yₜ) adalah target aktual, (fₜ) prakiraan, dan (uₜ) residual regresi. Pembatasan kalibrasi bersama yang lazim adalah

H₀: α = 0 dan β = 1

Jika keduanya berlaku, hubungan linear fitted antara hasil dan prakiraan adalah garis identitas. Tidak diperlukan pergeseran konstan dan kenaikan satu unit pada prakiraan sesuai dengan kenaikan satu unit pada hasil fitted. Estimasikan regresi lalu uji kedua pembatasan secara bersama dengan uji Wald atau F yang setara dan estimasi kovarians yang sesuai dengan desain sampel. Menguji intersep dan kemiringan secara terpisah tidak sama dengan menguji pembatasan bersama.

Residual (uₜ) tidak otomatis sama dengan galat prakiraan mentah (yₜ − fₜ). Keduanya sama di bawah hipotesis nol bersama; di luar itu, intersep dan kemiringan yang diestimasi menyerap pergeseran dan perubahan skala linear. Laporkan galat prakiraan aktual bersama koefisien regresi agar pembaca dapat melihat kesalahan rata-rata dan hubungan kalibrasinya.

Pembatasan MZ terkadang disebut uji ketakbiasan atau rasionalitas prakiraan. Jelaskan definisinya. Syarat galat rata-rata tak bersyarat nol adalah (E[yₜ − fₜ] = 0); pembatasan (α = 0, β = 1) memberlakukan hubungan linear tertentu dan umumnya lebih kuat. Holden dan Peel menunjukkan bahwa pembatasan bersama konvensional cukup, tetapi tidak perlu, untuk ketakbiasan menurut formulasi mereka (1990). Jangan gunakan istilah “tak bias” dan “terkalibrasi MZ” sebagai sinonim tanpa menyebut pembatasan yang diuji.

<!-- learn:illustration -->

Perhatikan tiga prakiraan hipotetis dan hasil aktual berikutnya:

Rata-rata prakiraan dan hasil sama-sama 2, sementara galat rata-ratanya nol. Namun nilainya mengikuti (yₜ = 1 + 0.5 fₜ), sehingga regresi MZ menghasilkan intersep (α = 1) dan kemiringan (β = 0.5), bukan (0, 1). Galat saling meniadakan secara rata-rata meskipun pembatasan kalibrasi linear gagal: dalam contoh buatan ini, hasil hanya bergerak setengah sebesar prakiraannya.

Ini ilustrasi aritmetika yang sengaja dibuat, bukan data pasar atau sampel untuk inferensi. Tiga titik tanpa noise tidak cukup untuk melaporkan nilai p yang bermakna atau menyatakan sistem prakiraan nyata gagal. Pada sampel nyata, uji bersama memperhitungkan ketidakpastian estimasi. Penyimpangan koefisien besar mungkin tidak presisi, sedangkan penyimpangan kecil dapat diestimasi dengan tepat bila observasi cukup. Contoh ini hanya menunjukkan bahwa galat rata-rata dan pembatasan MZ menjawab pertanyaan berbeda.

Penyesuaian kalibrasi seperti (1 + 0.5 fₜ) akan mereproduksi ketiga hasil tersebut secara tepat karena rumusnya dibuat dari data itu. Hal tersebut tidak membuktikan kinerjanya di masa depan. Jika kalibrasi ulang menjadi bagian metode, estimasikan pada segmen pelatihan yang lebih awal dan evaluasi prakiraan yang disesuaikan pada data berikutnya yang tidak dipakai untuk menentukan koefisien tersebut.

Intersep (α) adalah hasil fitted saat prakiraan bernilai nol, sehingga arti praktisnya bergantung pada apakah nol berada di dalam atau dekat rentang prakiraan. Kemiringan (β) menggambarkan seberapa kuat hasil fitted berubah mengikuti prakiraan. Dengan intersep diperhitungkan, kemiringan di bawah satu berarti prakiraan berubah lebih besar per unit daripada hasil fitted; di atas satu berarti sebaliknya. Satu koefisien saja tidak menjelaskan hubungan sepenuhnya ketika koefisien lainnya juga bebas.

(R²) tinggi tidak membuktikan kalibrasi. Hubungan tanpa noise (yₜ = 2 + 1.1 fₜ), misalnya, memiliki (R² = 1), tetapi intersep dan kemiringannya tidak memenuhi hipotesis nol MZ. (R²) merangkum variasi sampel yang dijelaskan oleh fit linear; uji bersama menanyakan apakah garisnya adalah garis identitas. Sebaliknya, prakiraan yang bising dapat memiliki (R²) rendah meski pembatasan bersama tidak ditolak. Kalibrasi dan presisi berkaitan tetapi merupakan sifat berbeda.

Jangan menyimpulkan hasil kalibrasi hanya dari dua statistik t terpisah. Estimasi intersep dan kemiringan dapat berkorelasi, sehingga statistik Wald/F bersama menggunakan kovariansnya. Laporkan α, β dan ketidakpastiannya, statistik bersama dan nilai p, ukuran sampel, serta galat mentah rata-rata. Grafik sebar dengan garis identitas atau perbandingan berbasis bin dapat membantu; nyatakan bila bin dipilih setelah melihat data. Uji linear dapat melewatkan ketidakcocokan melengkung, perubahan rezim, atau galat khusus di ekor distribusi.

Di bawah loss kuadrat, prakiraan titik optimal adalah ekspektasi kondisional target berdasarkan himpunan informasi peramal. Artinya, informasi yang sudah tersedia pada titik asal seharusnya tidak dapat memprediksi galat berikutnya. Namun regresi MZ hanya menguji hubungan linear yang melibatkan prakiraan itu sendiri dan sebuah konstanta; regresi ini tidak menguji setiap variabel lain dalam himpunan informasi tersebut.

Diagnostik yang lebih kuat dapat menambahkan variabel informasi (zₜ) yang ditentukan sebelumnya ke regresi galat, misalnya

yₜ − fₜ = δ₀ + δ₁ zₜ + vₜ

Jika variabel yang diketahui pada titik asal memprediksi galat di kemudian hari, peramal mungkin menyisakan informasi berguna. Waktu tersedianya variabel dan pemilihannya harus tepat; mencoba banyak lag, keadaan pasar, dan transformasi menimbulkan masalah pencarian berganda yang lain. Tidak ditemukannya daya prediksi pada daftar pendek tidak membuktikan efisiensi terhadap seluruh himpunan informasi.

Zarnowitz membahas bias, korelasi serial, ukuran sampel, dan daya uji pada prakiraan survei (NBER Working Paper 1070, 1983). Karena itu, sebut MZ sebagai diagnostik kalibrasi linear atau pemeriksaan efisiensi yang lemah, bukan bukti bahwa peramal menggunakan semua informasi relevan secara optimal. Panduan Giacomini–White membahas perbandingan kondisional berbeda yang didasarkan pada momen loss terpilih.

Galat prakiraan dapat heteroskedastik, berkorelasi serial, atau bertumpang tindih, terutama pada prakiraan multi-langkah bergulir. Rumus koefisien OLS biasa tidak otomatis menjamin standard error yang valid untuk pembatasan bersama. Gunakan metode inferensi yang dapat dibenarkan untuk horizon, pola ketergantungan, dan skema estimasi yang dipakai, lalu laporkan metodenya. Jangan menganggap galat independen; tidak ada satu bandwidth atau koreksi yang cocok untuk semua desain.

Jika parameter model, penyesuaian kalibrasi, dan pengujiannya menggunakan sampel pendek yang sama, ketidakpastian regresi biasa mungkin tidak mencakup seluruh prosedur. Prakiraan bersarang juga dapat menghasilkan distribusi nol nonstandar untuk perbandingan akurasi. Gunakan metode yang diturunkan untuk konstruksi prakiraan tersebut atau evaluasi langkah kalibrasi yang spesifik pada holdout berikutnya. Jangan mencoba banyak persamaan, target, dan sampel lalu menganggap nilai p terakhir sebagai konfirmasi.

Tidak ditolaknya hipotesis bukan bukti bahwa prakiraan terkalibrasi; dayanya mungkin rendah atau intervalnya lebar. Penolakan juga bergantung pada target, sampel, bentuk linear, dan estimasi kovarians. Periksa sensitivitas terhadap pilihan evaluasi yang masuk akal, ungkapkan pemeriksaan itu, dan pisahkan dari uji yang ditentukan sebelumnya. Ini penting terutama untuk prakiraan yang persisten atau ketika hanya ada sedikit episode independen.

MZ menguji pembatasan kalibrasi linear antara prakiraan dan target aktual. Uji Diebold–Mariano menanyakan apakah dua prosedur prakiraan memiliki loss rata-rata yang sama menurut skor tertentu. Suatu prakiraan dapat terkalibrasi tetapi kalah menurut skor tersebut, atau lebih akurat rata-rata tetapi gagal pada uji kalibrasi MZ.

Jika pertanyaannya apakah akurasi berubah bersama informasi yang diketahui saat prakiraan dibuat, uji Giacomini–White mengevaluasi momen loss kondisional tertentu. Jika banyak prakiraan atau aturan trading telah dicoba, Model Confidence Set atau White Reality Check/Hansen SPA menangani persoalan seleksi kandidat yang berbeda. Tidak satu pun menggantikan target yang jelas dan titik asal prakiraan yang jujur.

Regresi MZ level standar ditujukan bagi prakiraan titik atas target numerik. Prakiraan kuantil, probabilitas, interval, dan densitas memerlukan uji kalibrasi serta skor yang sesuai dengan objek tersebut. Hasil baik untuk prakiraan rata-rata tidak otomatis berlaku bagi risiko ekor atau distribusi volatilitas.

Nyatakan target, horizon, satuan, batas informasi, tanggal evaluasi, vintage data, dan apakah prakiraan benar-benar dibuat out-of-sample. Berikan persamaan regresi, definisi galat prakiraan, serta pembatasan yang diuji. Jelaskan apakah “tak bias” berarti galat rata-rata nol atau pembatasan MZ bersama (α = 0, β = 1).

Laporkan estimasi koefisien, standard error atau interval kepercayaan, statistik Wald/F bersama, derajat kebebasan, nilai p, jumlah titik asal prakiraan, galat prakiraan rata-rata, serta (R²) dengan interpretasi terbatas. Uraikan metode kovarians atau resampling, khususnya jika horizon bertumpang tindih atau galat berkorelasi serial. Ungkapkan estimasi model, kalibrasi ulang, seleksi, serta target, sampel, atau transformasi alternatif yang dicoba.

Pelaporan transparan membantu pembaca membedakan bias rata-rata, kalibrasi linear, efisiensi informasi, dan akurasi komparatif. Semua itu adalah klaim empiris yang terpisah. Memenuhi satu pembatasan regresi tidak memvalidasi semua penggunaan prakiraan, dan evaluasi prakiraan saja bukan bukti profitabilitas trading setelah biaya.