Kombinasi prakiraan: bobot sama vs bobot hasil estimasi

Kombinasi prakiraan menyatukan dua atau lebih prediksi atas besaran yang sama menjadi satu prakiraan. Jika model A, B, dan C masing-masing memprediksi varians terealisasi besok, keluarannya dapat dirata-ratakan atau diberi bobot berbeda. Angka gabungan itu adalah prakiraan baru, bukan pemungutan suara untuk menentukan model yang benar.

Semua input harus merujuk pada sasaran, waktu asal prakiraan, horizon, satuan, dan batas informasi yang sama. Prakiraan varians satu hari tidak dapat langsung dirata-ratakan dengan prakiraan volatilitas satu bulan hanya karena keduanya disebut volatilitas. Tentukan dulu besaran dan interval bersama, lalu selaraskan prediksinya.

Kombinasi layak dipertimbangkan ketika beberapa model yang masuk akal menangkap karakteristik seri yang berbeda, atau belum jelas model mana yang akan tetap unggul. Algoritmanya tidak harus berbeda jauh. Yang menentukan adalah bagaimana kesalahan prakiraan bergerak bersama, bukan seberapa berbeda nama modelnya.

Penerapan awal Bates dan Granger menemukan bahwa prakiraan gabungan dapat memiliki mean squared error lebih rendah daripada masing-masing dari dua prakiraan komponennya pada contoh penumpang maskapai mereka. Temuan itu menjadi alasan untuk menguji kombinasi; hasil tersebut tidak menjamin peningkatan pada pasar, sasaran, periode, atau fungsi kerugian lain (Bates dan Granger, 1969).

Untuk \(K\) prakiraan, kombinasi berbobot sama adalah

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

Setiap komponen menyumbang bagian yang sama. Aturan ini tidak memerlukan sampel pelatihan untuk bobot dan mudah direproduksi. Patokan ini tetap berguna meskipun metode akhir nantinya mengestimasi atau membatasi bobot.

Bobot sama tidak berarti semua prakiraan sama akurat, independen, atau penting secara ekonomi. Artinya, prosedur kombinasi tidak mengestimasi bobot masing-masing dari kinerja masa lalu. Jika semua input mengabaikan faktor yang sama, prakiraan berbobot sama dapat mewarisi bias bersama tersebut.

Banyaknya nama model bukan ukuran keberagaman informasi. Tiga model volatilitas dapat memakai seri imbal hasil, batas sesi, dan interval sampling yang sama, serta sama-sama melewatkan pergerakan semalam. Merata-ratakannya tidak otomatis memperbaiki kekurangan itu. Periksa apakah kesalahan di luar sampel yang tersimpan berbeda secara berguna; jangan menganggap label berbeda menghasilkan bukti independen.

Misalkan tiga model memprakirakan volatilitas sesi berikutnya sebesar 12, 15, dan 20 basis poin. Prakiraan berbobot sama adalah \((12+15+20)/3 = 15.67\) basis poin. Aritmetika ini hanya menunjukkan cara membentuk campuran; satu waktu prakiraan tidak membuktikan bahwa aturan tersebut akurat atau menguntungkan.

Untuk volatilitas, pastikan apakah inputnya varians atau simpangan baku. Merata-ratakan tiga prakiraan varians lalu mengambil akar kuadrat umumnya tidak sama dengan merata-ratakan prakiraan simpangan bakunya. Gunakan definisi sasaran dan satuan yang sama dengan yang akan dinilai nanti.

Kombinasi linear dengan bobot hasil estimasi dapat ditulis sebagai

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

Salah satu hasil teoretis umum mengasumsikan setiap kesalahan prakiraan memiliki rata-rata nol, sasaran prakiraannya sama, dan jumlah bobotnya satu. Misalkan \(\Sigma_e\) adalah matriks kovarians kesalahan prakiraan komponen. Jika matriks ini diketahui dan dapat dibalik, bobot varians minimum dengan batasan tersebut adalah

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

Rumus ini adalah titik acuan, bukan instruksi untuk membalik matriks kovarians sampel yang berisik. Dalam praktik, \(\Sigma_e\) diestimasi dari arsip kesalahan prakiraan yang terbatas. Input yang sangat berkorelasi dapat membuat estimasi hampir singular, sehingga perubahan kecil pada data dapat mengubah bobot secara drastis.

Untuk dua prakiraan dengan varians kesalahan yang sama, \(\sigma^2\), varians rata-rata berbobot sama adalah \(\sigma^2(1+\rho)/2\), dengan \(\rho\) sebagai korelasi kedua kesalahan. Jika varians setiap kesalahan adalah 4 dan korelasinya nol, varians rata-rata menjadi 2. Jika korelasinya 0.90, variansnya menjadi 3.8. Ketergantungan antar-kesalahan, bukan nama algoritma, menentukan seberapa banyak varians yang dapat dikurangi melalui perataan. Perhitungan ini membahas varians kesalahan; jika prakiraan komponen bias, mean squared error juga mencakup kuadrat bias.

Pendekatan lain meregresikan sasaran aktual pada prakiraan komponen yang telah diarsipkan, sering kali dengan intersep. Granger dan Ramanathan membahas metode regresi linear yang tidak mengharuskan jumlah bobot menjadi satu. Intersep dan bobot bebas dapat mengoreksi bias rata-rata pada sampel pelatihan, tetapi mengubah penafsirannya: koefisien tersebut merupakan penyesuaian prakiraan hasil estimasi, bukan selalu porsi seperti bobot portofolio (Granger dan Ramanathan, 1984).

Tentukan batasan sebelum evaluasi. Bobot nonnegatif yang jumlahnya satu menghasilkan rata-rata konveks di antara prakiraan komponen terkecil dan terbesar. Bobot negatif atau intersep dapat menghasilkan nilai di luar rentang itu. Hal tersebut dapat sesuai untuk prakiraan yang dikalibrasi, tetapi mungkin tidak cocok jika sasaran harus nonnegatif, seperti varians.

Anggap tiga model mengeluarkan prakiraan untuk sasaran sesi berikutnya yang sama: 12, 15, dan 20 basis poin. Misalkan aturan bobot yang diestimasi hanya dari waktu prakiraan terdahulu yang hasilnya sudah diketahui memberikan bobot \(0.50\), \(0.30\), dan \(0.20\). Hasil gabungannya adalah

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{basis points} \]

Bobotnya nonnegatif dan berjumlah satu, sehingga ini adalah kombinasi konveks. Hasilnya berada di antara prakiraan komponen. Selisih dari hasil berbobot sama, 15.67 basis poin, berasal dari bobot yang dipilih; selisih itu tidak menunjukkan bahwa prakiraan berbobot lebih baik.

Bobot harus diestimasi hanya dengan kesalahan prakiraan yang hasilnya telah diketahui pada saat estimasi. Dalam backtest historis, prakiraan 14.5 basis poin pada waktu asal \(t\) hanya boleh menggunakan informasi yang tersedia pada \(t\), bukan sasaran aktual pada \(t+1\) atau sesudahnya.

Setelah sasaran teramati, catat prakiraan komponen, prakiraan gabungan, proxy aktual, dan kerugian evaluasi. Mengulanginya pada waktu prakiraan berikutnya memungkinkan perbandingan pada tanggal yang sama. Namun, satu perhitungan contoh tetap bukan bukti adanya keunggulan yang bertahan.

Bobot terbaik untuk kovarians kesalahan populasi yang diketahui berbeda dari bobot yang diestimasi dari sampel pendek. Bobot hasil estimasi menambahkan lapisan ketidakpastian. Jika prakiraan komponen mirip, kesalahannya dapat berkorelasi tinggi, sehingga optimisasi mengeksploitasi perbedaan historis kecil yang mungkin tidak berulang.

Simulasi dan penerapan pada prakiraan makroekonomi oleh Kang menemukan bahwa bobot kombinasi dapat tidak stabil dan bahwa dalam konteks tersebut rata-rata sederhana kadang bekerja lebih baik dalam praktik (Kang, 1986). Ulasan Timmermann menjelaskan bagaimana kesalahan estimasi, ketidakstabilan model, dan ketergantungan kesalahan memengaruhi kombinasi prakiraan (Timmermann, 200601004-9)).

Analisis lanjutan atas teka-teki kombinasi prakiraan menekankan hal yang sama: hasil untuk bobot “optimal” yang tetap belum tentu berlaku tanpa perubahan ketika bobot itu sendiri diestimasi (Claeskens dkk., 2016). Ini tidak membuktikan bahwa bobot sama selalu menang. Temuan tersebut menjelaskan mengapa aturan bobot yang lebih rumit harus menunjukkan manfaat dalam perbandingan di luar sampel.

<!-- learn:illustration -->

Langkah yang mungkin dilakukan adalah memulai dari bobot sama, membatasi jumlah input, menyusutkan bobot hasil estimasi ke arah bobot sama, atau menerapkan batasan sederhana. Setiap pilihan menukar fleksibilitas dengan derau estimasi. Pilih aturan menggunakan data pelatihan dan laporkan caranya; jangan memilih versi yang tampak terbaik setelah melihat periode pengujian akhir.

Setiap prakiraan komponen dalam arsip harus merupakan nilai yang benar-benar dapat dibuat pada waktu asalnya. Rekonstruksi setiap model hanya dengan data yang tersedia saat itu, simpan stempel waktu prakiraan, versi model, dan definisi sasaran. Nilai hasil pemasangan dalam sampel bukan pengganti prakiraan historis yang sebenarnya karena model mungkin memakai observasi yang belum tersedia pada waktu itu.

Selaraskan arsip berdasarkan target dan waktu asal. Dalam setiap baris, prakiraan komponen harus menargetkan interval masa depan yang sama dan informasi pelatihannya harus berhenti pada waktu keputusan yang sama. Tangani prakiraan yang hilang secara eksplisit sebelum mengestimasi kombinasi; perubahan jumlah input secara diam-diam dapat membuat arti bobot berbeda dari satu tanggal ke tanggal lain.

Pisahkan estimasi bobot dari evaluasi akhir. Prosedur rolling-origin dapat mengestimasi bobot dari prakiraan yang hasilnya teramati sebelum \(t\), menerbitkan kombinasi pada \(t\), lalu menilainya ketika target teramati. Jendela expanding memakai semua waktu asal masa lalu yang memenuhi syarat; jendela rolling melupakan data yang lebih lama sesuai panjang yang telah ditentukan. Keduanya dapat merespons perubahan kinerja secara berbeda.

Jika model komponen, transformasi, horizon, batasan bobot, atau fungsi kerugian dipilih setelah melihat periode holdout, periode itu sudah menjadi bagian dari pengembangan model. Sisakan periode uji baru atau gunakan evaluasi bersarang yang menempatkan setiap tahap pemilihan di dalam data pelatihan.

Bandingkan aturan bobot sama, aturan hasil estimasi atau penyusutan, dan prakiraan individual pada waktu asal yang sama serta terhadap target aktual yang sama. Laporkan fungsi kerugian dan sampel bersama. Jika tidak, suatu metode dapat tampak lebih unggul hanya karena diuji pada tanggal yang lebih mudah atau target yang berbeda.

Fungsi kerugian harus sesuai dengan target dan pertanyaan. Kesalahan kuadrat memberi penalti kuadratik; kesalahan absolut memberi bobot berbeda pada kesalahan besar. Untuk prakiraan volatilitas yang dinilai terhadap ukuran realisasi yang bising, kondisi proxy dan fungsi kerugian berpengaruh; panduan QLIKE dan kesalahan kuadrat menjelaskan perbedaannya. Jangan memilih fungsi kerugian setelah melihat metode mana yang diuntungkannya.

Uji perbandingan prakiraan dapat membantu menilai apakah selisih kerugian yang diamati sejalan dengan variasi sampel. Panduan Diebold–Mariano membahas perbandingan berpasangan atas kerugian prakiraan dan asumsi yang penting ketika kesalahan prakiraan tumpang tindih atau tetap bergantung. Hasil uji tidak memperbaiki bias informasi masa depan dan tidak membuktikan nilai ekonomi.

Jika banyak kombinasi komponen, batas bobot, atau aturan kerugian dicoba lalu versi yang tampak terbaik dipilih pada periode evaluasi yang sama, perbandingan yang dilaporkan juga mencerminkan pencarian itu. Panduan White Reality Check dan panduan probabilitas overfitting backtest membahas pemilihan di antara banyak aturan trading; keduanya tidak menggantikan arsip prakiraan yang bersih atau evaluasi yang direncanakan sebelumnya.

Gunakan rancangan validasi yang sesuai dengan horizon penggunaan. Jika asal prakiraan harian menargetkan hasil beberapa hari yang saling tumpang tindih, kerugian berurutan dapat saling bergantung. Perhitungkan ketergantungan itu saat mengestimasi ketidakpastian dan jangan menganggap banyaknya baris yang tumpang tindih sama dengan banyaknya eksperimen independen.

Sebelum menggabungkan, periksa apa yang diprediksi setiap model. Rata-rata kondisional, varians, kuantil, dan distribusi probabilitas penuh merupakan objek prakiraan yang berbeda. Rata-rata linear atas prakiraan titik tidak otomatis menghasilkan prakiraan kepadatan probabilitas yang terkalibrasi atau estimasi risiko ekor yang andal.

Untuk besaran yang harus nonnegatif, seperti varians, periksa nilai hasil kombinasi sebelum digunakan. Rata-rata konveks dari prakiraan nonnegatif tetap nonnegatif; regresi dengan bobot negatif atau intersep belum tentu. Memotong nilai negatif menjadi nol mengubah aturan prakiraan dan harus ditentukan sebelum evaluasi.

Jumlah prakiraan juga penting. Menambahkan input yang lemah atau hampir duplikat dapat menambah jumlah bobot yang diestimasi tanpa memberi banyak informasi baru. Jika arsip historis pendek dibandingkan dengan \(K\), pilih aturan berdimensi rendah yang transparan dan tunjukkan bahwa kesimpulan tidak bergantung pada satu komponen.

Menggabungkan prakiraan model berbeda dari menggabungkan posisi trading. Kerugian statistik yang lebih rendah tidak membuktikan strategi yang memakai prakiraan akan menghasilkan lebih banyak setelah biaya, spread, slippage, dampak pasar, dan batas risiko. Pembuatan prakiraan dan aturan trading yang menggunakannya memerlukan bukti di luar sampel masing-masing.

Laporan yang berguna menyebut sasaran, horizon, satuan, model komponen, waktu asal, periode arsip, dan aturan data hilang. Jelaskan apakah bobot sama, diestimasi, dibatasi, disusutkan, atau berubah dari waktu ke waktu; uraikan pula cara setiap pilihan kalibrasi dibuat.

Tampilkan patokan berbobot sama, kombinasi pilihan, dan prakiraan individual terkuat pada tanggal evaluasi yang sama. Sertakan fungsi kerugian, metode penghitungan ketidakpastian, serta perlakuan terhadap target yang tumpang tindih. Jika bobot berubah tajam antar-jendela, tampilkan ketidakstabilan itu, bukan hanya bobot terakhir.

Terakhir, pisahkan klaim empiris dari klaim keputusan. “Kombinasi ini memiliki kerugian rata-rata lebih rendah pada sampel ini dengan fungsi kerugian ini” lebih spesifik dan mudah direproduksi daripada “menggabungkan prakiraan meningkatkan trading.” Klaim pertama dapat diuji dari arsip prakiraan tersimpan; klaim kedua membutuhkan strategi, asumsi eksekusi, dan bukti terpisah.