Pengorbanan Bias–Varians dan Overfitting Model Keuangan
Memahami bias prediksi, varians estimasi, noise yang tidak dapat direduksi, kompleksitas model, validasi rangkaian waktu, pengintaian data, overfitting backtest, dan tata kelola untuk model keuangan
Jawaban langsung
Pertukaran bias-varians memisahkan kesalahan prediksi yang disebabkan oleh ketidakcocokan model sistematis dan kesalahan yang disebabkan oleh sensitivitas terhadap sampel pelatihan. Overfitting terjadi ketika model atau strategi menangkap noise sampel tertentu seolah-olah itu adalah struktur yang dapat diulang. Di bidang keuangan, penolakan yang berulang-ulang dan pergantian rezim membuat kedua masalah ini menjadi sangat parah
Kesalahan prediksi memiliki beberapa sumber
Untuk kerugian kuadrat dan masukan tetap x, kesalahan pengujian yang diharapkan didekomposisi menjadi bias kuadrat, varians penduga, dan gangguan kondisional yang tidak dapat direduksi
Bias membandingkan rata-rata prediksi yang dipasang di seluruh rangkaian pelatihan hipotetis dengan rata-rata kondisi sebenarnya
Varians mengukur seberapa besar perubahan prediksi yang dipasang di seluruh set pelatihan tersebut; ini bukan varian keuntungan pasar
Bias yang tinggi mengabaikan struktur yang persisten
Model yang terlalu kaku dapat mengabaikan imbalan nonlinier, interaksi, variasi waktu, atau faktor risiko penting
Kesalahan pelatihan dan pengujian mungkin buruk, dan menambahkan struktur yang relevan atau fitur yang lebih baik dapat mengurangi kesalahan sistematis
Varians rendah tidak berhasil jika model secara konsisten memprediksi kuantitas yang salah atau menggunakan target yang tidak selaras dengan keputusan
Varians tinggi mempelajari detail yang tidak disengaja
Model yang fleksibel dapat menyesuaikan outlier, noise, artefak struktur mikro, dan pola rezim satu kali yang tidak berulang
Kesalahan pelatihan berkurang sementara performa berubah tajam di seluruh sampel ulang, jendela, seed, atau pilihan spesifikasi kecil
Regularisasi, pengumpulan, fitur yang lebih sederhana, sampel efektif yang lebih besar, dan rata-rata dapat mengurangi varians namun menimbulkan atau mempertahankan bias
Kompleksitas lebih dari sekedar jumlah parameter
Luasnya pencarian, konstruksi fitur, aturan penghentian, penyetelan hyperparameter, dan iterasi analis semuanya meningkatkan fleksibilitas yang efektif
Model modern tidak perlu mengikuti kurva kesalahan sederhana berbentuk U, namun observasi interpolasi atau penurunan ganda tidak menghilangkan risiko validasi
Kompleksitas yang relevan adalah keseluruhan proses penelitian adaptif, termasuk model-model yang dibuang dan tidak pernah muncul dalam laporan akhir
Validasi keuangan harus menghormati waktu
Pemisahan baris secara acak dapat membocorkan label yang tumpang tindih, normalisasi di masa mendatang, perubahan konstituen, dan informasi rezim di sekitar
Gunakan penundaan kronologis, evaluasi langsung, embargo jika label tumpang tindih, dan asumsi biaya transaksi ditetapkan sebelum pengujian
Kinerja harus stabil di seluruh subperiode, aset, biaya yang masuk akal, penundaan, dan gangguan, tidak hanya positif pada satu pengujian ulang.
Pengintaian data melipatgandakan penemuan palsu
Mencoba banyak strategi dan hanya melaporkan yang terbaik akan membuat rasio Sharpe, statistik-t, atau drawdown terlihat lebih baik jika dipilih saja
Pemeriksaan Realitas White dan metode pengujian berganda yang terkait membahas pencarian alternatif berdasarkan asumsi mereka sendiri
Pertahanan terakhir yang tidak tersentuh hanya akan membantu jika tetap tidak tersentuh; penayangan berulang-ulang mengubahnya menjadi set pelatihan lain
Tata kelola harus memperhitungkan jalur penelitian
Catat setiap hipotesis, fitur, alam semesta, jendela, biaya, dan penolakan yang diuji sehingga jumlah percobaan yang terlihat tidak terlalu kecil
Pisahkan penemuan eksplorasi dari konfirmasi, lakukan praregistrasi pengujian yang menentukan jika memungkinkan, dan memerlukan mekanisme ekonomi dan kasus kegagalan
Laporkan distribusi kinerja, rentang kepercayaan, perputaran, kapasitas, kerugian ekor, dan degradasi dari penelitian hingga perdagangan langsung
Pertanyaan umum
Apa yang dimaksud dengan tradeoff bias-varians?
Ini adalah ketegangan antara kesalahan prediksi sistematis dari asumsi yang membatasi dan ketidakstabilan dari penyesuaian variasi sampel tertentu
Apa yang dimaksud dengan overfitting dalam model keuangan?
Ini adalah mempelajari kebisingan historis atau struktur satu kali yang meningkatkan backtest tetapi tidak menggeneralisasi keputusan di masa depan
Mengapa pembagian tes kereta secara acak berisiko bagi keuangan?
Ketergantungan waktu, label yang tumpang tindih, pra-pemrosesan, dan kedekatan rezim dapat membocorkan informasi masa depan di seluruh perpecahan
Apakah ketidaksepakatan terakhir mencegah semua overfitting backtest?
Tidak. Ini hanya membantu jika tidak tersentuh dan tidak dapat memperbaiki penggeledahan besar-besaran yang dirahasiakan, pergantian rezim, biaya yang buruk, atau sasaran yang salah