Pengorbanan Bias–Varians dan Overfitting Model Keuangan
Memahami bias prediksi, varians estimasi, noise yang tidak boleh direduksi, kerumitan model, validasi rangkaian masa, pengintaian data, overfitting backtest, dan tata kelola untuk model keuangan
Jawapan terus
Pertukaran bias-varians memisahkan kesalahan prediksi yang disebabkan oleh ketidakcocokan model sistematis dan kesalahan yang disebabkan oleh sensitiviti terhadap sampel pelatihan. Overfitting berlaku apabila model atau strategi menangkap noise sampel tertentu seolah-olah itu adalah struktur yang boleh diulang. Di bidang keuangan, penolakan yang berulang-ulang dan pergantian rezim membuat kedua masalah ini menjadi sangat parah
Kesalahan prediksi mempunyai beberapa sumber
Untuk kerugian kuadrat dan masukan tetap x, kesalahan pengujian yang diharapkan didekomposisi menjadi bias kuadrat, varians penduga, dan gangguan kondisional yang tidak boleh direduksi
Bias membandingkan purata prediksi yang dipasang di seluruh rangkaian pelatihan hipotetis dengan purata keadaan sebenarnya
Varians mengukur seberapa besar perubahan prediksi yang dipasang di seluruh set pelatihan tersebut; ini bukan varian keuntungan pasaran
Bias yang tinggi mengabaikan struktur yang persisten
Model yang terlalu kaku boleh mengabaikan imbalan nonlinier, interaksi, variasi masa, atau faktor risiko penting
Kesalahan pelatihan dan pengujian mungkin buruk, dan menambah struktur yang relevan atau ciri yang lebih baik boleh mengurangkan kesalahan sistematis
Varians rendah tidak berhasil jika model secara konsisten meramalkan kuantiti yang salah atau menggunakan target yang tidak selaras dengan keputusan
Varians tinggi mempelajari detail yang tidak disengaja
Model yang fleksibel boleh menyesuaikan outlier, noise, artefak struktur mikro, dan pola rezim satu kali yang tidak berulang
Kesalahan pelatihan berkurang sementara prestasi berubah tajam di seluruh sampel ulang, tempoh, seed, atau opsyen spesifikasi kecil
Regularisasi, pengumpulan, ciri yang lebih sederhana, sampel efektif yang lebih besar, dan purata boleh mengurangkan varians namun menimbulkan atau mengekalkan bias
Kerumitan lebih daripada sekedar jumlah parameter
Luasnya pencarian, konstruksi ciri, peraturan penghentian, penyetelan hyperparameter, dan iterasi analis semuanya meningkatkan fleksibilitas yang efektif
Model modern tidak perlu mengikuti kurva kesalahan sederhana berbentuk U, namun observasi interpolasi atau penurunan ganda tidak menghapuskan risiko validasi
Kerumitan yang relevan adalah keseluruhan proses penyelidikan adaptif, termasuk model-model yang dibuang dan tidak pernah muncul dalam laporan akhir
Validasi keuangan mesti menghormati masa
Pemisahan baris secara acak boleh membocorkan label yang tumpang tindih, normalisasi di masa mendatang, perubahan konstituen, dan maklumat rezim di sekitar
Gunakan penundaan kronologis, evaluasi langsung, embargo jika label tumpang tindih, dan andaian kos transaksi ditetapkan sebelum pengujian
Prestasi mesti stabil di seluruh subperiode, aset, kos yang masuk akal, penundaan, dan gangguan, tidak hanya positif pada satu pengujian ulang.
Pengintaian data melipatgandakan penemuan palsu
Cuba banyak strategi dan hanya melaporkan yang terbaik akan membuat rasio Sharpe, statistik-t, atau drawdown kelihatan lebih baik jika dipilih sahaja
Pemeriksaan Realitas White dan kaedah pengujian berganda yang berkaitan membahas pencarian alternatif berdasarkan andaian mereka sendiri
Pertahanan terakhir yang tidak tersentuh hanya akan membantu jika tetap tidak tersentuh; penayangan berulang-ulang mengubahnya menjadi set pelatihan lain
Tata kelola mesti memperhitungkan jalur penyelidikan
Rekodkan setiap hipotesis, ciri, alam semesta, tempoh, kos, dan penolakan yang diuji supaya jumlah percobaan yang kelihatan tidak terlalu kecil
Pisahkan penemuan eksplorasi daripada pengesahan, lakukan praregistrasi pengujian yang menentukan jika membolehkan, dan memerlukan mekanisme ekonomi dan kes kegagalan
Laporkan pengagihan prestasi, rentang kepercayaan, perputaran, kapasiti, kerugian ekor, dan degradasi daripada penyelidikan hingga dagangan langsung
Soalan lazim
Apakah tradeoff bias-varians?
Ini ialah ketegangan antara kesalahan prediksi sistematis daripada andaian yang mengehadkan dan ketidakstabilan daripada pelarasan variasi sampel tertentu
Apakah overfitting dalam model keuangan?
Ini ialah mempelajari kebisingan historis atau struktur satu kali yang meningkatkan backtest tetapi tidak menggeneralisasi keputusan di niaga hadapan
Mengapa pembagian tes kereta secara acak berisiko bagi keuangan?
Ketergantungan masa, label yang tumpang tindih, pra-pemrosesan, dan kedekatan rezim boleh membocorkan maklumat niaga hadapan di seluruh perpecahan
Adakah ketidaksepakatan terakhir mencegah semua overfitting backtest?
Tidak. Ini hanya membantu jika tidak tersentuh dan tidak boleh memperbaiki penggeledahan besar-magnitud yang dirahasiakan, pergantian rezim, kos yang buruk, atau sasaran yang salah
Sumber dan bacaan lanjut
Semakan pantas
Sudah membaca panduan? Uji diri dengan 3 soalan
Soalan 01
Pernyataan manakah yang paling tepat untuk panduan ini — Kesalahan prediksi mempunyai beberapa sumber?
Pilih jawapan untuk melihat penjelasan
Glosari opsyen
The process that requires an option writer to fulfill the contract after an exercise notice is allocated; it can create or remove an underlying position.
Baca panduan terperinciBid-ask spreadThe gap between the best displayed bid and ask, which is a practical trading cost and a signal of how uncertain an immediate fill may be.
Baca panduan terperinci0DTEAn option that expires on the current trading day; little time remains for the thesis to work, while gamma and execution risk can change quickly.
Baca panduan terperinci