Multiple Testing dan False Discovery Rate dalam Keuangan
Fahami perbandingan berganda, family-wise error, false discovery rate, Bonferroni, Holm, Benjamini–Hochberg, kebergantungan, q-value, penambangan faktor, seleksi backtest, dan tata kelola riset
Jawapan terus
Ujian berbilang berlaku apabila banyak hipotesis, strategi, faktor, aset, ufuk atau spesifikasi dicari bersama. Walaupun nilai-p ujian tunggal sah, ia tetap boleh menghasilkan pemenang secara kebetulan. Kadar ralat sekeluarga mengawal kebarangkalian sekurang-kurangnya satu penolakan palsu, manakala kadar penemuan palsu mengawal bahagian palsu yang dijangka antara penolakan di bawah andaian yang dinyatakan. Keluarga penyelidikan, bukan jadual akhir sahaja, menentukan masalah ini
Lebih banyak ujian menghasilkan lebih banyak pemenang secara kebetulan
Jika m hipotesis nol sebenar yang bebas masing-masing diuji pada aras α, kebarangkalian sekurang-kurangnya satu penolakan palsu ialah 1−(1−α)^m
Pada α=0.05 dan m=20, kebarangkalian itu kira-kira 64%, walaupun setiap ujian individu mempunyai kadar penolakan palsu nominal 5%
Kebergantungan mengubah pengiraan tepat, tetapi ia tidak membenarkan kita berpura-pura bahawa hanya pemenang yang dilaporkan telah diuji
Keluarga menentukan soalan ralat
Keluarga ujian boleh merangkumi semua faktor, transformasi, alam semesta, lag, ufuk, penapis, pilihan model dan ulangan yang dipertimbangkan untuk satu dakwaan penyelidikan
Menentukan keluarga selepas melihat keputusan meremehkan kepelbagaian dan membolehkan penyelidik memisahkan percubaan yang berkaitan sehingga pembetulan menjadi tidak berkesan
Keluarga yang boleh dipertahankan mengikuti proses keputusan dan peluang pemilihan, bukan sekadar baris yang terselamat ke dalam kertas atau papan pemuka
FWER dan FDR mengawal kerugian yang berbeza
Kadar ralat sekeluarga ialah kebarangkalian membuat sekurang-kurangnya satu penolakan palsu dalam keluarga itu
Kadar penemuan palsu ialah E[V/max(R,1)], dengan V ialah bilangan penolakan palsu dan R ialah jumlah penolakan
FWER lebih ketat apabila sebarang dakwaan palsu membawa kos; FDR selalunya lebih berkuasa apabila penyaringan banyak calon boleh menerima bahagian palsu yang dikawal
Prosedur memerlukan andaian masing-masing
Bonferroni menguji setiap hipotesis pada α/m dan mengawal FWER tanpa memerlukan kebebasan, walaupun ia boleh menjadi konservatif
Kaedah step-down Holm juga mengawal FWER dan tidak pernah kurang berkuasa daripada peraturan penolakan Bonferroni asas
Benjamini–Hochberg menyusun nilai-p dan mengawal FDR di bawah kebebasan serta kebergantungan positif tertentu; struktur kebergantungan lain memerlukan kaedah yang berasas
Nilai terlaras bukan kebarangkalian posterior tentang kebenaran
Nilai-p terlaras ialah aras ralat keluarga terkecil apabila sesuatu hipotesis akan ditolak di bawah prosedur yang dipilih
Nilai-q lazimnya ditafsirkan sebagai anggaran ambang FDR minimum untuk memanggil keputusan sebagai penemuan, tertakluk pada kaedah dan andaian
Tiada satu pun kuantiti ini secara automatik ialah kebarangkalian bahawa satu strategi yang dipilih adalah palsu; itu memerlukan model dan pernyataan pensyaratan yang berbeza
Kewangan menyembunyikan keluarga adaptif yang besar
Perlombongan faktor, peraturan teknikal, isyarat opsyen, data alternatif, kekangan portfolio dan andaian kos mewujudkan ribuan percubaan yang berkorelasi
Faktor yang diterbitkan dipilih daripada carian lampau, jadi menilai faktor baharu berbanding statistik-t terpencil yang hampir dua mengabaikan tekanan penemuan yang terkumpul
Aset dan tempoh yang dikongsi menjadikan ujian saling bergantung, manakala perubahan rejim bermakna pembetulan pemilihan tidak dapat menjamin prestasi ekonomi masa depan
Tadbir urus mesti mengekalkan rekod carian
Catat setiap hipotesis, versi kod, alam semesta, hasil, transformasi, kelewatan, kos dan pilihan berhenti dengan pengenal penyelidikan yang stabil
Asingkan penemuan, pengesahan dan pemantauan langsung; bekukan peraturan pengesahan dan gunakan data yang benar-benar tidak disentuh atau penilaian prospektif
Laporkan bukti mentah dan terlaras, takrif keluarga, andaian kebergantungan, saiz kesan, kos, kestabilan, idea yang ditolak dan kemerosotan langsung
Soalan lazim
Apakah masalah ujian berbilang?
Ia ialah peningkatan penemuan palsu yang disebabkan oleh pengujian dan pemilihan antara banyak hipotesis sambil menilai pemenang seolah-olah setiap ujian berdiri sendiri
Apakah perbezaan antara FWER dan FDR?
FWER mengawal kebarangkalian sekurang-kurangnya satu penolakan palsu; FDR mengawal bahagian palsu yang dijangka antara semua penolakan
Bagaimanakah Benjamini–Hochberg berfungsi?
Ia menyusun nilai-p, membandingkannya dengan ambang yang bergantung pada kedudukan dan menolak sehingga kedudukan terbesar yang memenuhi syarat di bawah andaian yang dinyatakan
Adakah kawalan FDR menjadikan strategi dagangan boleh dipercayai?
Tidak. Ia menangani ralat pemilihan di bawah keluarga ujian yang ditakrifkan, bukan perubahan rejim, kos, kebocoran, risiko model atau keuntungan masa depan
Sumber dan bacaan lanjut
Semakan pantas
Sudah membaca panduan? Uji diri dengan 3 soalan
Soalan 01
Pernyataan manakah yang paling sepadan dengan panduan ini — Lebih banyak ujian menghasilkan lebih banyak pemenang secara kebetulan?
Pilih jawapan untuk melihat penjelasan
Glosari opsyen
The process that requires an option writer to fulfill the contract after an exercise notice is allocated; it can create or remove an underlying position.
Baca panduan terperinciBid-ask spreadThe gap between the best displayed bid and ask, which is a practical trading cost and a signal of how uncertain an immediate fill may be.
Baca panduan terperinci0DTEAn option that expires on the current trading day; little time remains for the thesis to work, while gamma and execution risk can change quickly.
Baca panduan terperinci