P-Value dan Signifikansi Statistik dalam Keuangan
Pahami p-value, hipotesis nol, statistik uji, tingkat signifikansi, galat Tipe I dan Tipe II, power, optional stopping, data snooping, dan interpretasi keuangan
Jawaban langsung
P-value adalah probabilitas, di bawah model nol dan rencana analisis tertentu, untuk memperoleh statistik uji yang setidaknya sama tidak kompatibelnya dengan model seperti statistik yang diamati. P-value bukan probabilitas bahwa hipotesis nol benar, probabilitas bahwa hasil terjadi secara kebetulan, atau ukuran dan kepentingan ekonomi suatu efek. Signifikansi statistik adalah aturan keputusan, bukan bukti
Uji dimulai sebelum p-value
Tentukan hipotesis nol dan alternatif, statistik uji, model sampling, aturan penghentian, arah ekor, dan tingkat signifikansi sebelum melihat hasil
Hipotesis nol sering menyatakan tidak ada efek atau nilai tolok ukur, tetapi dapat juga bersifat komposit dan memuat parameter nuisance yang perlu diestimasi
Mengubah semesta, horizon, kontrol, aturan pencilan, atau uji setelah melihat data mengubah eksperimen yang p-value-nya sedang ditafsirkan
P-value bersyarat pada model
Di bawah hipotesis nol, statistik uji memiliki distribusi acuan; p-value mengukur seberapa jauh statistik yang diamati masuk ke ekornya yang relevan
Nilai kecil menunjukkan ketidakcocokan antara data dan keseluruhan pengaturan model nol, bukan asumsi mana yang gagal atau apakah alternatifnya benar
Dependensi yang salah spesifikasi, ekor berat, heteroskedastisitas, kesalahan data, atau seleksi dapat membuat distribusi acuan dan p-value tidak valid
Ambang signifikansi mendefinisikan aturan galat
Level α yang telah ditentukan membatasi probabilitas menolak hipotesis nol yang benar di bawah asumsi uji, bukan proporsi klaim terbit yang salah
Galat Tipe I adalah penolakan palsu; galat Tipe II adalah gagal menolak hipotesis nol yang salah, dan power adalah probabilitas penolakan di bawah alternatif tertentu
Gagal menolak tidak membuktikan tidak ada efek, terutama ketika sampel memiliki power rendah untuk alternatif yang penting secara ekonomi
Ukuran efek dan ketidakpastian menjawab pertanyaan berbeda
Sampel besar dapat membuat efek kecil signifikan secara statistik, sedangkan sampel kecil yang berisik dapat melewatkan efek yang cukup besar untuk menjadi penting
Laporkan estimasi efek, interval, unit, biaya transaksi, kapasitas, dan ambang praktis bersama p-value
Hasil yang sedikit di atas atau di bawah 0.05 biasanya memberikan bukti yang serupa; menjadikan batas itu sakelar kebenaran yang tajam membuang informasi
Fleksibilitas riset mengubah signifikansi
Optional stopping, mencoba banyak spesifikasi, menghapus observasi, mengganti outcome, dan hanya menerbitkan uji yang berhasil mengubah perilaku false positive
P-value nominal hanya valid untuk jalur analisis yang menghasilkannya, termasuk aturan sekuensial atau penyesuaian yang sah dan telah dinyatakan sebelumnya
Preregistrasi, log riset lengkap, analisis multiverse, holdout yang tidak disentuh, dan replikasi memperlihatkan sensitivitas tetapi tidak memperbaiki model yang salah
Dependensi keuangan melemahkan uji textbook
Return dapat memiliki autokorelasi, dependensi lintas penampang, heteroskedastisitas, tumpang tindih, dan kondisi pada semesta yang dipilih untuk bertahan
Standard error iid naif dapat membesar-besarkan statistik t, sementara penemuan faktor berulang dan backtesting menciptakan keluarga uji implisit yang jauh lebih besar
Gunakan standard error dan resampling yang sesuai dengan struktur deret waktu, lalu uji stabilitas antarrezim, aset, biaya, keterlambatan, dan data live
Bukti harus mendukung keputusan
Perlakukan p-value sebagai satu diagnostik kontinu di antara ukuran efek, ketidakpastian, bukti prior, mekanisme, kinerja prediktif, dan biaya keputusan
Tentukan sejak awal galat apa yang penting: sinyal perdagangan palsu, eksposur risiko yang terlewat, hedge yang tidak stabil, atau model yang dipromosikan tanpa nilai ekonomi
Laporkan seluruh keluarga analisis dan replikasi yang gagal agar satu hasil signifikan yang dipilih tidak disalahartikan sebagai kekuatan program riset
Pertanyaan umum
Apa arti p-value 0.05?
Di bawah model nol yang ditentukan, hasil yang setidaknya sama tidak kompatibelnya dengan statistik uji yang diamati terjadi dengan probabilitas 0.05
Apakah p di bawah 0.05 membuktikan hipotesis alternatif?
Tidak. P-value tidak menetapkan probabilitas pada hipotesis dan tidak menyingkirkan salah spesifikasi, seleksi, kesalahan data, atau efek yang tidak penting secara ekonomi
Apakah p di atas 0.05 membuktikan tidak ada efek?
Tidak. Artinya uji tidak menolak pada ambang tersebut dan hasilnya dapat mencerminkan power rendah, noise, model yang tidak sesuai, atau efek yang memang kecil
Mengapa p-value keuangan sering dibesar-besarkan?
Dependensi, pencarian strategi berulang, spesifikasi fleksibel, sampel terpilih, dan biaya yang tidak realistis dapat membuat bukti nominal tampak lebih kuat daripada kenyataannya