Koefisien dan Asumsi Regresi OLS
Pahami tujuan kuadrat terkecil, interpretasi koefisien bersyarat, residual, eksogenitas, multikolinearitas, homoskedastisitas, dan analisis regresi keuangan yang bertanggung jawab
Jawaban langsung
Kuadrat terkecil biasa memilih koefisien yang meminimalkan jumlah kuadrat perbedaan antara hasil yang diamati dan nilai yang dipasang secara linear. Koefisien menggambarkan perbedaan linear rata-rata pada hasil yang terkait dengan perbedaan satu unit pada regressor-nya, dengan regressor lain yang disertakan dianggap tetap. Mengubah proyeksi deskriptif itu menjadi efek kausal memerlukan asumsi tambahan seperti error dengan mean bersyarat nol; R² tinggi atau residual kecil tidak dapat membuktikannya
OLS meminimalkan residual kuadrat
Dalam model y=Xβ+u, OLS memilih β agar jumlah kuadrat perbedaan antara observasi dan nilai yang dipasang Xβ sekecil mungkin
Ketika kolom matriks desain memiliki rank penuh, solusinya umumnya ditulis β̂=(X′X)⁻¹X′y
Pengkuadratan menghasilkan tujuan yang mudah ditangani dan menghukum kesalahan besar dengan berat, sehingga kesalahan data dan outlier berpengaruh dapat memiliki leverage besar
Koefisien adalah perbandingan linear bersyarat
Koefisien βj adalah perbedaan y hasil pemodelan untuk perbedaan satu unit pada xj ketika variabel lain yang disertakan dipertahankan pada nilai yang sama
Hasil Frisch–Waugh–Lovell memberikan koefisien yang sama setelah kontribusi linear kontrol lain dihilangkan secara terpisah dari y dan xj, lalu kedua sisa tersebut diregresikan
Karena itu, maknanya bergantung pada kontrol, bentuk fungsi, unit, dan sampel; koefisien bukan sekadar korelasi antara dua variabel mentah
Linearitas menyangkut parameter
Regresi linear harus linear dalam koefisiennya, tetapi regressornya dapat mencakup logaritma, kuadrat, spline, indikator, dan interaksi
Dengan interaksi, hubungan marginal untuk satu variabel berubah menurut nilai variabel lain, sehingga koefisien utama tidak dapat dibaca secara terpisah
Ekstrapolasi memperluas bentuk fungsi yang dipilih melewati dukungan yang diamati dan merupakan klaim yang jauh lebih kuat daripada sekadar memasang model dengan baik pada sampel
Asumsi yang berbeda memberikan jaminan yang berbeda
Mean bersyarat nol menyatakan bahwa komponen hasil yang dihilangkan tidak dapat diprediksi secara sistematis dari regressor yang disertakan dan menjadi inti konsistensi atau interpretasi struktural
Homoskedastisitas mensyaratkan varians error bersyarat yang sama di seluruh nilai regressor; hal ini lebih menyangkut rumus varians klasik dan efisiensi daripada ketidakbiasan koefisien
Error normal tidak diperlukan untuk menghitung OLS, meskipun normalitas dapat mendukung inferensi t dan F sampel kecil yang eksak dalam model klasik
Residual bukan error populasi yang tidak terlihat
Residual e=y−Xβ̂ adalah selisih yang diamati dari nilai pasang yang diestimasi pada sampel yang sama, sedangkan gangguan populasi u tidak teramati
Dengan intersep, OLS membentuk residual yang ortogonal terhadap regressor sampel, sehingga korelasi sampel nol di antara keduanya bukan bukti independen untuk eksogenitas
Plot residual dapat mengungkap nonlinearitas, perubahan varians, pengelompokan, ketergantungan serial, dan outlier, tetapi tidak dapat mengesahkan model yang benar
Data keuangan menekan asumsi textbook
Return menunjukkan pengelompokan volatilitas dan kejadian ekor, sedangkan return periode kepemilikan yang tumpang tindih menciptakan korelasi serial secara konstruksi
Panel korporasi dapat memiliki persistensi di dalam setiap perusahaan dan guncangan bersama lintas perusahaan pada tanggal yang sama, sehingga melanggar independensi observasi sederhana
Tren pada deret level, survivorship, penemuan harga secara simultan, dan kesalahan pengukuran dapat membuat koefisien signifikan terlihat lebih struktural daripada kenyataannya
Laporkan estimasi dan ketidakpastiannya bersama-sama
Nyatakan estimand, sampel, unit, transformasi, kontrol, efek tetap, aturan data hilang, dan estimator kovarians sebelum menafsirkan angka
Pasangkan koefisien dengan standard error atau interval, terjemahkan ke perubahan yang realistis, dan uji sensitivitas terhadap observasi berpengaruh serta spesifikasi yang dapat dipertanggungjawabkan
Nilai identifikasi dan kestabilan dari waktu ke waktu atau di luar sampel secara terpisah dari R², tanda, dan signifikansi statistik
Pertanyaan umum
Apa arti koefisien regresi OLS?
Koefisien itu adalah perbedaan linear rata-rata hasil yang dipasang terkait dengan satu unit regressor, dengan regressor lain yang disertakan dianggap tetap
Dapatkah regresi linear merepresentasikan hubungan yang melengkung?
Ya. Regresi dapat memakai logaritma, pangkat, spline, dan interaksi selama model tetap linear dalam koefisiennya
Apakah multikolinearitas membuat koefisien bias?
Multikolinearitas yang tidak sempurna tidak dengan sendirinya menimbulkan bias, tetapi dapat memperbesar standard error dan membuat koefisien sangat sensitif terhadap sampel
Apakah standard error robust memperbaiki asumsi OLS yang dilanggar?
Tidak. Standard error tersebut melonggarkan asumsi kovarians tertentu, tetapi tidak memperbaiki endogenitas, bentuk fungsi yang salah, atau bias seleksi pada koefisien