Deflated Sharpe Ratio: ujian berbilang dan pemilihan ujian belakang

Penyelidik boleh menguji pelbagai takrif isyarat, tempoh lihat ke belakang, ambang kemasukan, alam aset, tempoh pegangan dan andaian kos, kemudian melaporkan versi dengan nisbah Sharpe tertinggi. Walaupun tiada calon mempunyai kemahiran sebenar, anggarannya tetap berbeza akibat hingar sampel. Semakin luas pencarian, semakin tinggi kecenderungan anggaran maksimumnya. Oleh itu, hasil yang dipilih berbeza daripada penilaian satu strategi yang ditetapkan sebelum data dilihat.

Deflated Sharpe Ratio yang dicadangkan Bailey dan López de Prado menangani dua punca inflasi Sharpe terpilih: ujian berbilang dan pulangan tidak normal. Ujian berbilang menaikkan penanda aras yang perlu dilepasi hasil, manakala ketidaknormalan mengubah ketidakpastian anggaran Sharpe. Makalah asal menerangkan DSR sebagai Probabilistic Sharpe Ratio yang dinilai berbanding ambang terlaras pemilihan. Makalah asal menghuraikan penerbitan dan anggaran bilangan percubaan.

Huraian ini mengelakkan salah tafsir yang lazim. DSR tidak menolak penalti tetap secara mekanik daripada Sharpe yang dilaporkan untuk menghasilkan nisbah prestasi baharu. DSR menganggarkan sejauh mana Sharpe yang diperhatikan melepasi ambang yang berkait dengan pencarian, panjang sampel dan momen pulangan. Anggaran titik Sharpe boleh kekal sama sementara DSR menurun kerana buktinya lebih lemah. Untuk memahami Sharpe itu sendiri, lihat juga huraian asal Sharpe.

Anggap semua peraturan yang diuji mempunyai Sharpe sebenar yang sama, tetapi setiap anggaran berubah kerana sampelnya terhad. Memilih anggaran terbesar juga bermakna memilih ralat pengukuran yang memihak. Inilah sumpahan pemenang: apabila dinilai dengan data baharu, anggaran terpilih dijangka kembali menghampiri nilai lazim kumpulan.

Bilangan percubaan penting, begitu juga sejauh mana anggarannya berbeza. Jika calon menghasilkan pulangan yang hampir serupa, anggaran Sharpe mereka saling berkait rapat dan menawarkan lebih sedikit peluang bebas untuk mendapatkan maksimum secara kebetulan berbanding kumpulan calon tidak berkaitan yang sama besar. Maka bilangan baris dalam grid parameter tidak semestinya bilangan percubaan bebas.

Rekod pencarian boleh merangkumi keputusan di luar grid formal: ambang yang diubah secara manual, pasaran yang digugurkan atau andaian kos yang disemak semula sehingga mempengaruhi hasil yang dikekalkan. DSR yang dikira hanya daripada calon akhir tidak dapat mengambil kira eksperimen yang tidak direkodkan atau diberikan sebagai input.

Probabilistic Sharpe Ratio (PSR) menganggarkan sama ada Sharpe sampel melepasi penanda aras yang dipilih dengan mengambil kira bilangan pemerhatian pulangan serta anggaran kecondongan dan kurtosis. DSR menggunakan pengiraan asas yang sama, tetapi memilih penanda aras yang mencerminkan Sharpe maksimum jangkaan daripada pencarian.

Bagi satu penghampiran PSR yang lazim, pengiraan terlaras pemilihan ialah:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

Di sini, $\Phi$ ialah fungsi taburan kumulatif normal piawai, $\widehat{SR}$ ialah Sharpe yang diperhatikan bagi setiap pemerhatian pulangan, $SR_0$ ialah ambang terlaras pemilihan dalam unit yang sama, dan $T$ ialah bilangan pemerhatian. $\widehat{\gamma}_3$ ialah kecondongan sampel. $\widehat{\gamma}_4$ ialah kurtosis Pearson, yang bernilai 3 bagi taburan normal. Penyebut menunjukkan bagaimana kecondongan dan kurtosis mengubah ketidakpastian anggaran Sharpe.

Ungkapan ini bergantung pada konvensyen yang digunakan. Gunakan pulangan lebihan pada satu kekerapan, hitung Sharpe dan ambang pada kekerapan yang sama, serta takrifkan kurtosis secara konsisten. Mengannualkan hanya satu nilai akan mengubah perbandingan. Formula lazim turut membuat andaian tentang pergantungan antara pemerhatian pulangan; pergantungan bersiri perlu ditangani secara berasingan, bukan disisipkan secara senyap ke dalam $T$.

Bagi $N$ anggaran Sharpe bebas yang taburannya kira-kira normal, Bailey dan López de Prado menggunakan penghampiran nilai ekstrem bagi maksimum jangkaan:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ dan $\sigma_{SR}$ ialah min dan sisihan piawai anggaran Sharpe calon; $\Phi^{-1}$ ialah fungsi kuantil normal piawai, $e$ ialah nombor Euler dan $\gamma_E \approx 0.5772$ ialah pemalar Euler–Mascheroni. Ungkapan ini menganggarkan sejauh mana pemilihan sahaja boleh menaikkan anggaran terbaik di bawah model percubaan yang dipilih. Ia bukan ambang sejagat bagi setiap pencarian strategi.

Apabila hasil calon berkorelasi, menganggap setiap variasi bebas boleh melebihkan bilangan percubaan berkesan. Makalah tersebut membincangkan anggaran bilangan percubaan bebas berdasarkan pergantungan antara calon, tetapi anggaran itu sendiri merupakan satu lagi pilihan pemodelan. Korelasi hanyalah satu bentuk pergantungan; anggaran daripada banyak calon dan sejarah pulangan yang singkat boleh menjadi tidak stabil. Laporkan bilangan calon mentah, kaedah bagi sebarang kiraan berkesan dan kepekaan kepada alternatif yang munasabah.

Anggap pencarian yang sengaja dipermudah melibatkan 20 strategi calon yang bebas. Di bawah hipotesis nol, andaikan min anggaran Sharpe ialah 0 dan sisihan piawainya 0.20 dalam unit bulanan. Penghampiran maksimum jangkaan memberikan ambang pemilihan sekitar $SR_0=0.380$ sebulan. Input ini ialah andaian untuk menunjukkan aritmetik, bukannya pemerhatian pasaran atau penanda aras yang disyorkan.

Sekarang andaikan strategi terpilih mempunyai 60 pemerhatian pulangan lebihan bulanan, Sharpe bulanan anggaran 0.50, kecondongan sampel 0 dan kurtosis Pearson 3. Komponen PSR membandingkan 0.50 dengan 0.380, bukannya sifar:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

Dengan andaian yang dipermudah ini, DSR yang terhasil kira-kira 80.7%. Nilai itu bukan kebarangkalian 80.7% bahawa strategi memperoleh keuntungan pada bulan hadapan, dan bukan ramalan pulangan bulan hadapan. Ia ialah anggaran bukti bahawa Sharpe asas melepasi ambang pemilihan yang dipilih, bersyarat pada model dan input. Bilangan percubaan, anggaran pergantungan, sampel atau bentuk pulangan yang berlainan boleh mengubah hasilnya.

Kepekaan terhadap sebaran anggaran percubaan adalah penting. Jika hanya sisihan piawai andaian bagi anggaran Sharpe calon berubah daripada 0.20 kepada 0.10, pencarian 20 percubaan yang sama menghasilkan ambang kira-kira 0.190 dan DSR kira-kira 98.8%. Jika sisihan piawainya 0.30, ambangnya kira-kira 0.570 dan DSR sekitar 30.6%. Sharpe yang diperhatikan pada 0.50, 60 pemerhatian, kecondongan dan kurtosis kekal sama. Kepekaan hipotesis ini menunjukkan sebab kaedah menganggar sebaran percubaan dan pergantungan calon penting; nilai masih menggunakan unit bulanan dan model dipermudah yang sama.

Dua strategi boleh mempunyai Sharpe sampel dan panjang sampel yang sama tetapi taburan pulangan yang berbeza. Ekor kiri yang ketara, ketaksimetrian atau pemerhatian ekstrem yang luar biasa kerap boleh mengubah ketidakpastian sampel yang ditunjukkan oleh penyebut PSR. Pelarasan dikira daripada momen yang diukur; ia tidak menganggap semua taburan tidak normal sama buruk atau menjamin bahawa beberapa momen sampel menerangkan tingkah laku ekor sepenuhnya.

Pengiraan juga bergantung pada takrif satu pemerhatian. Data harian, mingguan dan bulanan memberikan nilai $T$, Sharpe, kecondongan dan kurtosis yang berlainan. Pulangan tempoh pegangan bertindih boleh menyebabkan baris bersebelahan saling bergantung. Penilaian yang dilicinkan atau lapuk mungkin kelihatan kurang berubah-ubah daripada risiko ekonomi asas. Huraikan kekerapan dan pembinaan sampel, dan jangan anggap Sharpe tahunan sahaja sebagai input mencukupi.

PBO menggunakan Combinatorially Symmetric Cross-Validation untuk bertanya berapa kerap pemenang dalam sampel mendapat kedudukan pada atau di bawah median calon dalam blok pelengkap. DSR menganggarkan sama ada Sharpe terpilih melepasi ambang yang dilaraskan untuk pencarian dan ketidaknormalan. Output dan andaian pensampelan semula mereka berlainan; satu tidak menggantikan yang lain. Lihat juga panduan PBO dan CSCV serta ujian berbilang dalam kewangan. Bailey dan rakan penulis memformalkan diagnosis pemilihan ini dalam makalah asal PBO.

White’s Reality Check menggunakan bootstrap untuk menguji sama ada peraturan terbaik dalam keluarga calon mengatasi penanda aras yang ditentukan selepas mengambil kira data snooping. Soalannya berasaskan penanda aras, manakala DSR menggunakan ambang berasaskan Sharpe. Penilaian walk-forward kronologi atau pegangan keluar terakhir bertanya bagaimana proses yang dibekukan berfungsi dalam tempoh kemudian. Kaedah ini saling melengkapi kerana menilai bahagian dakwaan penyelidikan yang berlainan. Kaedah ini dihuraikan dalam makalah asal White tentang Reality Check.

Laporan yang boleh dihasilkan semula mengenal pasti alam calon, semua keputusan terdokumen yang mempengaruhi pemilihan, bilangan percubaan mentah, kaedah bagi sebarang kiraan berkesan, siri pulangan, panjang dan kekerapan sampel, takrif Sharpe, kecondongan, konvensyen kurtosis serta ambang terlaras pemilihan. Nyatakan sama ada pulangan kasar atau bersih daripada spread, komisen, kesan pasaran, pendanaan, pinjaman dan kos lain. Paparkan Sharpe yang diperhatikan dan DSR bersama supaya pembaca dapat melihat perubahannya.

Formula lazim mengandaikan model pensampelan yang mungkin tidak sesuai bagi pemerhatian dengan korelasi bersiri. Kajian Lo tentang statistik nisbah Sharpe menerangkan sebab pengagregatan masa dan pergantungan mempengaruhi inferens Sharpe. Jika pulangan bertindih atau menunjukkan korelasi bersiri, gunakan prosedur inferens yang mengendalikan struktur itu dan terangkan andaian. Mendarab Sharpe bulanan dengan $\sqrt{12}$ tidak membetulkan autokorelasi. Untuk penilaian yang mengambil kira masa, lihat juga panduan tingkap walk-forward expanding dan rolling.

DSR tidak dapat menemui pencarian yang tidak direkodkan, menghapuskan look-ahead leakage, menjadikan data berat sebelah kelangsungan sebagai wakil, mengesahkan pelaksanaan, menganggar kapasiti atau menjamin kestabilan dalam rejim baharu. Ia juga bukan pengganti penaakulan ekonomi atau bukti kronologi kemudian. Anggap DSR sebagai satu diagnosis terdokumen dalam proses penyelidikan dan simpan rekod calon serta saluran data yang boleh dihasilkan semula.