Penjelasan kebarangkalian backtest terlebih suai (PBO) dan CSCV

Pasukan penyelidikan mungkin mencuba lookback, ambang kemasukan, tempoh pegangan, universe, andaian kos dan kekangan portfolio yang berbeza, kemudian mengekalkan variasi dengan skor backtest tertinggi. Hasil yang dipilih itu mendapat banyak peluang untuk disesuaikan dengan ciri sampel. PBO meringkaskan satu kesan carian tersebut: bagi pecahan IS/OOS yang ditetapkan, berapa kerap pemenang IS jatuh di bawah median OOS calon yang sama?

Bailey, Borwein, López de Prado dan Zhu memperkenalkan PBO sebagai rangka kerja untuk menilai risiko pemilihan strategi dan mencadangkan CSCV sebagai satu kaedah anggaran. Takrif ini berkaitan prosedur memilih antara konfigurasi yang diuji, bukannya sekadar bilangan parameter dalam satu persamaan ramalan. Dalam setiap pecahan, IS ialah subset yang digunakan untuk memilih calon; tempohnya tidak semestinya sama dengan tempoh anggaran bagi setiap model asas. Huraian formal terdapat dalam makalah asal PBO.

Strategi tunggal boleh mempunyai nisbah Sharpe tinggi bagi sampel penuh tetapi masih menjadi calon paling bernasib baik dalam keluarga penyelidikan yang lemah. Sebaliknya, proses pemilihan mungkin kerap memilih calon di atas median OOS walaupun pulangan seluruh kumpulan negatif. PBO membandingkan kedudukan relatif dalam kumpulan calon yang diberikan; ia sendiri tidak menguji sama ada pulangan jangkaan positif.

Holdout kronologi atau ujian walk-forward menilai prestasi proses penyelidikan yang ditetapkan pada pemerhatian kemudian yang tidak digunakan dalam keputusan terdahulu. Purged cross-validation menangani pertindihan antara selang label latihan dan hasil ujian; embargo boleh menambah jarak berasingan dengan alasan yang jelas. Langkah-langkah itu sendiri tidak mengukur sekerap mana pemenang carian strategi yang luas jatuh di bawah median calon OOS. Lihat panduan purged cross-validation dan embargo.

PBO juga berbeza daripada pelarasan ujian berbilang. Reality Check White menggunakan bootstrap untuk menguji sama ada peraturan terbaik dalam sesuatu keluarga mengatasi penanda aras selepas mengambil kira data snooping. Deflated Sharpe Ratio melaraskan pengiraan keertian berasaskan Sharpe untuk kesan pemilihan dan pulangan tidak normal. PBO pula meringkaskan kedudukan OOS calon pilihan IS merentas beberapa pecahan. Statistik dan andaian kaedah ini berlainan, maka satu tidak secara automatik menggantikan yang lain. Rujuk makalah asal White tentang Reality Check dan karya Bailey serta López de Prado tentang Deflated Sharpe Ratio.

Katakan M ialah matriks T kali N. Setiap satu daripada N lajur mewakili strategi atau konfigurasi calon, sementara setiap satu daripada T baris ialah selang pemerhatian yang sama bagi semua calon. Satu baris mungkin mengandungi pulangan harian selepas kos dagangan berkaitan. Jika kekerapan dagangan calon berbeza, tetapkan indeks masa bersama terlebih dahulu dan agregatkan prestasi secara konsisten. Membandingkan pulangan harian satu strategi dengan jumlah bulanan strategi lain baris demi baris tidak menghasilkan matriks yang bermakna.

Kumpulan calon perlu mencerminkan peluang pemilihan sebenar: variasi yang ditolak dalam carian grid, perubahan manual selepas hasil dilihat, universe alternatif dan peraturan yang mempengaruhi pilihan akhir. PBO hanya boleh menilai calon serta sejarah prestasi yang diberikan. Jika hanya finalis direkodkan selepas carian yang jauh lebih luas, anggaran itu meremehkan keluasan carian sebenar.

Gunakan konvensyen pulangan, mata wang, layanan leverage dan kriteria prestasi yang sama untuk semua calon. Jika pemilihan menggunakan Sharpe bersih, masukkan yuran, spread, pembiayaan, funding, kos pinjaman dan andaian pelaksanaan berkaitan dalam setiap lajur sebelum mengiranya. Metrik tersebut juga mesti boleh dikira dalam subset berikutnya. Makalah asal mensyaratkan baris yang segerak dan metrik yang boleh dianggar dalam setiap subsampel; jika kekerapan dagangan berbeza, ia menyarankan indeks bersama.

Pilih nombor genap S bagi blok masa yang berasingan dan sama besar. Kekalkan susunan masa dalam setiap blok. Bagi setiap pilihan S/2 blok, gabungkan blok itu sebagai set dalam sampel (IS) dan gunakan S/2 yang selebihnya sebagai luar sampel (OOS). Untuk metrik yang bergantung pada laluan, kekalkan susunan asal blok pilihan dan catat kesan penyambungannya.

Bilangan tugasan IS ialah C(S,S/2). Dengan empat blok A, B, C dan D, terdapat enam tugasan: AB, AC, AD, BC, BD dan CD; setiap pelengkap turut dikira sebagai tugasan tersendiri. Jika S = 16, C(16,8) = 12,870. Ini gabungan deterministik sejarah yang sama, bukannya 12,870 eksperimen pasaran bebas.

“Simetri” bermaksud pelengkap digunakan semula sebagai set pemilihan dalam gabungan lain: dalam satu pecahan AB ialah IS dan CD ialah OOS, dalam pecahan lain sebaliknya. “Kombinatorik” bermaksud semua pilihan separuh blok disenaraikan dan bukannya mengambil satu pecahan rawak. Prosedur ini bukan ulang tayang kronologi. Set pilihan boleh merangkumi blok awal dan akhir, sementara pelengkapnya mengandungi blok pertengahan. Oleh itu, OOS di sini tidak semestinya bermaksud “masa hadapan selepas tempoh latihan”.

Bagi pecahan c, gunakan peraturan pemilihan penyelidikan pada subset IS dan pilih calon terbaik n*(c). Kemudian nilai semua N calon pada subset OOS pelengkap dengan metrik yang sama. Tetapkan r(c) sebagai kedudukan calon pilihan: 1 paling rendah dan N paling tinggi. Tentukan cara menangani seri terlebih dahulu dan kekalkan peraturan itu bagi semua pecahan.

Tukarkan kedudukan kepada kedudukan relatif, ω(c) = r(c)/(N+1). Penyebut N+1 memastikan nilainya antara sifar dan satu walaupun pada kedudukan terendah atau tertinggi. Logit ialah λ(c) = ln(ω(c)/(1−ω(c))). Nilainya negatif apabila calon pilihan berada di bawah median OOS, sifar pada median dan positif di atasnya. Anggaran PBO ialah bahagian tugasan CSCV yang mempunyai λ(c) ≤ 0.

Nilai PBO tunggal meringkaskan kekerapan pemenang IS mencapai paling tinggi median OOS. Taburan logit penuh turut menunjukkan sama ada calon pilihan biasanya kekal berhampiran pertengahan, kerap jatuh jauh di bawah, atau cenderung mengatasinya. Logit ialah transformasi kedudukan relatif, bukan kebarangkalian bagi satu dagangan langsung atau ramalan pulangan masa hadapan yang terkalibrasi.

Andaikan terdapat empat blok sejarah yang sama besar dan empat peraturan calon, R1 hingga R4. Jadual menunjukkan enam tugasan IS. Lajur kedudukan OOS menunjukkan kedudukan peraturan pilihan IS berbanding empat peraturan pada blok pelengkap. Semua nilai adalah hipotesis dan hanya menerangkan pengiraan.

Empat daripada enam peraturan pilihan mempunyai kedudukan relatif OOS tidak melebihi satu perdua. Maka PBO empirikal ialah 4/6 ≈ 0.667, kira-kira 66.7%. Contohnya, kedudukan 2 memberi ω = 2/(4+1) = 0.4 dan λ = ln(0.4/0.6) ≈ −0.405. Kedudukan 3 memberi ω = 0.6 dan logit bertentangan kira-kira +0.405.

Ini tidak bermaksud kebarangkalian kehilangan wang pada bulan hadapan ialah 66.7%. Dalam matriks hipotesis dan konvensyen kedudukan ini, pemenang IS berada pada atau di bawah median calon OOS dalam empat daripada enam pecahan. Dua pemenang selebihnya juga mungkin mencatat pulangan OOS mutlak yang negatif walaupun mengatasi pesaing.

PBO bergantung pada keluarga calon, matriks prestasi yang diperhatikan, metrik pemilihan, blok masa dan peraturan seri. Percubaan yang tidak direkodkan berada di luar skopnya. “Bebas model” bermaksud pengiraan boleh dibuat daripada sejarah prestasi calon tanpa mengetahui persamaan ramalan; bukan bermaksud bebas daripada pilihan reka bentuk, mutu data atau andaian.

CSCV menggabungkan blok menjadi subset simetri yang sama besar, tetapi set OOS lazimnya bukan satu tempoh kemudian yang berterusan secara kronologi. Penyusunan semula blok boleh mengganggu kebergantungan jangka panjang, musim atau turutan rejim ekonomi. S menentukan bilangan gabungan dan tempoh yang diwakili oleh setiap blok; pilih dan rekodkannya berdasarkan horizon serta struktur strategi. Bilangan gabungan yang besar tidak menghasilkan pemerhatian bebas sebanyak itu kerana blok yang sama digunakan semula.

Statistik ini mewarisi bias pulangan sumber: survivorship bias, data yang disemak semula, ciri yang belum tersedia pada masa itu, pelaksanaan tidak realistik, kos tertinggal atau universe pilihan selepas melihat hasil boleh mengelirukan semua sejarah calon. CSCV tidak secara automatik menggugurkan selang label yang bertindih, menganggar semula seluruh saluran model dalam setiap pecahan atau menghalang kebocoran daripada prapemprosesan. Laksanakan langkah itu secara jelas mengikut soalan penyelidikan. Untuk perlindungan kronologi, lihat dokumentasi rasmi TimeSeriesSplit dan panduan pengesahan purged.

Metrik bergantung laluan seperti pengeluaran maksimum memerlukan perhatian tambahan: menyambung blok yang tidak bersebelahan mengubah laluan dan mungkin mengubah metrik. Makalah PBO menyatakan bahawa turutan pemerhatian penting untuk sesetengah ukuran, berbeza daripada Sharpe. Jelaskan cara anda mengendalikan susunan, jurang, pemerhatian hilang dan pengkompaunan sebelum mentafsir kedudukan.

Sebelum mengira, simpan daftar calon, setiap perubahan selepas melihat hasil, matriks prestasi, metrik pemilihan dan peraturan seri. Laporkan T, N, S, pembinaan blok, C(S,S/2), konvensyen kedudukan OOS, anggaran PBO dan taburan logit. Sertakan prestasi OOS mutlak, kos, perolehan dagangan, pengeluaran dan jumlah calon yang rugi: kedudukan sahaja tidak menunjukkan sama ada semua calon lemah.

Gunakan walk-forward atau holdout kronologi yang benar-benar belum disentuh untuk menilai proses penyelidikan yang dibekukan pada data kemudian. Jangan buka tempoh akhir ketika memilih model dan ambang; semakan berulang menjadikannya set pemilihan baharu. Alat tertib masa seperti TimeSeriesSplit membentuk lipatan kronologi menurut andaian yang didokumenkan, sementara PBO mengukur sifat kedudukan yang berbeza bagi keluarga calon yang dicari.

Oleh itu, PBO melengkapi tetapi tidak menggantikan kawalan pertindihan label, analisis ujian berbilang, pemodelan pelaksanaan realistik, penilaian prospektif dan pemantauan langsung. Baca juga ujian berbilang dan kadar penemuan palsu dalam kewangan serta pelarasan Sharpe untuk korelasi bersiri. Tiada satu statistik pun mengubah kedudukan sejarah menjadi bukti kelebihan dagangan yang berterusan.