Tetingkap expanding dan rolling untuk pengesahan model walk-forward

Pada titik ramalan, penyelidik mengetahui sebahagian ciri dan hasil lampau, memasang atau mengemas kini model, kemudian menilainya pada blok yang lebih lewat. Menggerakkan titik itu ke hadapan menghasilkan tempoh luar sampel berturutan. Peraturan tetingkap latihan menentukan baris lampau yang layak untuk setiap pemasangan; peraturan pengesahan dan ujian menentukan hasil kemudian yang digunakan untuk membandingkan pilihan dan menganggar prestasi. Keputusan ini berkaitan, tetapi bukan tetingkap yang sama.

Peraturan expanding bermula pada sempadan sejarah yang tetap dan membesar apabila hasil baharu tersedia. Peraturan rolling menggerakkan kedua-dua hujung ke hadapan tetapi mengekalkan bilangan pemerhatian tetap selepas tempoh permulaan. Jangan gunakan sasaran yang belum selesai pada titik ramalan. Jika label merangkumi beberapa sesi, tarikh baris sahaja mungkin tidak menunjukkan bila hasil diketahui; simpan masa tamat label dan patuhinya.

Asingkan juga tempoh imbas kembali ciri daripada tetingkap latihan. Isyarat boleh mengira turun naik setiap baris daripada tempoh terkini yang pendek, sedangkan model menggunakan baris beberapa tahun. Mengubah tempoh ciri mengubah input; mengubah tetingkap latihan mengubah pemerhatian untuk menganggar model.

Katakan \(s\) ialah indeks pemerhatian layak pertama dan \(t\) ialah pemerhatian terkini yang labelnya lengkap semasa pemasangan semula. Set latihan expanding ialah \(\{s,s+1,\ldots,t\}\). Pada titik ramalan seterusnya, baris itu dikekalkan dan baris layak baharu ditambah. Saiznya meningkat dari masa ke masa kecuali ada peraturan berasingan yang menapis atau membuang data.

Lebih banyak pemerhatian boleh mengurangkan hingar pensampelan anggaran parameter jika data lama masih menerangkan proses yang dikaji. Data itu juga boleh mengekalkan keadaan pasaran yang jarang ditemui dan mengelakkan pemilihan tarikh pemotongan sejarah secara sewenang-wenangnya. Namun, baris lama tidak hilang pengaruh hanya kerana usianya. Jika hubungan ciri dengan pulangan berubah, data awal boleh menarik anggaran ke arah keadaan yang sudah tidak serupa; pemasangan yang lebih besar juga boleh menjadi perlahan. Menyimpan sejarah tidak menjadikannya lebih mewakili secara automatik.

Untuk panjang tetap \(W\), set latihan pada titik \(t\) ialah \(\{t-W+1,\ldots,t\}\), selepas mengambil kira kelewatan label atau jarak sempadan. Pada titik berikutnya, hujung akhir bergerak ke hadapan dan baris layak tertua digugurkan. Panjang boleh dinyatakan sebagai bilangan pemerhatian atau masa kalendar; bagi data tidak teratur, kedua-duanya tidak setara.

Tetingkap rolling menetapkan peraturan kemutakhiran. Ia mungkin sesuai jika persoalan kajian menyentuh penyesuaian kepada keadaan yang berubah atau operasi memerlukan saiz latihan yang tetap. Namun, model tidak menyesuaikan diri secara automatik. Pemasangan semula yang jarang atau perubahan beransur-ansur boleh melambatkan tindak balas. Julat pendek memberi kurang maklumat, boleh menjadikan anggaran tidak stabil, menggugurkan tempoh tekanan yang jarang atau meninggalkan terlalu sedikit contoh untuk model kompleks. Julat panjang mengekalkan lebih banyak sejarah tetapi boleh mencairkan corak terkini.

Unit ukuran juga penting: bilangan baris yang sama boleh meliputi tempoh kalendar berlainan kerana hari dagangan yang hilang atau kekerapan berbeza. Bagi data panel, tentukan sama ada tetingkap menggugurkan baris atau kumpulan aset mengikut tarikh. Jika \(W\) dipilih selepas melihat ujian akhir, tempoh itu telah digunakan untuk pemilihan dan bukan lagi ujian bebas.

Untuk mengasingkan kesan peraturan tetingkap, kekalkan sama had maklumat, ciri, kelas model, objektif latihan, tarikh pemasangan semula, ufuk ramalan, blok ujian dan andaian pelaksanaan. Jika model rolling turut dipasang semula lebih kerap atau menggunakan pilihan lain, perbezaan skor tidak boleh dikaitkan kepada tetingkap sahaja.

Peraturan ini juga tidak menentukan titik ramalan. Kedua-dua tetingkap boleh dinilai dengan titik asal rolling: latih menggunakan sejarah layak, ramal blok seterusnya, bergerak ke hadapan dan ulangi. Ulasan Leonard Tashman tentang ujian ramalan luar sampel00065-0) membincangkan titik asal rolling dan tetingkap anggaran rolling. Yang pertama menentukan bila penilaian dibuat; yang kedua menentukan baris latihan yang dikekalkan.

Semua angka dan tarikh di sini hipotetikal. Katakan model dipasang semula setiap bulan untuk meramal pulangan bulan berikutnya. Pemasangan pertama menggunakan 60 pemerhatian layak yang berakhir pada bulan ke-120. Label hanya boleh digunakan selepas hasilnya selesai. Pada titik ramalan pertama, kedua-dua peraturan menggunakan 60 baris sama jika panjang rolling ialah 60.

Selepas hasil bulan baharu diketahui, set expanding mengandungi 61 baris layak. Rolling menambah baris baharu dan membuang baris tertua, lalu kekal dengan 60. Selepas 12 kemas kini, expanding mengandungi 72 baris dari permulaan asal manakala rolling mengekalkan 60 yang terkini. Anggaran mungkin berbeza kerana sejarahnya berbeza, walaupun setiap baris tersedia pada masa pemasangannya.

Dalam contoh ini, asingkan 24 bulan terakhir sebagai ujian luar. Peraturan dan panjang tetingkap, ciri serta tetapan lain perlu dipilih menggunakan blok pengesahan kronologi yang lebih awal. Kemudian nilai pilihan yang dibekukan mengikut jadual pemasangan semula yang telah ditetapkan. Mengubah panjang selepas melihat keputusan ujian luar menggunakan ujian untuk pemilihan dan membesar-besarkan bukti akhir.

Rumuskan soalan sebelum membandingkan: patutkah model menggunakan semua sejarah yang tersedia pada setiap pemasangan, atau adakah sebab untuk mengeluarkan contoh lama? Adakah hubungan sasaran dijangka stabil, atau input yang relevan boleh berubah? Soalan ini membantu menentukan calon, tetapi tidak membuktikan lebih awal peraturan mana yang akan mengatasi yang lain dalam pasaran tertentu.

Gunakan data pembangunan lebih awal untuk membandingkan beberapa pilihan yang ditetapkan terlebih dahulu, seperti expanding dan beberapa panjang rolling yang munasabah, pada blok pengesahan kronologi serta kadar pemasangan yang sama. Tentukan objektif sebelum menilai: ralat ramalan, kalibrasi, utiliti portfolio selepas mengambil kira pusing ganti, dan susut nilai maksimum menjawab soalan yang berlainan. Kekalkan kos dan kekangan yang sama, serta rekodkan pemasangan gagal dan ramalan yang hilang. Sasaran atau blok bertindih boleh menyebabkan skor berdekatan berkongsi pulangan; jelaskan pergantungan itu dan jangan anggap setiap baris sebagai eksperimen bebas.

Simpan tempoh kronologi kemudian tanpa disentuh untuk ujian akhir. Dalam reka bentuk bersarang, pengesahan dalaman memilih tetingkap dan tetapan lain menggunakan data sebelum setiap blok ujian luar sahaja; hasil luar menilai keseluruhan prosedur pemilihan. Panduan purged cross-validation menerangkan sempadan pertindihan label; overfitting model kewangan dan ujian berbilang merangkumi risiko pemilihan berkaitan.

Pada setiap titik asal, gunakan hanya ciri dan label yang diketahui ketika itu. Pulangan hadapan berbilang sesi mungkin belum lengkap berhampiran sempadan pengesahan walaupun tarikh keputusan lebih awal. Tinggalkan sela atau singkirkan baris mengikut selang label sebenar jika perlu; bilangan baris tetap hanya sesuai jika jarak pemerhatian dan ufuk hasil menyokongnya. Tiada peraturan tetingkap boleh membetulkan ciri yang mengandungi maklumat masa depan.

Pasangkan imputasi, penskalaan, pemilihan ciri dan prapemprosesan terpelajar lain menggunakan bahagian latihan fold sahaja. Jika ambang atau hiperparameter perlu dipilih, gunakan pengesahan kronologi dalaman dalam tempoh latihan dan bekukan pilihan itu ketika menilai blok kemudian. Dokumentasi rasmi scikit-learn bagi TimeSeriesSplit menerangkan set latihan yang berkembang secara lalai dan max_train_size untuk mengehadkan saiznya. gap dikira sebagai bilangan sampel; perbandingan tempoh fold yang sepadan mengandaikan jarak pemerhatian sama. Semak juga cap masa label kewangan dan versi pustaka yang digunakan.

Laporkan peraturan dan panjang tepat tetingkap, tarikh terawal yang dikekalkan, bilangan baris layak bagi setiap pemasangan, aturan ketersediaan label, tarikh pengesahan dan ujian akhir, ufuk ramalan serta jadual pemasangan semula. Paparkan keputusan mengikut blok ujian di samping agregat. Purata boleh menyembunyikan satu episod pasaran yang mendominasi; ramalan bersebelahan mungkin berkongsi hasil dan bukan bukti bebas.

Ketepatan ramalan bukan pulangan bersih strategi dagangan. Pembinaan posisi, leveraj, pusing ganti, kecairan, yuran, spread, kesan pasaran, pinjaman, pendanaan dan masa pelaksanaan mempengaruhi hasil. Kekalkan andaian ini ketika membandingkan peraturan dan nyatakan perkara yang tidak disertakan. Kajian Cerqueira, Torgo dan Mozetič tentang anggaran prestasi siri masa melaporkan anggaran boleh berbeza antara keadaan pegun dan tidak pegun. Kajian itu tidak membandingkan dasar tetingkap kewangan secara langsung dan tidak membuktikan satu peraturan sentiasa menang.

Anggap setiap backtest sebagai bukti tentang sejarah dan proses tertentu. Expanding boleh mengekalkan rejim lapuk; rolling boleh membuang maklumat berguna lalu menjadi bising. Peraturan terpilih mungkin gagal dalam rejim, alam aset atau persekitaran kos yang berlainan. Pengesahan mengurangkan ketidakpastian tentang prosedur yang diuji, tetapi tidak menjanjikan pulangan masa depan atau membuktikan mana-mana tetingkap optimum.