Cửa sổ mở rộng và cửa sổ trượt trong kiểm định walk-forward

Tại thời điểm dự báo, nhà nghiên cứu biết một phần đặc trưng và kết quả quá khứ, khớp hoặc cập nhật mô hình, rồi đánh giá mô hình trên một khối dữ liệu về sau. Khi đẩy thời điểm dự báo tiến lên, ta có các giai đoạn ngoài mẫu nối tiếp nhau. Quy tắc cửa sổ huấn luyện xác định những dòng quá khứ đủ điều kiện nào được dùng ở mỗi lần khớp. Quy tắc kiểm định và kiểm tra xác định kết quả về sau nào dùng để so sánh phương án và ước lượng hiệu suất. Hai quyết định liên quan nhưng không phải cùng một cửa sổ.

Quy tắc mở rộng bắt đầu từ một mốc lịch sử cố định và tăng lên khi có kết quả mới. Quy tắc trượt dịch chuyển cả hai đầu, nhưng giữ nguyên số quan sát sau giai đoạn khởi động. Dù dùng cách nào, không được dùng mục tiêu chưa hoàn tất tại thời điểm dự báo. Nếu nhãn kéo dài qua nhiều phiên, ngày của dòng dữ liệu có thể không cho biết khi nào đã biết kết quả; hãy lưu thời điểm kết thúc nhãn và áp dụng mốc đó.

Cũng cần tách khoảng nhìn lại của đặc trưng khỏi cửa sổ huấn luyện. Một tín hiệu có thể tính độ biến động của mỗi dòng bằng một khoảng gần đây ngắn, trong khi mô hình được khớp dùng các dòng kéo dài nhiều năm. Đổi khoảng của đặc trưng sẽ đổi biến dự báo; đổi cửa sổ huấn luyện sẽ đổi các quan sát dùng để ước lượng mô hình.

Gọi \(s\) là chỉ số của quan sát đủ điều kiện đầu tiên và \(t\) là chỉ số của quan sát gần nhất có nhãn đã hoàn tất tại lần khớp mô hình. Tập huấn luyện mở rộng là \(\{s,s+1,\ldots,t\}\). Ở thời điểm dự báo kế tiếp, các dòng này vẫn được giữ và các dòng mới đủ điều kiện được thêm vào. Vì thế kích thước mẫu tăng dần theo thời gian, trừ khi có quy tắc riêng để lọc hoặc loại dữ liệu.

Nhiều quan sát hơn có thể giảm nhiễu lấy mẫu của ước lượng tham số nếu dữ liệu cũ vẫn mô tả quá trình đang nghiên cứu. Chúng cũng có thể giữ lại những trạng thái thị trường hiếm mà mẫu gần đây ngắn có thể bỏ qua và tránh việc chọn tùy tiện mốc cắt lịch sử. Tuy nhiên, dòng cũ không tự mất ảnh hưởng chỉ vì đã lâu. Nếu quan hệ giữa đặc trưng và lợi suất thay đổi, dữ liệu ban đầu có thể kéo ước lượng về những điều kiện không còn giống thị trường hiện tại. Tập huấn luyện lớn hơn cũng có thể làm lần khớp chậm hơn. Giữ lịch sử không tự động khiến lịch sử đại diện tốt hơn.

Với độ dài cố định \(W\), tập huấn luyện tại thời điểm \(t\) là \(\{t-W+1,\ldots,t\}\), sau khi tính đến độ trễ của nhãn và khoảng cách ở ranh giới nếu có. Ở thời điểm kế tiếp, đầu cuối dịch lên và dòng đủ điều kiện cũ nhất bị loại. Độ dài có thể tính bằng số quan sát hoặc thời gian lịch; với dữ liệu không đều, hai cách đo không tương đương.

Cửa sổ trượt đặt ra quy tắc về độ mới của dữ liệu. Cách này có thể phù hợp khi câu hỏi nghiên cứu liên quan đến việc thích nghi với điều kiện thay đổi hoặc khi vận hành đòi hỏi kích thước huấn luyện giới hạn. Tuy nhiên, nó không tự khiến mô hình thích nghi. Nếu ít cập nhật mô hình hoặc biến động diễn ra từ từ, phản ứng vẫn có thể chậm. Khoảng ngắn cung cấp ít thông tin hơn, khiến ước lượng thiếu ổn định, bỏ qua giai đoạn căng thẳng hiếm gặp hoặc không đủ ví dụ cho mô hình phức tạp. Khoảng dài giữ nhiều lịch sử đa dạng hơn nhưng có thể làm nhạt các mẫu gần đây.

Đơn vị đo cũng quan trọng: cùng số dòng có thể bao phủ thời gian lịch khác nhau vì thiếu ngày giao dịch hoặc tần suất dữ liệu khác nhau. Với dữ liệu bảng, hãy xác định cửa sổ loại dòng hay nhóm tài sản theo ngày. Nếu chọn \(W\) sau khi xem kết quả kiểm tra cuối, giai đoạn đó đã trở thành một phần của khâu chọn mô hình và không còn là kiểm tra độc lập.

Để so sánh riêng quy tắc cửa sổ, hãy giữ nguyên mốc chốt thông tin, đặc trưng, loại mô hình, mục tiêu huấn luyện, ngày khớp lại, chân trời dự báo, khối kiểm tra và giả định thực thi. Nếu mô hình trượt cũng được khớp lại thường xuyên hơn hoặc dùng đặc trưng khác, không thể quy chênh lệch điểm số chỉ cho cửa sổ.

Các quy tắc này cũng không quyết định thời điểm dự báo. Có thể đánh giá cả hai cửa sổ huấn luyện với các mốc dự báo trượt: huấn luyện trên quá khứ đủ điều kiện, dự báo khối tiếp theo, tiến lên rồi lặp lại. Bài tổng quan của Leonard Tashman về các phép thử dự báo ngoài mẫu00065-0) đề cập cả mốc dự báo trượt và cửa sổ ước lượng trượt. Một khái niệm nói thời điểm đánh giá; khái niệm kia nói những dòng huấn luyện nào được giữ lại.

Các ngày tháng và con số dưới đây chỉ là giả định. Giả sử mô hình được khớp lại hàng tháng để dự báo lợi suất tháng kế tiếp, lần khớp đầu dùng 60 quan sát đủ điều kiện kết thúc ở tháng 120. Chỉ dùng được nhãn sau khi kết quả của nhãn đã hoàn tất. Ở mốc dự báo đầu tiên, hai quy tắc dùng cùng 60 dòng nếu cửa sổ trượt dài 60.

Khi biết kết quả của tháng mới, cửa sổ mở rộng có 61 dòng đủ điều kiện. Cửa sổ trượt thêm dòng mới và bỏ dòng cũ nhất nên vẫn có 60. Sau 12 lần cập nhật, cửa sổ mở rộng chứa 72 dòng tính từ mốc ban đầu, còn cửa sổ trượt giữ 60 dòng gần nhất. Ước lượng có thể khác nhau vì lịch sử khác nhau, dù mỗi dòng đều đã có sẵn ở lần khớp tương ứng.

Trong ví dụ này, dành 24 tháng cuối làm tập kiểm tra bên ngoài. Chọn quy tắc và độ dài cửa sổ, đặc trưng cùng các thiết lập khác trên những giai đoạn kiểm định theo thời gian trước đó. Sau đó, đánh giá lựa chọn đã cố định theo lịch khớp lại được xác định trước. Thay đổi độ dài sau khi xem kết quả bên ngoài là dùng dữ liệu kiểm tra để chọn mô hình và làm quá mức sức nặng của bằng chứng cuối.

Hãy xác định câu hỏi trước khi so sánh: mỗi lần khớp, mô hình có nên dùng toàn bộ lịch sử sẵn có không, hay có lý do nghiên cứu để loại các ví dụ cũ? Quan hệ mục tiêu có được kỳ vọng là ổn định hay đầu vào liên quan có thể thay đổi? Các câu hỏi này giúp xác định phương án cần thử, nhưng không chứng minh trước phương án nào sẽ tốt hơn trong một thị trường cụ thể.

Dùng dữ liệu phát triển trước đó để so sánh một nhóm nhỏ phương án được định trước, chẳng hạn cửa sổ mở rộng và vài độ dài trượt hợp lý, trên cùng các khối kiểm định theo thời gian và cùng nhịp khớp lại. Chọn mục tiêu trước khi chấm điểm: sai số dự báo, hiệu chỉnh xác suất, ích lợi danh mục có tính đến vòng quay và mức sụt giảm tối đa trả lời những câu hỏi khác nhau. Giữ chi phí và ràng buộc như nhau, đồng thời ghi lại các lần khớp thất bại và dự báo bị thiếu. Nếu mục tiêu hoặc khối kiểm tra chồng lấn, các điểm số liền kề có thể dùng chung lợi suất; hãy mô tả sự phụ thuộc đó thay vì đếm mỗi dòng là một thử nghiệm độc lập.

Để dành một giai đoạn theo thời gian muộn hơn, chưa đụng tới, cho lần kiểm tra cuối. Trong thiết kế lồng nhau, kiểm định bên trong chọn cửa sổ và thiết lập khác chỉ bằng dữ liệu có trước từng khối kiểm tra bên ngoài; kết quả bên ngoài đánh giá toàn bộ quy trình chọn mô hình. Hướng dẫn purged cross-validation giải thích ranh giới khi nhãn chồng lấn; quá khớp mô hình tài chính và kiểm định nhiều giả thuyết nói về các rủi ro chọn mô hình liên quan.

Ở mỗi mốc, chỉ dùng đặc trưng và nhãn đã được biết tại thời điểm đó. Lợi suất tương lai kéo dài nhiều phiên có thể chưa hoàn tất gần ranh giới kiểm định dù ngày quyết định nằm trước ranh giới. Khi cần, hãy chừa khoảng trống hoặc loại dòng dựa trên khoảng thời gian thực của nhãn; số dòng cố định chỉ phù hợp nếu tần suất quan sát và chân trời mục tiêu biện minh cho cách làm đó. Không quy tắc cửa sổ nào sửa được đặc trưng chứa thông tin tương lai.

Chỉ khớp cách điền giá trị thiếu, chuẩn hóa, chọn đặc trưng và các bước tiền xử lý có học trên phần huấn luyện của từng fold. Nếu cần chọn ngưỡng hoặc siêu tham số, hãy dùng kiểm định theo thời gian bên trong giai đoạn huấn luyện rồi cố định lựa chọn khi chấm điểm khối về sau. Tài liệu chính thức của scikit-learn về TimeSeriesSplit mô tả tập huấn luyện mặc định sẽ mở rộng và max_train_size dùng để giới hạn kích thước tập. gap tính theo số mẫu; so sánh độ dài fold tương đương giả định các quan sát cách đều. Cần kiểm tra riêng thời điểm của nhãn tài chính và phiên bản thư viện đã dùng.

Báo cáo quy tắc và độ dài chính xác của cửa sổ, ngày cũ nhất được giữ lại, số dòng đủ điều kiện mỗi lần khớp, quy ước về thời điểm nhãn sẵn sàng, ngày kiểm định và kiểm tra cuối, chân trời dự báo và lịch khớp lại. Trình bày kết quả theo từng khối kiểm tra bên cạnh số liệu tổng hợp. Giá trị trung bình có thể che khuất việc một giai đoạn thị trường chi phối so sánh; các dự báo liền nhau có thể dùng chung kết quả nên không phải bằng chứng độc lập.

Độ chính xác dự báo không đồng nghĩa với lợi nhuận giao dịch ròng. Cách lập vị thế, đòn bẩy, vòng quay, thanh khoản, phí, chênh lệch giá, tác động thị trường, vay mượn, phí vốn và thời điểm thực thi đều ảnh hưởng đến kết quả. Hãy giữ các giả định này như nhau khi so sánh và nêu rõ những gì bị loại trừ. Nghiên cứu của Cerqueira, Torgo và Mozetič về ước lượng hiệu suất chuỗi thời gian cho biết ước lượng có thể khác giữa điều kiện dừng và không dừng. Nghiên cứu này không trực tiếp so sánh chính sách cửa sổ trong tài chính và không chứng minh quy tắc nào luôn thắng.

Hãy xem mỗi backtest là bằng chứng về một lịch sử và quy trình cụ thể. Cửa sổ mở rộng có thể giữ lại chế độ thị trường lỗi thời; cửa sổ trượt có thể bỏ thông tin hữu ích và tăng nhiễu. Quy tắc đã chọn có thể thất bại ở chế độ, nhóm tài sản hoặc môi trường chi phí khác. Kiểm định giúp giảm bất định về quy trình được thử nghiệm, nhưng không hứa hẹn lợi nhuận tương lai hay chứng minh cửa sổ nào tối ưu.