Đánh đổi Bias–Variance và Overfitting trong Mô hình Tài chính

Với loss bình phương và đầu vào x cố định, sai số kiểm tra kỳ vọng phân rã thành bias bình phương, variance của estimator và nhiễu điều kiện không thể khử

Bias so sánh dự báo đã fit trung bình trên các tập huấn luyện giả định với trung bình có điều kiện thực

Variance đo mức dự báo đã fit thay đổi bao nhiêu trên các tập đó; nó không phải variance của lợi nhuận thị trường

Một mô hình quá cứng nhắc có thể bỏ qua payoff phi tuyến, tương tác, biến thiên theo thời gian hoặc các yếu tố rủi ro quan trọng

Sai số huấn luyện và kiểm tra đều có thể kém, còn việc thêm cấu trúc phù hợp hoặc feature tốt hơn có thể giảm sai số có hệ thống

Variance thấp không phải là thành công khi mô hình liên tục dự báo sai đại lượng hoặc dùng target không phù hợp với quyết định

Một mô hình linh hoạt có thể fit outlier, nhiễu, sai lệch vi cấu trúc và mẫu hình chế độ chỉ xuất hiện một lần rồi không lặp lại

Sai số huấn luyện giảm trong khi hiệu suất thay đổi mạnh giữa các lần resample, cửa sổ, seed hoặc lựa chọn đặc tả nhỏ

Regularization, pooling, feature đơn giản hơn, mẫu hiệu dụng lớn hơn và averaging có thể giảm variance nhưng tạo ra hoặc duy trì bias

Độ rộng tìm kiếm, cách xây dựng feature, quy tắc dừng, tuning hyperparameter và số vòng lặp của analyst đều làm tăng tính linh hoạt hiệu dụng

Mô hình hiện đại không nhất thiết đi theo đường cong sai số hình chữ U đơn giản, nhưng các quan sát về interpolation hoặc double-descent không loại bỏ rủi ro xác thực

Độ phức tạp phù hợp là toàn bộ quy trình nghiên cứu thích ứng, bao gồm các mô hình bị loại bỏ và không bao giờ xuất hiện trong báo cáo cuối

Chia ngẫu nhiên theo hàng có thể làm rò rỉ nhãn chồng lấn, chuẩn hóa tương lai, thay đổi thành phần và thông tin về chế độ lân cận

Dùng holdout theo thứ tự thời gian, đánh giá walk-forward, embargo khi nhãn chồng lấn và giả định chi phí giao dịch được cố định trước khi kiểm tra

Hiệu suất nên ổn định qua các giai đoạn phụ, tài sản, chi phí hợp lý, độ trễ và các phép nhiễu, không chỉ dương trong một backtest

Thử nhiều chiến lược rồi chỉ báo cáo chiến lược tốt nhất khiến Sharpe ratio, t-statistic hoặc drawdown trông tốt hơn chỉ do lựa chọn

White’s Reality Check và các phương pháp multiple-testing liên quan xử lý việc tìm kiếm qua các phương án theo những giả định riêng của chúng

Holdout cuối chưa bị chạm chỉ hữu ích nếu nó vẫn chưa bị chạm; xem lại nhiều lần biến nó thành một tập huấn luyện khác

Ghi lại mọi giả thuyết, feature, universe, cửa sổ, chi phí và lý do loại bỏ đã kiểm tra để số lần thử có vẻ không bị đánh giá thấp

Tách khám phá thử nghiệm khỏi xác nhận, đăng ký trước các kiểm tra quyết định khi thực tế cho phép, đồng thời yêu cầu cơ chế kinh tế và các trường hợp thất bại

Báo cáo phân phối hiệu suất, khoảng tin cậy, turnover, capacity, khoản lỗ đuôi và mức suy giảm từ nghiên cứu đến giao dịch thật