Kiểm định Clark–West cho dự báo lồng nhau: Công thức, ví dụ và giới hạn
Tìm hiểu vì sao cần điều chỉnh MSPE khi so sánh các mô hình dự báo lồng nhau, cách tính kiểm định Clark–West và kết quả một phía không thể chứng minh điều gì.
Trong hướng dẫn nàyVì sao dự báo lồng nhau cần một phép so sánh riêng
Tóm tắt ngắn
Kiểm định Clark–West điều chỉnh phép so sánh sai số bình phương khi một mô hình dự báo chứa một mô hình cơ sở nhỏ hơn. Các tham số bổ sung được ước lượng có thể làm dự báo của mô hình lớn nhiễu hơn ngay cả khi chúng không cung cấp thông tin dự báo thực sự. Điều chỉnh này thay đổi chênh lệch tổn thất dùng cho suy luận, chứ không thay đổi dự báo hay bảo đảm mô hình lớn hữu ích.
Vì sao dự báo lồng nhau cần một phép so sánh riêng
Giả sử mô hình bị ràng buộc dự báo lợi suất tháng tới bằng một hằng số, còn mô hình lớn hơn bổ sung tỷ số định giá. Mô hình bị ràng buộc là trường hợp riêng của mô hình lớn: đặt hệ số bổ sung bằng 0 sẽ trở lại mô hình cơ sở. Ngay cả khi hệ số đó thực sự bằng 0, việc ước lượng nó vẫn có thể đưa nhiễu mẫu vào dự báo của mô hình lớn. Vì vậy, sai số dự báo bình phương trung bình (MSPE) của mô hình lớn có thể cao hơn dù hai mô hình chứa lượng thông tin dự báo như nhau trong tổng thể.
Điều chỉnh Clark–West xử lý nhiễu ước lượng này trong phép so sánh MSPE ngoài mẫu giữa các dự báo lồng nhau. Câu hỏi là liệu mô hình lớn có thêm giá trị dự báo so với mô hình bị ràng buộc trong thiết kế đó hay không. Đây là câu hỏi hẹp hơn so với so sánh tổn thất theo cặp nói chung trong hướng dẫn kiểm định Diebold–Mariano; phân phối tham chiếu thông thường của DM không tự động phù hợp với mô hình lồng nhau. Clark và McCracken nghiên cứu các tính chất tiệm cận và mẫu hữu hạn khác của kiểm định dự báo lồng nhau; Clark và West phát triển cách điều chỉnh MSPE cùng suy luận xấp xỉ. Clark và McCracken (2001)00071-9); Clark và West (2007).
Xác nhận quan hệ lồng nhau và giữ nguyên thiết kế ngoài mẫu
Mô hình bị ràng buộc và mô hình lớn hơn phải dự báo cùng mục tiêu yₜ₊ₕ. Mô hình lớn phải chứa mô hình bị ràng buộc như một trường hợp đặc biệt, thường là khi một hoặc một số hệ số bổ sung bằng 0. Chỉ có thêm biến, phức tạp hơn hoặc khớp tốt hơn trong mẫu không chứng minh được quan hệ lồng nhau.
Ở mỗi thời điểm dự báo, chỉ sử dụng thông tin có sẵn tại thời điểm đó. Ước lượng mô hình trên cửa sổ huấn luyện theo thứ tự thời gian và đánh giá ở giai đoạn sau. Hai mô hình phải dùng cùng mục tiêu, chân trời, đơn vị, thời điểm tạo dự báo và kết quả thực tế. Có thể ước lượng lại theo kiểu đệ quy hoặc cửa sổ trượt, nhưng hãy nêu rõ cách làm và lưu lại dự báo thực sự được tạo ở từng thời điểm. Nếu liên tục xem giai đoạn đánh giá để chọn biến dự báo, phép biến đổi hay chân trời, giai đoạn đó đã tham gia vào việc chọn mô hình. Hướng dẫn CAViaR cho thấy dự báo phân vị đuôi cần được đánh giá bằng hàm tổn thất phù hợp với mục tiêu, thay vì gộp vào phép so sánh dự báo trung bình.
Điều chỉnh Clark–West không sửa được việc nhìn trước thông tin, mẫu không khớp, dùng dữ liệu đã sửa đổi sau này như thể đã biết từ trước, hoặc tìm kiếm mô hình không được công bố. Hãy báo cáo cửa sổ ước lượng ban đầu, số thời điểm dự báo, chân trời, phiên bản dữ liệu và cách cập nhật đệ quy hay trượt.
Tính chênh lệch tổn thất đã điều chỉnh
Gọi f₀,t+h là dự báo của mô hình bị ràng buộc, f₁,t+h là dự báo của mô hình lớn hơn và eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h là sai số dự báo j. Với tổn thất bình phương, chênh lệch điều chỉnh Clark–West ở mỗi kỳ là:
dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]
Tương đương, đây là sai số bình phương của mô hình bị ràng buộc trừ sai số bình phương của mô hình lớn, cộng bình phương khoảng cách giữa hai dự báo. Hạng tử cuối ước tính nhiễu dự báo bổ sung do các tham số mới được ước lượng dưới giả thuyết không. Clark và West mô tả điều chỉnh này là trừ hạng tử khoảng cách dự báo khỏi MSPE mẫu của mô hình lớn trước khi so sánh. Clark và West (2007).
Lấy trung bình chênh lệch đã điều chỉnh trên P thời điểm đánh giá chung: trung bình(dCW) = (1/P) Σ dCW,t+h. Nếu kết quả và dự báo đo bằng điểm cơ bản, sai số bình phương và chênh lệch có đơn vị bp². Theo quy ước dấu này, trung bình đã điều chỉnh dương nghiêng về mô hình lớn. Đây là điểm số so sánh đã điều chỉnh, không phải MSPE thực tế của mô hình lớn hay dự báo để giao dịch.
Xác định giả thuyết một phía trước khi xem kết quả
Câu hỏi thông thường của Clark–West là liệu mô hình lớn lồng mô hình nhỏ có MSPE kỳ vọng thấp hơn mô hình cơ sở bị ràng buộc hay không. Giả thuyết không nói rằng thành phần bổ sung không cải thiện dự báo; giả thuyết đối một phía ủng hộ mô hình lớn hơn. Theo công thức trên, trung bình đã điều chỉnh dương đủ lớn so với sai số chuẩn sẽ hỗ trợ giả thuyết đối.
Trong ký hiệu tổn thất đã điều chỉnh, giả thuyết làm việc là H₀: E[dCW] = 0 so với H₁: E[dCW] > 0. Chiều dương xuất phát từ việc lấy tổn thất mô hình bị ràng buộc trước. Đảo thứ tự phép trừ sẽ đảo dấu, vì vậy cần ghi rõ quy ước khi báo cáo.
Thống kê kiểm định thường là trung bình mẫu của dCW chia cho sai số chuẩn ước lượng. Clark và West khuyến nghị kiểm định một phía với phân phối chuẩn xấp xỉ cho các thiết kế họ nghiên cứu, sử dụng sai số chuẩn thông thường hoặc vững với tự tương quan khi phù hợp. West (1996) phát triển suy luận về các moment của hàm trơn của dự báo và sai số ngoài mẫu, kể cả trường hợp dự báo phụ thuộc vào tham số được ước lượng. Giá trị p phụ thuộc quan hệ lồng nhau, cách tạo dự báo, mục tiêu, tổn thất và các giả định; nó không phải xác suất mô hình lớn đúng hay bằng chứng nhân quả.
Tính ví dụ bốn kỳ
Xét bốn kết quả giả định, đơn vị điểm cơ bản: [0, 1, −1, 0]. Dự báo của mô hình bị ràng buộc là [−1, 0, 0, 0], còn mô hình lớn lồng nhau là [−1,5, 0,5, −0,5, 0,5]. Sai số bình phương của mô hình bị ràng buộc là [1, 1, 1, 0], với MSPE trung bình 0,75 bp². Mô hình lớn có sai số bình phương [2,25, 0,25, 0,25, 0,25], cũng có MSPE trung bình 0,75 bp².
Bình phương chênh lệch dự báo (f₀ − f₁)² là [0,25, 0,25, 0,25, 0,25]. Áp dụng e₀² − e₁² + (f₀ − f₁)² cho kết quả các chênh lệch đã điều chỉnh [−1, 1, 1, 0] bp²; trung bình là 0,25 bp². MSPE thô bằng nhau, nhưng trung bình đã điều chỉnh dương vì nó tính đến nhiễu ước lượng của mô hình lớn.
Bốn kỳ này chỉ minh họa phép tính. Số quan sát quá ít để ước lượng độ bất định đáng tin cậy hay xác lập ý nghĩa thống kê. Trung bình đã điều chỉnh dương tự nó không chứng minh lợi thế dự báo thực tế; các con số là giả định, không phải quan sát thị trường.
<!-- learn:illustration -->

Tính đến sự phụ thuộc của sai số và chân trời dự báo
Ngay cả dự báo một kỳ cũng có thể tạo ra chênh lệch tổn thất đã điều chỉnh phụ thuộc theo thời gian khi mục tiêu, biến dự báo hoặc cửa sổ ước lượng thay đổi. Dự báo nhiều kỳ có khoảng thời gian chồng lấn dùng chung kết quả thực tế tại các thời điểm liền kề. Sai số chuẩn giả định mọi thời điểm độc lập có thể đánh giá thấp độ bất định.
Ước lượng sai số chuẩn từ chuỗi chênh lệch đã điều chỉnh bằng phương pháp phù hợp thiết kế, chẳng hạn ước lượng phương sai dài hạn vững với phương sai thay đổi và tự tương quan khi các điều kiện phù hợp. Clark và West lưu ý dùng sai số chuẩn vững với tự tương quan khi sai số dự báo có tự tương quan. Hãy nêu chân trời, ước lượng hiệp phương sai, kernel, băng thông và phương pháp lấy mẫu lại nếu có. Hướng dẫn bootstrap khối giải thích vì sao lấy mẫu lại chuỗi thời gian phụ thuộc cần giữ cấu trúc thứ tự; bootstrap thông thường không tự động triển khai giả thuyết không của Clark–West.
Cách xử lý phụ thuộc tùy thuộc thiết kế. Chân trời dài, mục tiêu dai dẳng, ước lượng tham số lặp lại và biến động thay đổi có thể gây phụ thuộc vượt xa kiểu chồng lấn đơn giản. Hãy so sánh các thiết lập hợp lý thay vì chọn thiết lập cho giá trị p nhỏ nhất.
Xem giá trị tới hạn chuẩn là xấp xỉ, không phải bảo đảm
Phân phối không của kiểm định mô hình lồng nhau có thể không theo dạng chuẩn thông thường, nhất là khi mẫu ước lượng và mẫu đánh giá cùng tăng. Clark và McCracken cho thấy các kiểm định độ chính xác dự báo bằng nhau và encompassing cho mô hình lồng nhau có tính chất tiệm cận và mẫu hữu hạn khác với so sánh mô hình không lồng nhau quen thuộc. Clark và West biện luận cho suy luận chuẩn xấp xỉ hữu ích trong các thiết kế được nghiên cứu, nhưng đó không phải bảo đảm cho mọi mẫu hữu hạn. Clark và McCracken (2001)00071-9); Clark và West (2007).
Mẫu đánh giá nhỏ, nhiều tham số bổ sung, mô hình cơ sở sai đặc tả, lựa chọn biến dự báo dựa trên dữ liệu, và lựa chọn giữa ước lượng trượt hay đệ quy đều có thể ảnh hưởng đến kích thước và lực kiểm định. Nếu mẫu hoặc thiết kế khác đáng kể với các trường hợp trong tài liệu, hãy cân nhắc giá trị tới hạn phù hợp hoặc thủ tục mô phỏng/bootstrap được xác định cẩn thận. Báo cáo kích thước cả hai mẫu và phân phối tham chiếu dùng để tính giá trị p.
Phân biệt các kiểm định liên quan và giới hạn kết luận
Kiểm định Diebold–Mariano hỏi liệu hai dự báo có tổn thất kỳ vọng bằng nhau trong một phép so sánh tổn thất theo cặp nói chung hay không. Điều chỉnh Clark–West dành cho sai số bình phương khi mô hình này chứa mô hình kia và việc ước lượng tham số bổ sung làm sai lệch chênh lệch MSPE thô dưới giả thuyết không. Không áp dụng điều chỉnh này cho mô hình không lồng nhau khi chưa có lý do. Bài báo DM ban đầu cho phép nhiều thước đo tổn thất và thảo luận sai số không cần phân phối chuẩn hay độc lập. Đây là tài liệu liên quan nhưng là kiểm định khác. Diebold và Mariano (1995).
Không kiểm định nào giải quyết việc thử nhiều mục tiêu, chân trời, mô hình cơ sở và biến dự báo. Nếu phép so sánh cuối cùng được chọn sau một quá trình tìm kiếm rộng, hãy lưu toàn bộ tập ứng viên và dùng phương pháp trả lời câu hỏi ở cấp độ tìm kiếm. Hướng dẫn White Reality Check và Hansen SPA trình bày suy luận cho một tập quy tắc giao dịch đã được sàng lọc.
Kết quả một phía có ý nghĩa là bằng chứng, theo các giả định đã nêu, cho thấy mô hình lớn giảm sai số bình phương kỳ vọng của mục tiêu và thiết kế đang xét. Nó không chứng minh quan hệ nhân quả, tín hiệu ổn định hay chiến lược có lãi. Muốn đánh giá lợi nhuận cần có quy tắc riêng, dữ liệu đánh giá chưa dùng để chọn mô hình và giả định thực tế về spread, phí, trượt giá, tác động thị trường, tài trợ và giới hạn rủi ro.
Báo cáo thiết kế để người khác có thể tái lập
Nêu tên mô hình bị ràng buộc và mô hình lớn, các ràng buộc tạo nên quan hệ lồng nhau, mục tiêu, chân trời, đơn vị, cửa sổ ước lượng, lịch thời điểm dự báo, ngày đánh giá và quy tắc mẫu chung. Giải thích cách ước lượng lại tham số cũng như cách lưu thông tin và phiên bản dữ liệu tại mỗi thời điểm.
Báo cáo cả hai MSPE thô, trung bình chênh lệch Clark–West, quy ước dấu, sai số chuẩn, giả thuyết đối một phía, phân phối tham chiếu hoặc giá trị tới hạn, giá trị p và ước lượng phụ thuộc. Công bố số tham số bổ sung, kích thước mẫu, các thử nghiệm mô hình và việc giai đoạn đánh giá có ảnh hưởng đến thiết kế hay không. Điều đó giúp người đọc phân biệt kiểm định mô hình lồng nhau đã điều chỉnh với so sánh dự báo tổng quát.
Câu hỏi thường gặp
Q1Kiểm định Clark–West có thay thế Diebold–Mariano không?
Không. Clark–West xử lý so sánh MSPE của mô hình lồng nhau. Diebold–Mariano là khung chung cho tổn thất theo cặp; không nên mặc định phân phối tham chiếu thông thường của nó áp dụng cho dự báo lồng nhau.
Q2Trung bình đã điều chỉnh dương có chứng minh mô hình lớn tốt hơn không?
Không. Theo quy ước dấu đã nêu, nó nghiêng về mô hình lớn, nhưng suy luận còn cần sai số chuẩn phù hợp, thiết kế ngoài mẫu đáng tin cậy và đủ quan sát.
Q3Có thể dùng Clark–West cho mô hình không lồng nhau không?
Không nên dùng mặc định. Điều chỉnh này xuất phát từ nhiễu ước lượng dưới giả thuyết không của mô hình lồng nhau. Với mô hình không lồng nhau, hãy chọn kiểm định phù hợp với thiết kế và tổn thất.
Q4Kết quả Clark–West có ý nghĩa có đồng nghĩa chiến lược giao dịch sinh lời không?
Không. Kiểm định đo độ chính xác dự báo cho một mục tiêu và thiết kế đánh giá. Kết quả giao dịch còn phụ thuộc quy tắc quyết định, khớp lệnh, phí, tài trợ, rủi ro và bằng chứng ngoài mẫu bổ sung. Nghiên cứu nền tảng - Clark và West, “Approximately Normal Tests for Equal Predictive Accuracy in Nested Models” (2007) - Clark và McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001)00071-9) - West, “Asymptotic Inference about Predictive Ability” (1996) - Diebold và Mariano, “Comparing Predictive Accuracy” (1995)
Nguồn và tài liệu đọc thêm
Báo lỗi
Chúng tôi sẽ soạn email kèm liên kết bài viết này. Mark chỉ nhận được báo cáo sau khi bạn gửi email
Kiểm tra nhanh
Đọc xong hướng dẫn? Hãy kiểm tra với 3 câu hỏi
Câu hỏi 01
Vì sao điều chỉnh Clark–West cộng bình phương khoảng cách giữa hai dự báo?
Chọn một đáp án để xem giải thích