Kiểm định Giacomini–White: Độ chính xác dự báo có điều kiện

Giả sử dự báo A có tổn thất trung bình thấp hơn dự báo B trong một mẫu kiểm tra. Giá trị trung bình đó có thể che giấu một quy luật hữu ích: A tốt hơn khi thị trường yên ắng, còn B tốt hơn khi biến động cao. Nếu câu hỏi là dự báo nào tốt hơn xét trung bình, phép so sánh vô điều kiện phù hợp. Nếu câu hỏi là thông tin đã biết tại ngày dự báo có giúp dự đoán dự báo nào sẽ tốt hơn hay không, đối tượng cần xem xét là năng lực dự báo có điều kiện.

Giacomini và White xây dựng khung này để so sánh các phương pháp dự báo với một hàm tổn thất và tập thông tin đã xác định. Có thể áp dụng cho dự báo điểm, khoảng, xác suất hoặc mật độ nếu hàm tổn thất phù hợp với nhiệm vụ. Phương pháp tính cả quy trình ước lượng đã tạo ra từng dự báo. Vì vậy, cửa sổ cuốn, mẫu huấn luyện cố định hoặc quy tắc gán trọng số là một phần của phương pháp được đánh giá, chứ không phải chi tiết có thể tùy tiện thay đổi sau khi xem kết quả (Giacomini và White, 2006).

Sự khác biệt này có liên quan đến kiểm định điểm gãy cấu trúc nhưng không đồng nhất với nó. Kiểm định có điều kiện hỏi liệu tổn thất dự báo tương đối có liên hệ có hệ thống với thông tin được chọn hay không. Kiểm định điểm gãy hỏi liệu tham số hoặc mối quan hệ có thay đổi tại một thời điểm chưa biết hoặc đã chỉ định hay không. Hướng dẫn Diebold–Mariano trình bày phép so sánh tổn thất trung bình vô điều kiện; câu hỏi có điều kiện cần nêu rõ thông tin dùng để điều kiện hóa.

Gọi \(Y_{t+1}\) là mục tiêu được quan sát sau thời điểm gốc dự báo \(t\). Dự báo \(\hat y^A_{t+1}\) và \(\hat y^B_{t+1}\) phải cùng mục tiêu, chân trời, đơn vị và thời điểm chốt thông tin. Với hàm tổn thất \(L\), trong đó giá trị thấp hơn là tốt hơn, định nghĩa chênh lệch tổn thất như sau:

dₜ₊₁ = L(Yₜ₊₁, ŷA,ₜ₊₁) − L(Yₜ₊₁, ŷB,ₜ₊₁)

Theo quy ước dấu này, giá trị dương nghĩa là A chịu tổn thất lớn hơn và B tốt hơn tại thời điểm gốc đó; giá trị âm nghiêng về A. Lưu một hàng cho mỗi thời điểm gốc dự báo và chấm điểm cả hai dự báo bằng cùng một kết quả thực tế. Giữ nguyên dự báo như đã có thể sử dụng vào thời điểm lập dự báo, cùng phiên bản dữ liệu và phiên bản mô hình. Không dựng lại dự báo lịch sử bằng dữ liệu đã được điều chỉnh sau này hoặc thông tin chỉ xuất hiện về sau.

Các biến điều kiện cũng phải được biết tại thời điểm gốc dự báo. Ví dụ có thể là ước lượng biến động trễ, chỉ báo sự kiện đã được công bố, chênh lệch tổn thất trễ hoặc biến trạng thái thị trường chỉ được tính từ dữ liệu quá khứ. Biến đo sau thời điểm \(t\) không thể giải thích dự báo nào tốt hơn tại \(t+1\) mà không gây thiên lệch nhìn trước.

Chọn thước đo phù hợp với mục tiêu. Sai số bình phương là một lựa chọn cho dự báo trung bình có điều kiện, nhưng không tự động phù hợp với dự báo biến động, phân vị hay mật độ. Nếu một mô hình dự báo phương sai còn mô hình kia dự báo độ lệch chuẩn, hãy chuyển chúng về cùng đại lượng trước. Kiểm định không thể sửa việc câu hỏi được chấm điểm không nhất quán.

Với dự báo biến động, chấm điểm cả hai theo cùng định nghĩa phương sai thực tế và cùng khoảng lấy mẫu. Nếu một dự báo bao quát giá trong ngày còn dự báo kia cũng tính lợi suất qua đêm, chênh lệch tổn thất có thể phản ánh hai mục tiêu khác nhau chứ không phải năng lực dự báo. Hãy quyết định trước cách xử lý biến động khi thị trường đóng cửa, tần suất lấy mẫu, quan sát bị thiếu và thước đo thực hiện, rồi áp dụng nhất quán. Nếu đại lượng thay thế cho kết quả thực tế có nhiễu, sai số đo lường ảnh hưởng đến cả hai điểm tổn thất và cần được xét trong diễn giải.

Gọi \(\mathcal{G}_t\) là thông tin dùng để điều kiện hóa phép so sánh. Giả thuyết không lý tưởng là

H₀: E[dₜ₊₁ | 𝒢ₜ] = 0

Điều này nói rằng kỳ vọng của chênh lệch tổn thất bằng không khi đã biết tập thông tin được chỉ định. Kiểm định GW một bước chuyển mệnh đề có điều kiện thành một tập hợp moment bằng vectơ hàm kiểm định \(h_t\) được chọn trước, trong đó mỗi hàm có thể tính từ thông tin sẵn có tại thời điểm \(t\):

H₀,ₕ: E[hₜ dₜ₊₁] = 0

Một hằng số trong \(h_t\) bao gồm moment chênh lệch tổn thất trung bình. Các thành phần khác có thể đại diện cho trạng thái thị trường, chênh lệch tổn thất trễ hoặc một phép biến đổi phi tuyến được chọn trước khi xem kết quả. Chẳng hạn, \(h_t=(1,S_t)'\), trong đó \(S_t\) là chỉ báo nhị phân về biến động cao đã biết tại \(t\), kiểm định cả moment hằng số lẫn mối liên hệ giữa chênh lệch tổn thất và trạng thái đó.

Một tập hữu hạn các hàm kiểm định chỉ kiểm tra những moment được chọn. Bác bỏ nghĩa là ít nhất một moment đã chọn không phù hợp với giá trị không theo các giả định của kiểm định; điều đó không xác định một mô hình tốt nhất trong mọi trường hợp hay chứng minh mọi biến trạng thái có thể có đều quan trọng. Không bác bỏ không chứng minh hiệu quả có điều kiện là như nhau. Kiểm định chỉ dùng hằng số là so sánh moment vô điều kiện, không phải tìm kiếm rộng trên mọi điều kiện có thể.

Hãy chọn hàm tổn thất, biến công cụ, phép biến đổi, mẫu và chân trời dự báo trước khi xem mô hình nào thắng. Thêm nhiều chỉ báo trạng thái, ngưỡng và độ trễ sau khi xem kết quả sẽ tạo thêm một vấn đề tìm kiếm. Bản thân kiểm định có điều kiện không điều chỉnh tác động của việc lựa chọn đó.

Cố định thời điểm dùng để tạo từng biến trạng thái. Nếu “biến động cao” được định nghĩa là 20% mức biến động cao nhất trong toàn mẫu, thì quan sát tương lai đã giúp đặt ngưỡng cho các thời điểm gốc quá khứ. Chỉ ước lượng ngưỡng bằng thông tin có tại từng thời điểm gốc, hoặc dùng quy tắc đã công bố trước ngày đó. Với biến trạng thái liên tục, hãy xác định trước đơn vị, cách trừ trung bình và chuẩn hóa. Nhiều chỉ báo gần như trùng nhau có thể làm các điều kiện moment dư thừa và khiến ma trận hiệp phương sai khó đảo, vì vậy chỉ sử dụng tập nhỏ nhất có diễn giải rõ ràng.

Với \(q\) hàm kiểm định, lập vectơ \(g_{t+1}=h_t d_{t+1}\). Trung bình mẫu là

ḡ = (1/n) Σₜ gₜ₊₁

Thống kê GW một bước có dạng Wald

GW = n ḡ′ Ω̂⁻¹ ḡ

Trong đó \(\hat\Omega\) ước lượng ma trận hiệp phương sai của vectơ moment. Theo giả thuyết không và các điều kiện chính quy của bài báo, thống kê có phân phối tham chiếu chi bình phương tiệm cận với \(q\) bậc tự do. Do đó, số hàm kiểm định ảnh hưởng đến phân phối tham chiếu và có thể ảnh hưởng đến lực kiểm định. Thêm nhiều biến công cụ yếu hoặc dư thừa có thể làm ước lượng hiệp phương sai bất ổn mà không bổ sung thông tin hữu ích.

Trong thiết lập một bước, giả thuyết không hàm ý cấu trúc sai phân martingale cho vectơ moment, nhờ đó kiểm định gốc có thể dùng ước lượng moment bậc hai mẫu. Với chân trời khác, kết quả chồng lấn hoặc thiết lập sai khác, ước lượng phương sai phải phù hợp với giả định và cấu trúc phụ thuộc của kiểm định. Hãy theo đúng đặc tả của cách triển khai đang dùng thay vì tự động sao chép băng thông HAC từ một kiểm định khác. Các phương pháp hiệp phương sai HAC tổng quát, bao gồm ước lượng của Newey và West (1987), là công cụ cho những trường hợp cần đến chúng, không phải quy định băng thông phổ quát cho GW. Độ tin cậy của kết quả chỉ cao bằng độ tin cậy của ước lượng hiệp phương sai và thiết kế dự báo đứng sau nó.

Đồng thời kiểm tra liệu có thể ước lượng \(\hat\Omega\) từ các moment đã chọn hay không. Các hàm kiểm định gần như trùng lặp, chỉ báo có rất ít quan sát ở một trạng thái hoặc quá nhiều tương tác có thể khiến ma trận suy biến hoặc bất ổn. Khi đó, phép nghịch đảo có thể thay đổi mạnh sau một điều chỉnh dữ liệu nhỏ và làm sai lệch thống kê kiểm định. Mỗi hàm cần có lý do gắn với điều kiện hoặc khác biệt về hiệu suất dự báo; hãy báo cáo số lượng và ma trận hiệp phương sai moment. Loại bỏ một hàm không có ích sau khi xem kết quả là một bước lựa chọn khác và cần được công khai.

Giá trị p là bằng chứng chống lại các ràng buộc moment đã nêu theo phân phối tham chiếu. Nó không phải xác suất A hoặc B là mô hình đúng, cũng không phải khả năng một quy tắc giao dịch sẽ có lãi. Hãy báo cáo thống kê, bậc tự do, giá trị p và chính xác các moment được kiểm định để người đọc hiểu được ý nghĩa của việc bác bỏ.

<!-- learn:illustration -->

Xét tám thời điểm gốc giả định với dự báo một bước. Gọi \(S_t=0\) là trạng thái yên ắng và \(S_t=1\) là trạng thái biến động cao. Giả sử chênh lệch tổn thất \(d_{t+1}=L_A-L_B\) lần lượt là −2, −2, −2 và −2 ở bốn thời điểm yên ắng, còn ở bốn thời điểm biến động cao là +2, +2, +2 và +2. Chênh lệch âm ủng hộ A; chênh lệch dương ủng hộ B.

Trung bình của cả tám thời điểm bằng không, nên ví dụ nhỏ này không cho thấy chênh lệch tổn thất vô điều kiện. Trung bình trong trạng thái yên ắng là −2, còn trong trạng thái biến động cao là +2. Thứ hạng tương đối đảo chiều theo trạng thái. Kiểm định dùng \(h_t=(1,S_t)'\) bao gồm moment hằng số và moment về trạng thái biến động cao, có thể phản ánh quy luật này.

Tám giá trị này chỉ là minh họa để học, không đủ quan sát cho một kết luận suy luận đáng tin cậy. Với dữ liệu thực, kiểm định phải tính đến cách các dự báo được ước lượng, biến trạng thái có được cố định trước hay không, số thời điểm gốc sẵn có và cách các moment chênh lệch tổn thất biến đổi theo thời gian. Chia trạng thái để xem biểu đồ không phải bằng chứng rằng quy luật sẽ tiếp diễn.

Lý thuyết tiệm cận GW ban đầu giữ lại bất định do ước lượng dự báo bằng cách giới hạn kích thước cửa sổ ước lượng lớn nhất ở mức hữu hạn, trong khi số dự báo ngoài mẫu tăng lên. Cửa sổ cuốn và mẫu ước lượng cố định phù hợp với thiết lập cốt lõi đó. Độ dài cửa sổ và quy tắc chọn cửa sổ phụ thuộc dữ liệu là một phần của từng phương pháp dự báo, nên cần được đặt trước và báo cáo.

Điều này quan trọng khi ước lượng lại các mô hình dự báo. Phép so sánh bỏ qua việc ước lượng tham số có thể bỏ sót bất định do cách mỗi phương pháp học từ dữ liệu quá khứ. GW có thể áp dụng cho dự báo từ mô hình lồng nhau hoặc không lồng nhau theo các điều kiện đã nêu, nhưng điều đó không bảo đảm hiệu lực cho mọi cách triển khai cửa sổ mở rộng hay mọi ước lượng. Trong khung một bước ban đầu, cửa sổ mở rộng thông thường nằm ngoài giả định cửa sổ hữu hạn. Nếu thiết lập khác đi, hãy dùng kết quả được suy ra cho chính cách tạo dự báo đó.

Kiểm định cũng không tự chọn cửa sổ phù hợp. Cửa sổ ngắn có thể thích nghi với điều kiện gần đây nhưng sử dụng ít quan sát hơn; cửa sổ dài hoặc mở rộng có thể ổn định ước lượng nhưng giữ lại các mối quan hệ đã lỗi thời. Hãy so sánh các lựa chọn bằng một thiết kế đánh giá lập trước và ghi lại cả quá trình chọn cửa sổ. Giacomini và Rossi (2010) phát triển các kiểm định riêng cho diễn biến hiệu suất dự báo tương đối trong môi trường bất ổn; câu hỏi về đường đi theo thời gian có liên quan nhưng thống kê không giống kiểm định GW có điều kiện cơ bản.

Việc bác bỏ có điều kiện tự nó cũng không đưa ra quy tắc giao dịch để chọn đúng dự báo theo thời gian thực. Biến công cụ có thể liên hệ với chênh lệch tổn thất trong dữ liệu đánh giá nhưng không tạo ra quy tắc chuyển đổi ổn định hoặc khả thi. Nếu muốn dùng thông tin hiện tại để chọn dự báo, hãy xây dựng quy tắc đó bằng quan sát quá khứ rồi đánh giá trên một chuỗi thời điểm gốc mới, chưa từng dùng, bao gồm cả bất định trong ước lượng và quyết định.

Kiểm định Diebold–Mariano hỏi liệu hai dự báo có tổn thất trung bình bằng nhau trong mẫu đánh giá hay không. GW hỏi liệu thông tin được chọn có liên quan đến tổn thất tương đối hay không, đồng thời có thể xem so sánh vô điều kiện là một ràng buộc moment đặc biệt. Hai mô hình có thể đạt điểm trung bình như nhau nhưng hiệu suất tương đối phụ thuộc vào điều kiện, như ví dụ hai trạng thái cho thấy.

Nếu dự báo đến từ các mô hình lồng nhau và câu hỏi cụ thể là so sánh MSPE bằng nhau, phương pháp dành cho mô hình lồng nhau như điều chỉnh Clark–West xử lý một giả thuyết không và vấn đề nhiễu ước lượng khác. Nếu đã tìm kiếm nhiều quy tắc giao dịch hoặc dự báo và muốn biết liệu ứng viên nào có khả năng dự báo vượt trội hay không, hãy dùng thủ tục cấp nhóm như White Reality Check hoặc kiểm định SPA của Hansen. Kiểm định có điều kiện trên một cặp đã chọn không xóa bỏ ảnh hưởng của quá trình tìm kiếm rộng hơn.

Cuối cùng, bằng chứng về độ chính xác tương đối thay đổi theo thời gian không xác định được ngày điểm gãy cụ thể. Kiểm định bất ổn cục bộ hoặc đảo chiều có thể phù hợp hơn nếu câu hỏi nghiên cứu tập trung vào diễn tiến hiệu suất tương đối thay vì mối liên hệ với các biến công cụ đã chọn. Giacomini và Rossi (2010) nghiên cứu các so sánh dự báo như vậy. Hãy chọn phương pháp phù hợp với câu hỏi, thay vì xem mọi lần bác bỏ là bằng chứng cho một chiến lược giao dịch chuyển chế độ.

Kiểm định có điều kiện có thể cần lượng dữ liệu đáng kể. Chia mẫu thành trạng thái yên ắng và biến động làm giảm số quan sát hỗ trợ từng phép so sánh. Thêm nhiều hàm làm tăng số moment và bậc tự do. Nếu nhiều điều kiện chỉ liên hệ yếu với tổn thất tương đối, kiểm định có thể có lực thấp ngay cả khi khác biệt có điều kiện tồn tại.

Bài nghiên cứu của Cục Dự trữ Liên bang tại St. Louis do McCracken thực hiện xem xét sự tồn tại, kích thước và lực của kiểm định GW trong một ví dụ tổn thất bậc hai đơn giản. Mô phỏng cho thấy kiểm định có thể được định cỡ chính xác, nhưng lực thường thấp trong các thiết lập được khảo sát (McCracken, 2020). Đây là cảnh báo về cách diễn giải, không phải dự báo con số phổ quát cho mọi ứng dụng. Không bác bỏ có thể phản ánh lượng thông tin hạn chế hoặc lực kiểm định thấp; không nên mô tả điều đó là bằng chứng các dự báo có thể thay thế cho nhau.

Thử đi thử lại các định nghĩa trạng thái, ngưỡng, chân trời, hàm tổn thất và ngày đánh giá làm tăng khả năng tìm thấy kết quả ngẫu nhiên. Hãy ghi lại mọi kiểm định ứng viên và tách phân tích khám phá khỏi mẫu xác nhận được chỉ định trước. Nếu mục tiêu là khẳng định một chiến lược trong một nhóm có khả năng dự báo, hãy áp dụng phương pháp phù hợp để điều chỉnh kiểm định nhiều lần hoặc dò tìm dữ liệu cho toàn nhóm đó. Thêm biến công cụ có điều kiện không tự động tạo ra bằng chứng thuyết phục hơn.

Khi còn so sánh nhiều mô hình dự báo, thủ tục cấp nhóm trả lời một câu hỏi khác với kiểm định có điều kiện theo từng cặp. Hướng dẫn về tập tin cậy mô hình giải thích cách so sánh lặp để giữ lại một tập mô hình chưa thể phân biệt ở mức đã chọn; phương pháp đó không thay thế việc xác định trước điều kiện trong phân tích GW.

Nêu tên hai phương pháp dự báo, cách ước lượng từng phương pháp, các mô hình có lồng nhau hay không, mục tiêu và chân trời, cùng các ngày đánh giá. Ghi chính xác hàm tổn thất và quy ước dấu cho \(d_{t+1}\). Mô tả từng thành phần của \(h_t\), cách tạo biến, thời điểm biến đó có thể quan sát và liệu biến có được chọn trước khi xem kết quả hay không.

Báo cáo lịch thời điểm gốc dự báo, quy tắc cửa sổ ước lượng, phiên bản dữ liệu, quy tắc chọn mẫu chung, số thời điểm gốc ngoài mẫu, số hàm kiểm định, ước lượng hiệp phương sai, phân phối tham chiếu, thống kê kiểm định, bậc tự do và giá trị p. Nêu liệu các chân trời có chồng lấn và cách xử lý sự phụ thuộc. Đưa thêm tổn thất trung bình và các thống kê chênh lệch tổn thất tương ứng, không chỉ kết quả kiểm định.

Liệt kê các biến công cụ, ngưỡng, cửa sổ, hàm tổn thất và cặp dự báo khác đã thử. Nếu cùng một quan sát vừa được dùng để chọn mô hình hoặc biến điều kiện vừa dùng để kiểm định, hãy nói rõ. Kết quả vẫn có thể hữu ích dù chưa mang tính xác nhận; báo cáo minh bạch giúp người đọc đánh giá phạm vi và thiết kế một bước kiểm định độc lập.