Kiểm định Pesaran–Timmermann: Dự báo hướng có thêm thông tin không?

Giả sử thị trường tăng trong 60% số ngày của mẫu đánh giá. Người dự báo gọi “tăng” trong 70% số ngày đó. Ngay cả khi dự báo và kết quả không liên quan, hai chuỗi vẫn thường trùng khớp: có ngày cả hai cùng báo tăng, và có ngày cả hai cùng báo giảm. So sánh máy móc tỷ lệ đúng với 50% sẽ bỏ qua sự mất cân đối này.

Khung PT nêu rõ phép so sánh đó. Kiểm định hỏi liệu hướng dự báo và hướng thực tế có trùng khớp thường xuyên hơn mức hàm ý từ tần suất riêng của chúng dưới giả định độc lập hay không. Đây là kiểm định về thông tin dự báo theo hướng, không phải thước đo quy mô lợi suất, thời điểm giao dịch hay giá trị của cả chiến lược. Pesaran và Timmermann giới thiệu kiểm định hiệu quả dự báo bằng bảng chéo; với trường hợp nhị phân 2×2, kiểm định của họ tương đương tiệm cận với kiểm định độc lập {source:pesaranTimmermannDirectionalTests1992}.

Gọi \(Y_t=1\) khi kết quả thực tế được phân loại là tăng và \(Y_t=0\) khi là giảm. Gọi \(Z_t=1\) khi dự báo là tăng và \(Z_t=0\) khi dự báo là giảm. Mỗi dòng đánh giá cần ghép dự báo được lập tại thời điểm \(t\) với kết quả trong đúng khoảng thời gian mà dự báo đó nhắm tới.

Bốn ô đếm các cặp tăng/tăng, tăng/giảm, giảm/tăng và giảm/giảm. Nếu \(n_{11}\) và \(n_{00}\) là hai ô trùng khớp, còn \(n\) là số cặp ghép hợp lệ, tỷ lệ dự báo đúng hướng quan sát được là

\[ \widehat{P}=\frac{n_{11}+n_{00}}{n}. \]

Thiết lập này chỉ có hai nhóm. Hãy quyết định trước cách xử lý lợi suất bằng không, dự báo bằng không hoặc một vùng trung tính. Chẳng hạn, nghiên cứu có thể xếp lợi suất không lớn hơn 0 và dự báo không vượt ngưỡng vào nhóm “không tăng”. Loại bỏ các trường hợp hòa cũng là một lựa chọn, nhưng làm thay đổi mẫu và cần được áp dụng nhất quán. Không tính trường hợp 0–0 như một loại trùng khớp thứ ba trong khi vẫn dùng công thức mức nền hai nhóm.

Thời điểm lập dự báo và chân trời mục tiêu cũng phải khớp nhau. Nếu \(Z_t\) dự báo dấu của lợi suất trong năm phiên tiếp theo, thì \(Y_t\) phải gắn nhãn chính lợi suất năm phiên đó tính từ cùng thời điểm, chứ không phải lợi suất một phiên đến ngày mai. Nếu không, bảng sẽ ghép các sự kiện khác nhau. Có thể đưa các dự báo hằng ngày cho những mục tiêu năm phiên chồng lấn vào bảng mô tả, nhưng chúng tạo ra vấn đề phụ thuộc sẽ bàn ở phần sau.

Gọi \(\hat p_y\) là tỷ trọng kết quả thực tế được phân loại là tăng, và \(\hat p_z\) là tỷ trọng dự báo là tăng. Nếu nhãn thực tế và nhãn dự báo độc lập, tỷ lệ trùng khớp kỳ vọng là

\[ \widehat{P}^{*}=\hat p_y\hat p_z+(1-\hat p_y)(1-\hat p_z). \]

Tích thứ nhất là xác suất trùng tăng/tăng dưới giả định độc lập; tích thứ hai là xác suất trùng giảm/giảm. Vì vậy, mức nền thay đổi theo cả hai tỷ trọng biên và có thể cao hơn hoặc thấp hơn 50%. Một mô hình luôn dự báo hướng xuất hiện phổ biến hơn có thể đạt tỷ lệ đúng trông khá cao mà không bổ sung thông tin.

Trường hợp cực đoan cho thấy điều này. Nếu bộ phân loại luôn gọi “tăng”, thì \(\hat p_z=1\), tỷ lệ đúng quan sát được chính là tỷ trọng tăng thực tế \(\hat p_y\), và mức nền độc lập cũng bằng \(\hat p_y\). Phần trùng khớp vượt mức bằng không theo định nghĩa. Dự báo hằng này có thể trông chính xác khi kết quả tăng phổ biến, nhưng không phân biệt được ngày nào sẽ tăng; phương sai ước lượng cũng có thể suy biến khiến giá trị p thông thường của PT không tồn tại.

Xét 100 ngày ghép cặp giả định. Kết quả thực tế tăng trong 60 ngày và dự báo gọi tăng trong 70 ngày. Bảng như sau:

Có 64 cặp trùng khớp, nên \(\widehat P=0.64\). Mức nền độc lập là \(0.60\times0.70+0.40\times0.30=0.54\). Tỷ lệ đúng quan sát được cao hơn mức nền 10 điểm phần trăm. Các số liệu giả định này chỉ minh họa phép tính; riêng khoảng chênh lệch không phải ước lượng bất định hợp lệ hay bằng chứng về hiệu quả giao dịch.

Với thống kê PT nhị phân tiêu chuẩn, đặt

\[ \widehat v=\frac{\widehat P^{*}(1-\widehat P^{*})}{n} \]

và

\[ \widehat w=\frac{(2\hat p_y-1)^2\hat p_z(1-\hat p_z)+(2\hat p_z-1)^2\hat p_y(1-\hat p_y)}{n}. \]

Khi đó

\[ PT=\frac{\widehat P-\widehat P^{*}}{\sqrt{\widehat v-\widehat w}}. \]

Dưới giả thuyết không và các giả định mẫu lớn thông thường, thống kê này được đối chiếu với phân phối chuẩn tắc tiệm cận. Tử số là phần trùng khớp vượt mức nền độc lập. Mẫu số tính đến việc mức nền được ước lượng từ cùng mẫu, thay vì coi 50% là mục tiêu cố định. Công thức và ký hiệu được tài liệu của phần triển khai statsmodels ghi lại {source:statsmodelsPesaranTimmermannAPI}.

Biểu thức trên là dạng phương sai tiệm cận bậc đầu được statsmodels tài liệu hóa. Công thức delta đầy đủ hơn cho mẫu hữu hạn trong nghiên cứu gốc cộng thêm \(4\hat p_y\hat p_z(1-\hat p_y)(1-\hat p_z)/n^2\) vào \(\widehat w\). Hạng bậc nhỏ hơn này không làm thay đổi tiệm cận bậc nhất nhưng có thể khiến thống kê mẫu hữu hạn dịch chuyển. Nếu kết quả phụ thuộc vào cách triển khai, hãy nêu rõ công thức và phiên bản phần mềm đã dùng, thay vì so sánh các giá trị p như thể mọi gói đều tính mẫu hữu hạn giống nhau.

Công thức không thể khắc phục thiết kế yếu. Mẫu rất nhỏ, dự báo gần như không đổi, ô trống hoặc phương sai ước lượng bằng không/không hợp lệ có thể khiến xấp xỉ thông thường thiếu tin cậy hoặc không xác định. Khi đó đừng cố lấy giá trị p từ công thức; hãy báo cáo các tỷ trọng biên và bảng, rồi chọn phương pháp suy luận phù hợp với dữ liệu và cỡ mẫu.

Với bảng giả định trên, các thành phần của công thức bậc đầu là \(\widehat v=0.54(0.46)/100=0.002484\) và \(\widehat w=[0.2^2(0.7)(0.3)+0.4^2(0.6)(0.4)]/100=0.000468\). Sai số chuẩn là \(\sqrt{0.002484-0.000468}\approx0.0449\), nên \(PT\approx0.10/0.0449=2.23\). Tham chiếu chuẩn tắc hai phía cho giá trị p xấp xỉ 0.026. Đây là phép tính từ số liệu giả định theo công thức tiệm cận bậc đầu; hạng mẫu hữu hạn đầy đủ hơn sẽ làm thay đổi kết quả đôi chút, còn phụ thuộc chuỗi có thể khiến tham chiếu chuẩn không còn phù hợp. Đừng trình bày đây như kết quả thực nghiệm.

Tử số dương nghĩa là hướng quan sát được trùng khớp thường xuyên hơn mức nền độc lập; tử số âm nghĩa là ít hơn. Kiểm định một phía được xác định trước có thể hỏi liệu mức trùng khớp có cao hơn mức nền hay không. Kiểm định hai phía hỏi liệu mối liên hệ theo hướng có khác đi theo bất kỳ chiều nào. Cần chọn giả thuyết đối và mức ý nghĩa trước khi xem kết quả.

Giá trị p nhỏ là bằng chứng chống lại giả thuyết không đã nêu dưới các giả định kiểm định. Nó không phải xác suất giả thuyết không đúng, cũng không phải xác suất dự báo sẽ hiệu quả ở kỳ tới. Nó không cho biết lợi suất có đủ lớn để bù chênh lệch giá, phí, tác động thị trường, funding hay chi phí vay hay không. Nó cũng không điều chỉnh việc thử nhiều tài sản, chân trời, ngưỡng, biến thể mô hình hay dấu dự báo rồi chỉ báo cáo phương án thắng. Nếu đã tìm kiếm giữa các chiến lược ứng viên, hướng dẫn White Reality Check giải thích vì sao suy luận cần tính đến quá trình lựa chọn.

Ngược lại, không bác bỏ giả thuyết không không chứng minh rằng các hướng độc lập. Mẫu ngắn hoặc mất cân đối có thể không đủ lực để phát hiện mối liên hệ. Thống kê PT âm cũng không chứng minh dự báo hoàn toàn không có cấu trúc; nó có thể cho thấy sự bất đồng có hệ thống. Đổi dấu dự báo sau khi thấy kết quả đó là một lựa chọn mô hình mới, cần được đánh giá trên dữ liệu mới hoặc đưa vào quy trình tìm kiếm ban đầu.

Hãy báo cáo cùng nhau tỷ trọng tăng thực tế, tỷ trọng dự báo tăng, tỷ lệ đúng quan sát được, mức nền độc lập, phần chênh lệch theo điểm phần trăm, giả thuyết đối và phương pháp ước lượng bất định. Chỉ có giá trị p mà thiếu tổng biên của bảng và độ lớn hiệu ứng sẽ khó phân biệt mức tăng nhỏ nhưng được ước lượng chính xác với mức tăng lớn hơn nhưng nhiễu hơn.

Thống kê PT thông thường thường được trình bày với giả định các quan sát hướng độc lập theo chuỗi. Tuy nhiên, nhãn tài chính có thể kéo dài thành các chuỗi. Dữ liệu hằng ngày có thể dùng chung mục tiêu nhiều ngày chồng lấn; chế độ biến động có thể kéo dài; còn dự báo cửa sổ trượt có thể tái sử dụng phần lớn dữ liệu ước lượng cũ. Khi đó, \(n\) cặp không phải là \(n\) mẩu thông tin độc lập. Sai số chuẩn thông thường có thể quá nhỏ, khiến việc bác bỏ xảy ra thường xuyên hơn mức cần thiết.

Sau này, Pesaran và Timmermann phát triển các kiểm định về phụ thuộc giữa biến nhiều nhóm có tương quan chuỗi, sử dụng hồi quy mở rộng động và khung Markov bậc hữu hạn {source:pesaranTimmermannSerialCategories2009}. Các nghiên cứu tập trung vào dự báo hướng cũng cho thấy thủ tục PT dựa trên độc lập thông thường có thể bác bỏ quá mức khi có tương quan chuỗi, đồng thời xem xét các phương án vững với phụ thuộc, trong đó có bootstrap {source:blaskowitzHerwartzDirectionalSerialCorrelation2014}. Phương pháp phù hợp phụ thuộc vào cách tạo dự báo, chân trời dự báo và cấu trúc phụ thuộc; một công thức tái lấy mẫu chung không tự động hợp lệ.

Hãy nêu rõ các thời điểm lập dự báo có chồng lấn không, cách nhau bao lâu và phương pháp phụ thuộc nào được dùng để ước lượng bất định. Nếu báo cáo thống kê sách giáo khoa như một mốc mô tả, hãy ghi rõ giả định độc lập. Đừng diễn giải kết quả danh nghĩa 5% như thể tỷ lệ bác bỏ sai thực tế cũng là 5% khi thiết kế vi phạm giả định đó.

Với mỗi thời điểm dự báo, hãy giữ nguyên dự báo đúng như thông tin đã có lúc ấy, chân trời dự báo, thời điểm chốt dữ liệu, kết quả thực tế và quy tắc chuyển mỗi giá trị thành nhãn tăng/giảm. Trước khi lập bảng, hãy căn chỉnh dấu thời gian, công cụ, định nghĩa giá hoặc lợi suất và cách xử lý dữ liệu thiếu. Dự báo dùng dữ liệu kinh tế vĩ mô đã được sửa đổi hoặc tín hiệu được tinh chỉnh theo giai đoạn đánh giá không phải là dự báo ngoài mẫu chưa bị can thiệp.

Hãy chọn ngưỡng phân loại trước khi xem kết quả tập giữ lại. Nếu mô hình đưa ra xác suất, ngưỡng sẽ chuyển nó thành hướng nhị phân; tìm ngưỡng trên cùng mẫu làm thay đổi câu hỏi và tạo thiên lệch lựa chọn. Tách riêng vai trò của tập huấn luyện, xác thực và đánh giá cuối cùng; với quy trình tái lấy mẫu nhằm tính đến việc tìm mô hình, hãy chạy lại toàn bộ quá trình lựa chọn trong mỗi lần lấy mẫu.

Câu hỏi của PT khác với việc so sánh độ lớn sai số dự báo. Hướng dẫn Diebold–Mariano so sánh chênh lệch tổn thất theo cặp, còn hướng dẫn Giacomini–White hỏi liệu năng lực dự báo tương đối có thay đổi theo thông tin được xác định trước hay không. Với các mô hình dự báo lồng nhau, xem hướng dẫn hiệu chỉnh Clark–West. Các kiểm định này trả lời câu hỏi khác nhau; không nên thay thế lẫn nhau chỉ vì chúng trả về những thống kê quen thuộc.

Kiểm định PT rút mỗi kết quả về một nhãn hướng. Mức tăng một tick và một đợt tăng mạnh đều được tính là tăng; một lần đoán sai nhỏ và một khoản lỗ lớn cũng được tính như nhau là lỗi hướng. Vì vậy, tỷ lệ đúng có thể tăng nhưng chiến lược vẫn lỗ nếu các lần sai gây thiệt hại lớn hơn lần thắng, tín hiệu đến sau khi giá đã biến động hoặc chi phí giao dịch xóa hết lợi thế.

Ví dụ, hãy tưởng tượng 100 giao dịch giả định có quy mô bằng nhau: 64 lần đoán đúng hướng lãi trung bình 0.10% mỗi lần, còn 36 lần đoán sai lỗ trung bình 0.25% mỗi lần. Tổng gộp đơn giản là \(64(0.10\%)-36(0.25\%)=-2.6\) điểm phần trăm trước chi phí, dù tỷ lệ đúng là 64%. Phép tính cố ý đơn giản này bỏ qua lãi kép và không phải bằng chứng thị trường; nó cho thấy vì sao tỷ lệ đúng một mình không quyết định lợi nhuận kỳ vọng.

Để đánh giá giao dịch, hãy xác định thời điểm vào/ra, quy mô vị thế, giới hạn rủi ro và cách xử lý lệnh không khớp trước khi tính lợi suất. Khi phù hợp, hãy tính chênh lệch giá mua–bán, hoa hồng, trượt giá, tác động thị trường, chi phí tài trợ và chi phí riêng của nền tảng. So sánh lợi suất ròng ngoài mẫu với một mốc phù hợp và tính đến quá trình thử nhiều lựa chọn đã tạo ra quy tắc. Kết quả PT có thể là một phần bằng chứng về mối liên hệ theo hướng, nhưng không thay thế đánh giá có thể thực thi và đã tính chi phí.