Biến đổi tích phân xác suất: hiệu chỉnh dự báo mật độ

Dự báo điểm có thể nói lợi suất ngày mai là 0,2%. Dự báo mật độ gán xác suất cho toàn bộ dải lợi suất, từ biến động thường gặp đến sự kiện cực đoan. Việc đánh giá hỏi liệu phân phối được đưa ra trước khi biết kết quả có phù hợp với những gì xảy ra sau đó hay không. Hướng dẫn Mincer–Zarnowitz nói về hiệu chỉnh tuyến tính của dự báo điểm dạng số, một câu hỏi khác.

PIT đo xác suất tích lũy mà dự báo gán cho các giá trị không lớn hơn kết quả thực tế. Đây là thứ hạng xác suất, không phải lợi suất, tín hiệu giao dịch hay thước đo lợi nhuận. Hướng dẫn Diebold–Mariano so sánh tổn thất dự báo trung bình theo một điểm số chọn trước; nó không kiểm tra cùng câu hỏi với hiệu chỉnh mật độ.

Gọi kết quả sau thời điểm gốc dự báo (t) là (Y_{t+1}), và hàm phân phối tích lũy (CDF) dự báo (F_{t+1}(y\mid\mathcal I_t)) dựa trên thông tin (\mathcal I_t) có sẵn tại thời điểm đó. Với phân phối liên tục, tính

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

CDF là xác suất của giá trị không vượt quá (y). Nếu CDF dự báo là phân phối có điều kiện thực sự, định lý PIT cho biết

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

Do đó, dự báo liên tục một bước lý tưởng tạo ra PIT đều có điều kiện theo thông tin dự báo. Trong chuỗi mà tập thông tin gồm quá khứ, PIT lý tưởng còn độc lập giữa các thời điểm gốc theo những giả định phù hợp. Rosenblatt nghiên cứu phép biến đổi này; Diebold, Gunther và Tay áp dụng chuỗi PIT để đánh giá dự báo mật độ (1952; 1998).

Ví dụ có thể tính tay: dự báo (N(0,1)), quan sát (y=1), PIT là (Phi(1)\approx0.8413). Dự báo gán khoảng 84,13% xác suất cho giá trị đến 1. Một quan sát không cho biết mô hình có hiệu chỉnh hay không; cần một chuỗi.

CDF rời rạc có bước nhảy tại các kết quả có thể xảy ra. Vì vậy, (F(Y)) thông thường chỉ nhận một số mức và thường không đều ngay cả khi dự báo đúng. PIT ngẫu nhiên lấp đầy từng khoảng nhảy:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

(F(y^-)) là giới hạn trái, tức xác suất của giá trị nhỏ hơn nghiêm ngặt (y); (V) là biến Uniform(0,1) độc lập chỉ dùng cho đánh giá. Với phân phối liên tục, bước nhảy bằng 0 nên công thức còn (F(Y)). Brockwell chứng minh phép biến đổi ngẫu nhiên cho phân phối tổng quát, bao gồm trường hợp rời rạc và hỗn hợp (2007). Với dữ liệu đếm có thứ tự, Czado, Gneiting và Held cũng bàn về PIT không ngẫu nhiên và biểu đồ hiệu chỉnh biên; không nên coi (F(Y)) rời rạc như PIT liên tục-uniform (2009).

Ví dụ Bernoulli giả định: (P(Y=1)=0.20), (P(Y=0)=0.80). PIT thông thường bằng 0,80 khi (Y=0) và 1,00 khi (Y=1), nên không đều. Khi ngẫu nhiên hóa, (Y=0) cho (0.80V) trong ([0,0.80]); (Y=1) cho (0.80+0.20V) trong ([0.80,1]). Có trọng số theo xác suất sự kiện, mật độ tổng thể đều trên ([0,1]). Phép rút thăm phục vụ đánh giá, không thuộc dự báo.

Phân phối PIT biên đều là điều kiện cần cho dự báo liên tục lý tưởng, nhưng chưa đủ. Sai số trái chiều giữa các chế độ có thể triệt tiêu khi gộp dữ liệu, khiến histogram trông phẳng. Gneiting, Balabdaoui và Raftery cho thấy PIT gần đều có thể cùng tồn tại với dự báo cá thể bị lệch (2007).

Thứ tự cũng quan trọng: chuỗi có thể có histogram đều nhưng vẫn phụ thuộc nối tiếp, chẳng hạn cụm hoặc chuỗi dài các giá trị giống nhau. Dự báo có điều kiện lý tưởng đòi hỏi nhiều hơn tính đều khi gộp. Với chân trời dự báo chồng lấn, phân phối tham chiếu phải xét phần chồng lấn; kiểm định iid không mặc nhiên phù hợp.

Hãy kiểm tra phân phối PIT và mối liên hệ với thời gian, độ trễ, biến tại thời điểm gốc và chế độ được xác định trước. Biểu đồ nhóm hoặc kiểm định có điều kiện có thể tìm ra mẫu ẩn, nhưng lựa chọn nhóm và giới hạn cỡ mẫu vẫn quan trọng. Không tập hợp hữu hạn nào chứng minh hiệu chỉnh cho mọi biến điều kiện có thể có.

Dạng chữ U thường phù hợp với dự báo quá tập trung hoặc thiếu phân tán; phần phình ở giữa thường phù hợp với dự báo quá rộng. Mất cân đối trái-phải có thể gợi ý sai lệch vị trí. Đây là quy tắc kinh nghiệm, không phải chẩn đoán duy nhất: phụ thuộc, hỗn hợp chế độ, tính rời rạc, cách chia bin và mẫu nhỏ có thể gây hiểu lầm.

Histogram bỏ mất thứ tự thời gian. Nó không cho biết lỗi bắt đầu lúc nào, giá trị lớn có tụ lại không, hay một nhóm con có bị hiệu chỉnh sai không. Bin rộng có thể làm dữ liệu ít trông phẳng; bin hẹp có thể lởm chởm vì nhiễu mẫu. Báo cáo số dự báo, biên bin và độ bất định khi có thể. Phương pháp Diebold–Gunther–Tay và kiểm định Berkowitz là ví dụ có giả định phải phù hợp thiết kế. Berkowitz đổi PIT bên trong thành (Z_t=\Phi^{-1}(U_t)) rồi kiểm định giả thuyết không chung về các giá trị chuẩn tắc độc lập so với một đối thuyết động xác định, chẳng hạn AR(1). Đây không phải chứng nhận toàn diện (2001).

<!-- learn:illustration -->

Kết quả về tính đều giả định CDF là quy luật có điều kiện thực sự. Trong thực tế, ta ước lượng tham số, chọn họ phân phối và điều chỉnh ngưỡng hoặc đặc trưng. Vì thế, dự báo (F_{t+1}(\cdot;\hat\theta_t)) là một phần của quy trình. Nếu dùng kết quả trong giai đoạn đánh giá để khớp mô hình rồi gọi PIT là bằng chứng ngoài mẫu chưa bị đụng đến, đó là rò rỉ thông tin.

Trong đánh giá cuốn chiếu, chỉ dùng thông tin có sẵn tại từng thời điểm gốc. Ghi lại cửa sổ ước lượng, tần suất ước lượng lại, phiên bản dữ liệu/mô hình và các bước chọn mô hình. Cửa sổ liền kề thường chia sẻ quan sát; kết quả chồng lấn tạo thêm phụ thuộc.

Kích thước và lực kiểm định phụ thuộc bộ ước lượng, mẫu và quy trình. Histogram PIT không tính đến bất định tham số; mốc iid trong sách giáo khoa không phù hợp với mọi thiết kế đã ước lượng hoặc chồng lấn. Nếu suy luận quan trọng, dùng kiểm định phù hợp hoặc mô phỏng/bootstrap giả thuyết không bằng cách lặp lại toàn bộ quy trình ước lượng và dự báo. Khi cần, giữ riêng mẫu đánh giá cuối cùng khỏi việc chọn mô hình.

Hiệu chỉnh nói về quan hệ giữa dự báo và kết quả: sự kiện được gán một xác suất có xảy ra đúng tần suất đó không? Độ sắc nét mô tả mức tập trung của phân phối dự báo mà không nhìn kết quả. Gneiting, Balabdaoui và Raftery coi độ sắc nét là điều đáng mong muốn khi có hiệu chỉnh, chứ không phải vật thay thế.

Dự báo rộng có thể được hiệu chỉnh nhưng ít thông tin. Dự báo hẹp có thể trông chính xác nhưng hiệu chỉnh kém nếu kết quả thường nằm ngoài khối xác suất. PIT xem xét tính nhất quán phân phối; tóm tắt độ sắc nét mô tả độ phân tán hoặc độ rộng. Chỉ báo cáo một bên sẽ bỏ sót một phần đánh giá.

PIT tổng hợp phẳng có thể che lỗi theo chế độ biến động hoặc chân trời. Hãy xác định điều kiện quan trọng từ trước. Chủ đề này liên quan nhưng khác hồi quy dự báo điểm và kiểm định năng lực dự báo có điều kiện Giacomini–White, vốn so sánh tổn thất có điều kiện theo thông tin đã chọn.

PIT chủ yếu là chẩn đoán, không tự xếp hạng dự báo mật độ. Log score và continuous ranked probability score (CRPS) gán tổn thất vô hướng cho mỗi cặp dự báo-kết quả; theo định nghĩa, tổn thất kỳ vọng nhỏ nhất khi báo đúng phân phối dự báo. Trung bình quan sát được trong một mẫu không chứng minh mô hình đúng. Hướng dẫn Model Confidence Set nói về so sánh theo tập hợp. Hãy dùng score được định nghĩa cho phân phối đầy đủ trên các kết quả giống nhau.

Nêu rõ mục tiêu, chân trời, ngày chung, quy ước tổn thất và benchmark. Log score đặc biệt nhạy với mật độ rất thấp tại điểm quan sát; CRPS so sánh CDF với mức nhạy khác. Độ bất định của chênh lệch score cần tính đến phụ thuộc nối tiếp, ước lượng và tìm kiếm mô hình. Biểu đồ PIT và score phục vụ các mục đích khác nhau.

Hiệu chỉnh hay score tốt hơn không chứng minh khả năng sinh lời. Tuyên bố về giao dịch cần quy tắc ra quyết định, thời điểm thông tin, quy mô vị thế, phí giao dịch/vốn và đánh giá lợi suất ngoài mẫu riêng. Thống kê đánh giá dự báo không phải lợi suất backtest.

Chốt mục tiêu, chân trời, giờ gốc, phiên bản kết quả và loại phân phối liên tục, rời rạc hay hỗn hợp. Lưu mọi CDF dự báo hoặc dữ liệu đủ để tái tạo, cùng kết quả và tập thông tin. Tính (F_t(Y_t)) với phân phối liên tục; ở chỗ có bước nhảy, ghi rõ PIT ngẫu nhiên hoặc chẩn đoán rời rạc phù hợp.

Kiểm tra phân phối biên và thứ tự thời gian. Nêu bin, cỡ mẫu, xử lý giá trị bằng nhau và seed hoặc cách lặp randomization. Bổ sung kiểm tra độc lập/có điều kiện cho câu hỏi đã xác định trước và suy luận phù hợp với thiết kế cuốn chiếu, chồng lấn hoặc ước lượng. So sánh riêng các mô hình bằng proper score trên cùng kết quả giữ lại. Kết luận chỉ áp dụng cho dự báo và điều kiện đã nêu, không bảo đảm hiệu chỉnh tương lai hay lợi nhuận.