התמרת אינטגרל ההסתברות: מדריך לכיול תחזיות צפיפות

תחזית נקודתית עשויה לצפות תשואה של 0.2% מחר. תחזית צפיפות מקצה הסתברויות לכל טווח התשואות, לרבות תנועות רגילות ואירועי קיצון. לכן בודקים אם ההתפלגות שנמסרה לפני התוצאה תואמת למה שהתרחש. המדריך של Mincer–Zarnowitz עוסק בכיול ליניארי של תחזיות מספריות נקודתיות, שאלה שונה.

PIT מודדת כמה מסה מצטברת התחזית הקצתה לערכים עד התוצאה. זהו דירוג הסתברותי, לא תשואה, אות מסחר או רווח. מדריך Diebold–Mariano משווה הפסדי תחזית ממוצעים לפי ניקוד נתון; הוא אינו בודק את אותו הדבר כמו כיול התפלגות.

נסמן את התוצאה אחרי מועד התחזית (t) ב־(Y_{t+1}), ואת פונקציית ההתפלגות המצטברת (CDF) שחושבה ממידע זמין במועד זה ב־(F_{t+1}(y\mid\mathcal I_t)). בתחזית רציפה מחשבים

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

ה־CDF היא ההסתברות לערך שאינו עולה על (y). אם התחזית היא ההתפלגות המותנית האמיתית, משפט PIT נותן

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

כל תחזית רציפה אידיאלית לטווח אחד יוצרת אפוא ערך PIT אחיד מותנה במידע התחזית. ברצף שבו המידע כולל את העבר, ערכי PIT אידיאליים גם בלתי תלויים בין מועדי התחזית, תחת ההנחות המתאימות. Rosenblatt עסק בהתמרה; Diebold, Gunther ו־Tay יישמו רצפי PIT להערכת תחזיות צפיפות (Rosenblatt, 1952; Diebold, Gunther and Tay, 1998).

בדיקה ידנית: אם התחזית היא (N(0,1)) והתוצאה (y=1), אז PIT היא (Phi(1)\approx0.8413). כלומר, התחזית הקצתה כ־84.13% לערכים עד 1. תצפית יחידה אינה קובעת אם המודל מכויל; נדרש רצף.

ב־CDF בדידה יש קפיצות. לכן (F(Y)) הרגילה מקבלת רק מספר קטן של ערכים ואינה אחידה בדרך כלל, גם תחת תחזית נכונה. PIT אקראית ממלאת כל קטע קפיצה:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

(F(y^-)) היא הגבול משמאל, כלומר ההסתברות לערך הקטן ממש מ־(y); ‏(V) הוא משתנה Uniform(0,1) בלתי תלוי, המשמש להערכה בלבד. בהתפלגות רציפה אין קפיצה והנוסחה מצטמצמת ל־(F(Y)). Brockwell מוכיח את ההתמרה עבור התפלגויות כלליות, כולל בדידות ומעורבות (2007). עבור ספירות מסודרות, Czado, Gneiting ו־Held דנים גם ב־PIT לא אקראית ובדיאגרמות כיול שוליות; אין להתייחס לערכי (F(Y)) בדידים כאילו היו רציפים ואחידים (2009).

דוגמה היפותטית: בתחזית Bernoulli עם (P(Y=1)=0.20) ו־(P(Y=0)=0.80), ערך PIT רגיל הוא 0.80 כאשר (Y=0), ו־1 כאשר (Y=1). בהגרלה, (Y=0) נותן (0.80V) בתחום ([0,0.80]); ‏(Y=1) נותן (0.80+0.20V) בתחום ([0.80,1]). משקל שני התחומים לפי הסתברויותיהם יוצר צפיפות אחידה על ([0,1]). ההגרלה היא כלי הערכה, לא חלק מהתחזית.

אחידות שולית היא תנאי הכרחי לתחזית רציפה אידיאלית, אך אינה מספיקה. שגיאות הפוכות בין משטרים עלולות להתקזז בנתונים מאוגמים ולהשאיר היסטוגרמה שנראית שטוחה. Gneiting, Balabdaoui ו־Raftery מתארים מצבים שבהם PIT אחידה בקירוב לצד תחזיות מוטות (2007).

גם הסדר חשוב. סדרה יכולה להיות אחידה בשוליים אך תלויה בזמן, למשל בצברים או ברצפים. תחזיות מותנות אידיאליות דורשות יותר מאחידות מאוגמת. באופקי תחזית חופפים, יש להתאים את התפלגות הייחוס לתלות שנוצרת; מבחן iid אינו מתאים אוטומטית.

בדקו את התפלגות PIT וגם את הקשר שלה לזמן, לפיגורים, למשתני מקור התחזית ולמשטרים שהוגדרו מראש. חתכים מותנים עשויים לחשוף דפוסים, אך גם בחירתם וגודל המדגם משפיעים. שום אוסף סופי של בדיקות אינו מוכיח כיול לכל משתנה התניה אפשרי.

צורת U מתיישבת לעיתים קרובות עם תחזיות מרוכזות מדי או עם פיזור חסר; גבשושית באמצע מתיישבת לעיתים עם תחזיות מפוזרות מדי. הטיה שמאלה או ימינה עשויה להתאים להטיית מיקום. אלו כללי אצבע, לא אבחנות יחידות: תלות, תערובת משטרים, בדידות, חלוקה למחלקות ומדגם קטן עלולים להטעות.

היסטוגרמה מוחקת את סדר התצפיות, ולכן אינה מראה מתי התקלה התחילה או אם ערכים קיצוניים מתקבצים. מחלקות רחבות עשויות להסתיר בעיה; צרות עשויות להיראות לא סדירות בגלל רעש. דווחו את מספר התחזיות, גבולות המחלקות ואי־ודאות כשאפשר. מבחני Diebold–Gunther–Tay ו־Berkowitz מדגימים בדיקות שהנחותיהן חייבות להתאים לתכנון. Berkowitz ממיר PIT פנימית ל־(Z_t=\Phi^{-1}(U_t)) ובוחן את השערת האפס של ערכים נורמליים תקניים בלתי תלויים מול חלופה דינמית מוגדרת, כגון AR(1). זו אינה תעודת תקינות אוניברסלית (Berkowitz, 2001).

<!-- learn:illustration -->

תוצאת האחידות מניחה שה־CDF היא החוק המותנה האמיתי. בפועל אומדים פרמטרים ובוחרים משפחת התפלגות, ספים או מאפיינים. לכן התחזית (F_{t+1}(\cdot;\hat\theta_t)) היא חלק מהליך חיזוי. התאמת המודל לתוצאות של תקופת ההערכה ואז הצגת PIT כהוכחה חיצונית לא נגועה היא דליפת מידע.

בכל מועד בתחזית מתגלגלת השתמשו רק במידע שהיה זמין אז, ותעדו חלון אמידה, תדירות עדכון, גרסת נתונים ומודל ושלבי בחירה. חלונות סמוכים חולקים לעיתים תצפיות, וגם אופקים חופפים יוצרים תלות.

גודל ועוצמת מבחן תלויים באומד, במדגם ובהליך הבדיקה. היסטוגרמה אינה מטפלת באי־ודאות הפרמטרים; ערכי ייחוס iid מספר לימוד אינם מתאימים לכל תכנון. כשנדרשת הסקה, השתמשו במבחן מתאים או הדמו/אתחלו את השערת האפס תוך חזרה על כל צינור האמידה והתחזית. השאירו מדגם הערכה סופי מחוץ לבחירת המודל לפי הצורך.

כיול מתייחס לקשר בין תחזיות לתוצאות: האם אירועים שהוקצתה להם הסתברות מסוימת מתרחשים בשיעור המתאים? חדות מתארת את ריכוז התפלגות התחזית בלי להתבונן בתוצאות. Gneiting, Balabdaoui ו־Raftery רואים בחדות מטרה רצויה בכפוף לכיול, לא תחליף לו.

תחזית רחבה אך מכוילת עשויה להיות לא אינפורמטיבית; תחזית צרה עלולה להיראות מדויקת אך להיות לא מכוילת אם תוצאות חורגות ממנה לעיתים קרובות. PIT בוחנת עקביות של התפלגות, ומדדי חדות מתארים רוחב וריכוז. הצגת אחד בלבד מחסירה חלק מההערכה.

PIT שולית שטוחה עלולה להסתיר שגיאות לפי תנודתיות או אופק. הגדירו מראש תנאים חשובים. זו שאלה קשורה אך שונה מרגרסיית תחזית נקודתית ומ־מבחן Giacomini–White ליכולת חיזוי מותנית, המשווה הפסדים בהתניה על מידע שנבחר.

PIT היא בעיקר כלי אבחון ואינה מדרגת לבדה תחזיות צפיפות. ניקוד לוגריתמי ו־CRPS מייחסים הפסד סקלרי לכל תחזית ותוצאה; לפי הגדרתם, ההפסד הצפוי ממוזער כשהתחזית היא ההתפלגות האמיתית. ממוצע במדגם יחיד אינו מוכיח מודל נכון. מדריך Model Confidence Set עוסק בהשוואת קבוצות. השוו תחזיות צפיפות בניקוד המתאים להתפלגות מלאה ועל אותן תוצאות.

ציינו יעד, אופק, תאריכים משותפים, הגדרת הפסד וקו בסיס. ניקוד לוגריתמי רגיש במיוחד לצפיפות זעירה בנקודת התוצאה; CRPS משווה פונקציות מצטברות ברגישות אחרת. אי־הוודאות צריכה להביא בחשבון תלות בזמן, אמידה וחיפוש מודלים. השתמשו בגרפי PIT לצד ניקוד ממוצע.

כיול או ניקוד עדיף אינם מוכיחים רווחיות. טענת מסחר מחייבת כלל החלטה, תזמון מידע, גודל פוזיציה, עלויות עסקה ומימון והערכת תשואות מחוץ למדגם. מדד הערכת תחזית אינו תשואת backtest.

קבעו יעד, אופק, מועד מקור, גרסת התוצאה וסוג ההתפלגות: רציפה, בדידה או מעורבת. שמרו כל CDF או מידע לשחזור שלה לצד התוצאה ומערך המידע. חשבו (F_t(Y_t)) לרציפה; בקפיצות תעדו PIT אקראית או אבחון בדיד מתאים.

בדקו את ההתפלגות השולית ואת הסדר בזמן. דווחו חלוקה למחלקות, גודל מדגם, טיפול בקשרים וזרע אקראי או הליך חזרות. הוסיפו בדיקות אי־תלות או התנייתיות לשאלה שהוגדרה מראש, עם הסקה המתאימה לחלונות מתגלגלים, אופקים חופפים ואמידה. השוו מודלים בנפרד בניקוד נאות על אותן תוצאות מוחזקות. המסקנה נוגעת לתחזיות ולתנאים שהוגדרו, ואינה מבטיחה כיול עתידי או רווח מסחר.