מבחן Pesaran–Timmermann: האם תחזית כיוונית מוסיפה מידע?

נניח שהשוק עלה ב־60% מהימים במדגם הערכה. החזאי צופה עלייה ב־70% מהימים האלה. גם אם התחזיות והתוצאות אינן קשורות, הן יסכימו לעיתים קרובות: בימים מסוימים שתיהן יצביעו על עלייה, ובאחרים שתיהן יצביעו על ירידה. השוואה אוטומטית של שיעור ההצלחה ל־50% מתעלמת מחוסר האיזון הזה.

מסגרת PT מנסחת את ההשוואה במפורש. היא שואלת אם כיוון התחזית והכיוון שהתממש תואמים לעיתים קרובות יותר מכפי ששכיחויותיהם הנפרדות היו מרמזות תחת הנחת העצמאות. זהו מבחן למידע חיזויי על כיוון, ולא ציון לגודל התשואות, לעיתוי העסקה או לערכה של אסטרטגיה שלמה. Pesaran ו־Timmermann הציגו מבחן לביצועים חיזויים באמצעות טבלאות שכיחויות; במקרה הבינארי 2×2 המבחן שלהם שקול אסימפטוטית למבחן עצמאות {source:pesaranTimmermannDirectionalTests1992}.

נסמן \(Y_t=1\) אם התוצאה שהתממשה מסווגת כעלייה, ו־\(Y_t=0\) אם היא מסווגת כירידה. נסמן \(Z_t=1\) אם התחזית צופה עלייה, ו־\(Z_t=0\) אם היא צופה ירידה. כל שורה בהערכה צריכה להתאים בין תחזית שנוצרה במועד \(t\) לבין התוצאה באופק שאותה תחזית נועדה לחזות.

ארבעת התאים סופרים זוגות עלייה/עלייה, עלייה/ירידה, ירידה/עלייה וירידה/ירידה. אם \(n_{11}\) ו־\(n_{00}\) הם שני תאי ההתאמה, ו־\(n\) הוא מספר הזוגות המותאמים והשמישים, שיעור ההצלחה הכיווני שנצפה הוא

\[ \widehat{P}=\frac{n_{11}+n_{00}}{n}. \]

הסיווג הזה בינארי. קבעו מראש כיצד לטפל בתשואה אפס, בתחזית אפס או בטווח ניטרלי. למשל, מחקר יכול לסווג תשואה שאינה חיובית כ״לא עלייה״, ולהחיל אותו כלל על תחזית הנמצאת בסף שלה או מתחתיו. אפשר גם להשמיט תיקו, אך הדבר משנה את המדגם ויש ליישם אותו בעקביות. אל תספרו אפס/אפס כסוג שלישי של התאמה כאשר אתם משתמשים בנוסחת קו בסיס של שתי קטגוריות.

גם מועד יצירת התחזית ואופק היעד שלה צריכים להתאים. אם \(Z_t\) חוזה את הסימן של התשואה המצטברת בחמשת ימי המסחר הבאים, \(Y_t\) צריך לסמן את הסימן של אותה תשואה לחמישה ימים מאותו מועד, ולא את התשואה של יום המסחר הבא בלבד. אחרת הטבלה תערבב אירועים שונים. תחזיות יומיות של תוצאות לחמישה ימים חופפים מתאימות לטבלה תיאורית, אך הן יוצרות את בעיית התלות שתידון בהמשך.

נסמן ב־\(\hat p_y\) את החלק המדגמי של התוצאות שהתממשו וסווגו כעלייה, וב־\(\hat p_z\) את החלק המדגמי של התחזיות הצופות עלייה. אם הסיווגים בפועל ובתחזית היו עצמאיים, שיעור ההתאמות הצפוי היה

\[ \widehat{P}^{*}=\hat p_y\hat p_z+(1-\hat p_y)(1-\hat p_z). \]

המכפלה הראשונה היא ההסתברות להתאמת עלייה/עלייה תחת עצמאות; השנייה היא ההסתברות להתאמת ירידה/ירידה. לכן קו הבסיס משתנה עם שני השיעורים השוליים. הוא עשוי להיות גבוה או נמוך מ־50%. תחזית שמציינת תמיד את הכיוון השכיח יותר יכולה להציג שיעור הצלחה מכובד לכאורה בלי להוסיף מידע.

מקרה קיצוני ממחיש זאת. אם מסווג צופה עלייה בכל מועד, אז \(\hat p_z=1\), שיעור ההצלחה שנצפה שווה לשיעור העליות בפועל \(\hat p_y\), וגם קו בסיס העצמאות שווה ל־\(\hat p_y\). לכן עודף ההתאמות הוא אפס מעצם הבנייה. תחזית קבועה כזאת עשויה להיראות מדויקת כאשר עליות נפוצות, אך היא אינה מבחינה בין הימים שבהם תהיה עלייה; גם השונות הנאמדת שלה עשויה להיות מנוונת, ולכן ייתכן שערך PT רגיל מסוג \(p\) כלל אינו מוגדר.

נבחן 100 מועדים מותאמים והיפותטיים. התוצאות בפועל עלו ב־60 מועדים, והתחזיות צפו עלייה ב־70 מועדים. הטבלה היא:

יש 64 התאמות, ולכן \(\widehat P=0.64\). קו בסיס העצמאות הוא \(0.60\times0.70+0.40\times0.30=0.54\). שיעור ההצלחה שנצפה גבוה מקו הבסיס ב־10 נקודות אחוז. המספרים המומצאים האלה מדגימים את החישוב; הפער לבדו אינו אומדן תקף של אי־ודאות ואינו הוכחה לביצועי מסחר מועילים.

עבור סטטיסטי PT הבינארי המקובל, נגדיר

\[ \widehat v=\frac{\widehat P^{*}(1-\widehat P^{*})}{n} \]

וגם

\[ \widehat w=\frac{(2\hat p_y-1)^2\hat p_z(1-\hat p_z)+(2\hat p_z-1)^2\hat p_y(1-\hat p_y)}{n}. \]

אזי

\[ PT=\frac{\widehat P-\widehat P^{*}}{\sqrt{\widehat v-\widehat w}}. \]

תחת השערת האפס והנחות המדגם הגדול המקובלות, ההתפלגות האסימפטוטית של הסטטיסטי היא נורמלית סטנדרטית. המונה מודד את עודף ההתאמות מעל קו בסיס העצמאות. המכנה מביא בחשבון את העובדה שקו הבסיס נאמד מאותו מדגם, ולא מטופל כיעד קבוע של 50%. תיעוד statsmodels מפרט את הנוסחה ואת הסימון {source:statsmodelsPesaranTimmermannAPI}.

הביטוי שלמעלה הוא צורת השונות האסימפטוטית מסדר ראשון המתועדת ב־statsmodels. נוסחת הדלתא המלאה יותר למדגם סופי בטיפול המקורי מוסיפה ל־\(\widehat w\) את האיבר \(4\hat p_y\hat p_z(1-\hat p_y)(1-\hat p_z)/n^2\). האיבר מסדר נמוך יותר אינו משנה את האסימפטוטיקה מסדר ראשון, אך הוא עשוי לשנות את הסטטיסטי במדגם סופי. אם התוצאות תלויות במימוש, ציינו באיזו נוסחה ובאיזו גרסת תוכנה השתמשתם; אל תשוו ערכי \(p\) כאילו כל החבילות מבצעות חישוב זהה במדגם סופי.

הנוסחה אינה מתקנת תכנון הערכה חלש. מדגם זעיר, תחזיות כמעט קבועות, תאים ריקים או שונות נאמדת שהיא אפס או ערך לא תקף עלולים להפוך את הקירוב המקובל ללא אמין או ללא מוגדר. במקרים כאלה אל תכפו חישוב של ערך \(p\). דווחו על השיעורים השוליים ועל הטבלה, ובחרו הליך הסקה שמתאים לנתונים ולגודל המדגם.

עבור הטבלה ההיפותטית שלמעלה, רכיבי הנוסחה מסדר ראשון הם \(\widehat v=0.54(0.46)/100=0.002484\) ו־\(\widehat w=[0.2^2(0.7)(0.3)+0.4^2(0.6)(0.4)]/100=0.000468\). שגיאת התקן היא \(\sqrt{0.002484-0.000468}\approx0.0449\), ולכן \(PT\approx0.10/0.0449=2.23\). לפי ההתפלגות הנורמלית הסטנדרטית, ערך \(p\) דו־צדדי הוא בקירוב 0.026. זהו חישוב על בסיס נתונים מומצאים ובנוסחה האסימפטוטית מסדר ראשון; האיבר המלא למדגם סופי משנה מעט את התוצאה, ותלות סדרתית עלולה לפסול את ההשוואה הנורמלית. אל תציגו זאת כתוצאה אמפירית.

מונה חיובי פירושו שהכיוונים שנצפו התאימו בתדירות גבוהה מזו שקו בסיס העצמאות מרמז עליה; מונה שלילי פירושו שפחות. מבחן חד־צדדי שנקבע מראש יכול לשאול אם שיעור ההתאמה גבוה מקו הבסיס. מבחן דו־צדדי שואל אם הקשר הכיווני שונה באחד משני הכיוונים. יש לבחור את ההשערה החלופית ואת רמת המובהקות לפני בחינת התוצאות.

ערך \(p\) קטן הוא ראיה נגד השערת האפס שנקבעה, תחת הנחות המבחן. הוא אינו ההסתברות שהשערת האפס נכונה, וגם לא ההסתברות שהתחזית תצליח בתקופה הבאה. הוא גם אינו אומר שהתשואות היו גדולות דיין לכיסוי המרווח בין קנייה למכירה, עמלות, השפעת שוק, מימון או עלויות השאלה. המבחן גם אינו מתקן בדיעבד ניסיונות רבים עם נכסים, אופקים, ספים, גרסאות מודל או סימני תחזית, כאשר מדווחים רק על המנצח. אם חיפשתם בין אסטרטגיות אפשריות, המדריך ל־White Reality Check מסביר מדוע יש להביא את הבחירה בחשבון בהסקה.

לעומת זאת, אי־דחיית השערת האפס אינה הוכחה לכך שהכיוונים עצמאיים. למדגם קצר או לא מאוזן עשוי להיות כוח נמוך לזהות קשר. מונה PT שלילי אינו מוכיח גם שאין בתחזית שום מבנה: הוא עשוי להעיד על אי־התאמה שיטתית. היפוך סימן התחזית לאחר צפייה בתוצאה הוא בחירת מודל חדשה, ויש להעריך אותה בנתונים חדשים או לכלול אותה בהליך החיפוש המקורי.

דווחו יחד על שיעור העליות בפועל, שיעור התחזיות לעלייה, שיעור ההצלחה שנצפה, קו בסיס העצמאות, השיפור בנקודות אחוז, ההשערה החלופית ושיטת אמידת אי־הוודאות. ערך \(p\) ללא שולי הטבלה וגודל האפקט מקשה להבחין בין שיפור קטן שאומד בדיוק לבין שיפור גדול יותר אך לא ודאי.

הסטטיסטי הרגיל של PT מוצג לעיתים קרובות תחת הנחה שהתצפיות הכיווניות עצמאיות לאורך זמן. אבל תוויות פיננסיות עשויות להגיע ברצפים. יעדים של כמה ימים בתצפיות יומיות יכולים לחפוף; משטרי תנודתיות יכולים להתמיד; ותחזיות מתגלגלות עשויות להשתמש שוב ושוב כמעט באותם נתוני אמידה. במקרה כזה \(n\) זוגות אינם שקולים ל־\(n\) פיסות מידע עצמאיות. שגיאת התקן המקובלת עלולה להיות קטנה מדי ולגרום לדחיות תכופות מדי.

Pesaran ו־Timmermann פיתחו בהמשך מבחנים לתלות בין משתנים רב־קטגוריים בעלי מתאם סדרתי, באמצעות רגרסיות מורחבות דינמית ומסגרת מרקוב מסדר סופי {source:pesaranTimmermannSerialCategories2009}. מחקר המתמקד בתחזיות כיווניות מוצא גם שהליכי PT קונבנציונליים המבוססים על עצמאות עלולים לדחות ביתר כשיש מתאם סדרתי, ובוחן חלופות עמידות לתלות, ובהן שיטות bootstrap {source:blaskowitzHerwartzDirectionalSerialCorrelation2014}. השיטה המתאימה תלויה בדרך יצירת התחזיות, באופק התחזית ובמבנה התלות; שיטת דגימה מחדש כללית אינה תקפה אוטומטית.

ציינו אם מועדי יצירת התחזיות חופפים, מה המרווח ביניהם ואיזו שיטה לטיפול בתלות משמשת לאמידת אי־הוודאות. אם אתם מציגים את הסטטיסטי מספר הלימוד כמדד תיאורי, ציינו את הנחת העצמאות. אל תפרשו תוצאה נומינלית של 5% כאילו שיעור דחיית השווא בפועל הוא 5% כאשר התכנון מפר את ההנחה.

שמרו עבור כל מועד תחזית את התחזית בדיוק כפי שהייתה זמינה אז, את אופקה, את מועד חיתוך המידע, את התוצאה שהתממשה ואת הכלל שממיר כל אחד מהם לתווית עלייה או ירידה. לפני בניית הטבלה, התאימו חותמות זמן, מכשירים, הגדרת מחיר או תשואה וטיפול בערכים חסרים. תחזית המבוססת על נתונים מאקרו־כלכליים מתוקנים או על אות שכּוונן בתקופת ההערכה אינה תחזית מחוץ למדגם שלא נגעה בה.

קבעו את סף הסיווג לפני צפייה בתוצאות ההחזקה. אם המודל פולט הסתברות, הסף ממיר אותה לכיוון בינארי; חיפוש ספים באותו מדגם משנה את השאלה ויוצר הטיית בחירה. הפרידו בין תפקידי האימון, האימות וההערכה הסופית. אם הליך דגימה מחדש אמור להביא בחשבון חיפוש מודלים, הריצו בתוכו מחדש את תהליך הבחירה המלא.

השאלה של PT שונה מהשוואת הגדלים של שגיאות תחזית. המדריך ל־Diebold–Mariano משווה הפרשי הפסד מזווגים, ואילו המדריך של Giacomini–White שואל אם יכולת החיזוי היחסית משתנה בהתאם למידע שנקבע מראש. למודלי תחזית מקוננים, ראו את המדריך לתיקון Clark–West. מבחנים אלה עונים על שאלות שונות ואין להחליף ביניהם רק מפני שהם מחזירים סטטיסטי מבחן מוכר.

מבחן PT מצמצם כל תוצאה לתווית כיוון אחת. עלייה בטיק אחד ועלייה חדה נספרות שתיהן כעלייה; החטאה קטנה והפסד כבד נספרים שניהם כשגיאת כיוון. לכן שיעור ההצלחה יכול לעלות ובכל זאת להפסיד כסף, אם ההחטאות גדולות מההצלחות, אם האות מגיע אחרי תנועת המחיר או אם עלויות המסחר שוחקות את היתרון.

לדוגמה, נניח 100 עסקאות היפותטיות בגודל שווה: 64 כיוונים נכונים מניבים רווח ממוצע של 0.10% כל אחד, ו־36 כיוונים שגויים גורמים הפסד ממוצע של 0.25% כל אחד. הסכום הגולמי הפשוט הוא \(64(0.10\%)-36(0.25\%)=-2.6\) נקודות אחוז לפני עלויות, למרות שיעור הצלחה של 64%. החישוב הפשוט במכוון מתעלם מריבית דריבית ואינו נתון שוק אמפירי; הוא ממחיש מדוע שיעור הצלחה לבדו אינו קובע את התוחלת.

כדי להעריך עסקה, הגדירו את עיתוי הכניסה והיציאה, גודל הפוזיציה, מגבלות הסיכון והטיפול בפקודות שלא בוצעו לפני חישוב התשואות. כללו, לפי הצורך, מרווח קנייה־מכירה, עמלות, החלקה, השפעת שוק, מימון ועלויות ייחודיות לזירת המסחר. השוו תשואות נטו מחוץ למדגם למדד ייחוס מתאים, והביאו בחשבון את אותו חיפוש של מבחנים רבים שהפיק את הכלל. תוצאת PT יכולה להיות חלק מהראיות לקשר כיווני; היא אינה תחליף להערכה ישימה שמתחשבת בעלויות.