מבחן Clark–West לתחזיות מקוננות: נוסחה, דוגמה ומגבלות

נניח שמודל מוגבל חוזה את תשואת החודש הבא באמצעות קבוע, ואילו מודל גדול יותר מוסיף יחס הערכת שווי. המודל המוגבל מקונן בתוך הגדול: כאשר קובעים את המקדם הנוסף לאפס, חוזרים למודל הבסיס. גם אם המקדם אכן שווה לאפס, אמידתו עלולה להכניס רעש מדגמי לתחזיות המודל הגדול. לכן שגיאת התחזית הריבועית הממוצעת (MSPE) הנצפית שלו עשויה להיות גבוהה יותר אף שלשני המודלים יש אותו תוכן חיזויי באוכלוסייה.

תיקון Clark–West מטפל ברעש האמידה הזה בהשוואת שגיאות ריבועיות מחוץ למדגם של תחזיות מקוננות. במסגרת זו הוא שואל אם המודל הגדול מספק ערך חיזויי נוסף מעבר למודל הבסיס המוגבל. זו שאלה מצומצמת יותר מההשוואה הכללית במדריך Diebold–Mariano, המשווה הפסדי תחזיות מזווגים ואינה תקפה אוטומטית עם התפלגות הייחוס הרגילה שלה במקרה של מודלים מקוננים. Clark ו־McCracken חוקרים את ההבדלים בהתנהגות האסימפטוטית ובמדגמים סופיים של מבחני דיוק תחזיות והכלה למודלים מקוננים; Clark ו־West מפתחים את הליך ה־MSPE המתוקן ואת ההסקה המקורבת שלו. Clark and McCracken (2001)00071-9); Clark and West (2007).

מודל הבסיס המוגבל צריך לחזות את אותו יעד (y_{t+h}) כמו החלופה הגדולה יותר. המודל הגדול חייב לכלול את מפרט הבסיס כמקרה פרטי, בדרך כלל באמצעות קביעת מקדם נוסף אחד או יותר לאפס. מורכבות גדולה יותר, יותר משתנים או התאמה טובה יותר בתוך המדגם אינם מוכיחים את קשר הקינון.

בכל מועד תחזית, צרו את שתי התחזיות רק באמצעות המידע שהיה זמין באותו מועד. אמדו את המודלים בחלון אימון כרונולוגי, הפיקו תחזיות בחלון הערכה מאוחר יותר, והשתמשו באותו יעד, אופק, יחידות, מועדי תחזית וערכים שהתממשו עבור שניהם. אמידה חוזרת רקורסיבית או מתגלגלת עשויה להתאים, אך ציינו באיזו שיטה השתמשתם ושמרו את התחזיות שהופקו בפועל בכל מועד. בדיקות חוזרות של חלון ההערכה לצורך בחירת משתני חיזוי, טרנספורמציות או אופקים הופכות אותו לחלק מבחירת המודל ולא לראיה שלא נגעה בה. מדריך CAViaR ממחיש מדוע יש להעריך תחזית של קוונטיל זנב לפי הפסד שמתאים ליעד שלה, ולא לשלב אותה בהשוואת תחזיות ממוצע.

תיקון Clark–West עוסק ברעש אמידת הפרמטרים תחת השערת האפס של מודל מקונן; הוא אינו מתקן שימוש במידע עתידי, מדגמים שאינם תואמים, נתונים מתוקנים כאילו היו ידועים בזמן אמת או חיפוש מודלים שלא דווח. דווחו על חלון האמידה הראשוני, מספר מועדי התחזית, האופק, גרסת הנתונים ועדכונים מתגלגלים או רקורסיביים, כדי שהקוראים יוכלו לזהות מה באמת היה מחוץ למדגם.

נסמן את תחזית המודל המוגבל ב־f₀,t+h, את תחזית המודל הגדול ב־f₁,t+h ואת שגיאת התחזית j ב־eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h. כאשר משתמשים בהפסד ריבועי, הפרש Clark–West המתוקן לכל תקופה הוא:

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

באופן שקול, זהו השגיאה הריבועית של המודל המוגבל פחות השגיאה הריבועית של המודל הגדול, בתוספת ריבוע המרחק בין התחזיות. האיבר האחרון אומד את רעש התחזית הנוסף שקשור לפרמטרים שנאמדו מעבר לנדרש, תחת השערת האפס. Clark ו־West מתארים את התיקון כהפחתת איבר פער התחזיות מה־MSPE המדגמי של המודל הגדול לפני השוואתו למודל המוגבל. Clark and West (2007).

חשבו את ממוצע ההפרשים המתוקנים על פני מועדי ההערכה המשותפים: mean(dCW) = (1/P) Σ dCW,t+h. אם התוצאות והתחזיות נמדדות בנקודות בסיס, יחידות השגיאה הריבועית וההפרש המתוקן הן נקודות בסיס בריבוע. לפי המוסכמה לעיל, ממוצע מתוקן חיובי נוטה לטובת המודל הגדול. זהו ציון השוואה מתוקן, לא ה־MSPE שהתממש של המודל הגדול ולא תחזית לשימוש במסחר.

השאלה הרגילה של מבחן Clark–West היא אם ל־MSPE הצפוי של המודל המקונן הגדול יש ערך נמוך מזה של מודל הבסיס המוגבל. השערת האפס מייצגת היעדר שיפור חיזויי נוסף מהרכיב שהוסף; החלופה החד־צדדית תומכת במודל הגדול. לפי הנוסחה לעיל, ממוצע מתוקן חיובי מספיק ביחס לשגיאת התקן שלו תומך בחלופה.

בסימון של ההפסד המתוקן, ההשערות הן H₀: E[dCW] = 0 מול H₁: E[dCW] > 0. הכיוון החיובי נובע מכך שהפסד המודל המוגבל מופיע ראשון. אם הופכים את סדר החיסור, גם הסימן מתהפך; ציינו את המוסכמה לצד התוצאה.

סטטיסטי המבחן נכתב לעיתים קרובות כממוצע המדגם של dCW חלקי שגיאת התקן המוערכת שלו. עבור ההגדרות שנחקרו, Clark ו־West ממליצים על מבחן חד־צדדי בקירוב נורמלי עם שגיאת תקן רגילה או עקבית לאוטוקורלציה לפי הצורך. West (1996) מפתח הסקה לגבי מומנטים של פונקציות חלקות של תחזיות ושגיאות מחוץ למדגם, לרבות מצבים שבהם התחזיות תלויות בפרמטרים שנאמדו. יש לבחור את הכיוון לפני שרואים תוצאות: סטטיסטי Clark–West חיובי אינו היתר לעבור בדיעבד להשערה דו־צדדית או בעלת סימן אחר.

ערך ה־p מותנה בקשר הקינון, באופן בניית התחזיות, ביעד, בהפסד, בשיטת ההסקה ובהנחות הדגימה. הוא אינו נותן את ההסתברות שהמודל הגדול נכון ואינו מוכיח שמשתנה חיזוי נוסף גורם לתזוזת היעד.

נבחן ארבע תצפיות היפותטיות בנקודות בסיס. הערכים בפועל הם [0, 1, −1, 0], תחזיות המודל המוגבל הן [−1, 0, 0, 0] ותחזיות המודל הגדול המקונן הן [−1.5, 0.5, −0.5, 0.5]. השגיאות הריבועיות של המודל המוגבל הן [1, 1, 1, 0], וה־MSPE הממוצע הוא 0.75 bp². השגיאות הריבועיות של המודל הגדול הן [2.25, 0.25, 0.25, 0.25], וגם ה־MSPE הממוצע שלהן הוא 0.75 bp².

פערי התחזית בריבוע (f₀ − f₁)² הם [0.25, 0.25, 0.25, 0.25]. הצבתם בהפרש המתוקן e₀² − e₁² + (f₀ − f₁)² נותנת [−1, 1, 1, 0] bp². ממוצע המדגם הוא 0.25 bp². ה־MSPE הגולמיים שווים, ואילו הממוצע המתוקן חיובי מפני שהתיקון מביא בחשבון את רעש אמידת התחזיות של המודל הגדול.

ארבע התקופות האלה מדגימות את החשבון בלבד. הן מעטות מדי להערכת אי־ודאות אמינה או לקביעת מובהקות סטטיסטית. הממוצע המתוקן החיובי אינו כשלעצמו ראיה ליתרון חיזויי ממשי, והערכים היפותטיים ולא תצפיות שוק. <!-- learn:illustration -->

גם תחזיות של צעד אחד עשויות להניב הפרשי הפסד מתוקנים עם תלות סדרתית, משום שהיעד, המשתנים המסבירים או חלון האמידה מתפתחים לאורך הזמן. בתחזיות חופפות למספר צעדים, מועדי תחזית סמוכים חולקים תקופות יעד שהתממשו, ולכן ההפרשים המתוקנים שלהם עשויים להיות מתואמים מעצם המבנה. שגיאת תקן רגילה שמתייחסת לכל מועד כאל תצפית עצמאית עלולה להמעיט באי־הוודאות.

אמדו את שגיאת התקן מסדרת ההפרשים המתוקנים בשיטה שמתאימה לתכנון הדגימה, כגון אומדן שונות ארוכת־טווח חסין להטרוסקדסטיות ולאוטוקורלציה כשהתנאים לכך מתקיימים. Clark ו־West מציינים במפורש שגיאות תקן חסינות לאוטוקורלציה כאשר שגיאות התחזית מתואמות סדרתית. ציינו את אופק התחזית, אומדן השונות המשותפת, הגרעין ורוחב הפס אם השתמשתם בהם, וכל שיטת דגימה מחדש או ערך קריטי. מדריך ה־block bootstrap מסביר מדוע דגימה מחדש של תצפיות סדרתיות תלויות צריכה לשמר את מבנה הסדר; bootstrap כללי אינו מממש אוטומטית את השערת האפס של Clark–West.

אופן הטיפול בתלות הנדרש תלוי בתכנון. אופקים ארוכים, יעדים מתמידים, אמידה חוזרת של פרמטרים ושינויים בתנודתיות יכולים ליצור תלות מעבר לדפוס החפיפה הפשוט. השוו הגדרות הסקה סבירות והסבירו אותן במקום לבחור בזו שמניבה את ערך ה־p הקטן ביותר.

למבחני תחזית של מודלים מקוננים עשויות להיות התפלגויות אפס לא־סטנדרטיות, במיוחד כאשר מדגמי האמידה וההערכה גדלים יחד. הניתוח של Clark ו־McCracken מראה שמבחני שוויון דיוק והכלה לתחזיות מקוננות מתנהגים אסימפטוטית ובמדגמים סופיים אחרת מההשוואה המוכרת בין מודלים שאינם מקוננים. Clark ו־West מציעים סטטיסטי מתוקן עם הסקה שימושית בקירוב נורמלי בתכנונים שנחקרו, אך אין בכך הבטחה אוניברסלית למדגם סופי. Clark and McCracken (2001)00071-9); Clark and West (2007).

מדגם הערכה קטן, פרמטרים נוספים רבים, מודל בסיס שגוי, בחירת משתני חיזוי לפי הנתונים והבחירה בין אמידה מתגלגלת לרקורסיבית יכולים להשפיע על גודל המבחן ועל עוצמתו. כאשר המדגם או התכנון שונים מהותית מהמצבים שבמאמר, שקלו ערכים קריטיים המתאימים לתכנון או הליך סימולציה/bootstrap שהוגדר בקפידה. דווחו על גדלי מדגמי האמידה וההערכה והבהירו מאיזו התפלגות ייחוס התקבל ערך ה־p.

מבחן Diebold–Mariano שואל אם לשתי סדרות של הפסדי תחזית יש הפסד צפוי שווה במסגרת כללית של הפסדים מזווגים. תיקון Clark–West מיועד להשוואות של שגיאות ריבועיות שבהן מודל אחד מקנן את האחר, ופרמטרים נוספים שנאמדו מעוותים תחת השערת האפס את הפרש ה־MSPE הגולמי. החלת התיקון ללא הצדקה על מודלים שאינם מקוננים משנה את השאלה. המאמר המקורי של DM מאפשר מגוון רחב של מדדי הפסד ודנה בשגיאות תחזית שאינן חייבות להיות גאוסיות או בלתי תלויות; הוא מקור קרוב בספרות, לא שם נרדף להליך למודלים מקוננים. Diebold and Mariano (1995).

אף אחת מהשיטות אינה פותרת את דרגות החופש של החוקר הנובעות מניסוי של יעדים, אופקים, מודלי בסיס וקבוצות משתני חיזוי רבים. אם ההשוואה הסופית נבחרה מתוך חיפוש רחב, תעדו את משפחת המועמדים והשתמשו בשיטה שנועדה לשאלה ברמת החיפוש. המדריך ל־White Reality Check ול־Hansen SPA עוסק בהסקה על משפחה שלמה של כללי מסחר שנבדקו; מבחן Clark–West לבדו אינו הופך השוואת תחזיות שנבחרה למבחן מאשש.

תוצאה חד־צדדית מובהקת היא ראיה, תחת ההנחות שצוינו, לכך שהמודל הגדול משפר את דיוק התחזית הריבועית הצפוי עבור היעד ותכנון ההערכה שנבדקו. היא אינה מראה שמשתנה החיזוי הנוסף סיבתי, שהאות יישאר יציב או שאסטרטגיה המשתמשת בתחזית תניב תשואות חיוביות. ייתכן שהשיפור קטן מכדי להשפיע על החלטות, והיתרונות הגדולים ביותר של המודל עשויים להתרחש בתקופות שבהן המסחר יקר.

רווחיות מסחר דורשת כלל נפרד, נתוני הערכה שלא נגעו בהם ועמלות, מרווחים, החלקה, השפעת שוק, מימון, עלויות השאלה ומגבלות סיכון מציאותיים. טענות סיבתיות דורשות אסטרטגיית זיהוי שמתאימה לשאלה; השוואת תחזיות לאחר המדגם אינה תכנון סיבתי. ציינו מה תוצאת Clark–West אכן מבססת, והשאירו טענות אחרות לראיות שבודקות אותן בפועל.

ציינו את המודל המוגבל ואת הגדול, את המגבלות המדויקות שיוצרות את הקינון, והגדירו את היעד, האופק, יחידות השגיאות הריבועיות, חלון האמידה, לוח מועדי התחזיות, תאריכי ההערכה וכלל המדגם המשותף. הסבירו אם המקדמים נאמדים מחדש רקורסיבית או בחלון מתגלגל וכיצד נשמרים מערך המידע וגרסאות הנתונים.

דווחו על ערכי ה־MSPE הגולמיים של שני המודלים, ממוצע הפרש Clark–West המתוקן, מוסכמת הסימן, שגיאת התקן, החלופה החד־צדדית, התפלגות הייחוס או הערכים הקריטיים, ערך ה־p ואומדן התלות. חשפו גם את מספר הפרמטרים הנוספים, גדלי המדגם, חיפושי משתנים ואופקים, בחירת מודל הבסיס והאם חלון ההערכה השפיע על תכנון המודל. כך הקוראים יוכלו להבדיל בין מבחן מתוקן למודלים מקוננים לבין השוואת תחזיות כללית ולבחון את אי־הוודאות שנותרה.