חלונות מתרחבים ומתגלגלים לאימות מודל Walk-Forward

במועד החיזוי, החוקר יודע חלק מהמאפיינים והתוצאות ההיסטוריים, מתאים או מעדכן מודל ומעריך אותו על מקטע מאוחר יותר. הזזת המועד קדימה יוצרת תקופות עוקבות מחוץ למדגם. כלל חלון האימון קובע אילו שורות עבר כשירות ישמשו בכל התאמה. כללי האימות והמבחן קובעים אילו תוצאות מאוחרות משמשות להשוואת אפשרויות ולהערכת ביצועים. אלו החלטות קשורות, אך הן לא אותו חלון.

כלל מתרחב מתחיל בגבול היסטורי קבוע וגדל כשמתפרסמות תוצאות חדשות. כלל מתגלגל מזיז את שני הקצוות קדימה ושומר על מספר תצפיות קבוע לאחר שלב החימום. בשני המקרים אסור להשתמש ביעד שטרם הסתיים במועד החיזוי. אם התוויות משתרעות על פני כמה ימי מסחר, תאריך השורה לבדו עלול לא להעיד מתי התוצאה נודעה; שמרו את זמן סיום התווית ואכפו אותו.

הפרידו גם בין טווח המבט לאחור של המאפיינים לבין חלון האימון. אות יכול לחשב תנודתיות לכל שורה מתקופה קצרה, בעוד המודל המותאם משתמש בשורות מכמה שנים. שינוי טווח המאפיין משנה את הקלטים; שינוי חלון האימון משנה את התצפיות לאמידת המודל.

נסמן ב־\(s\) את האינדקס של התצפית הכשירה הראשונה וב־\(t\) את האינדקס של התצפית האחרונה שהתווית שלה הושלמה בעת ההתאמה. קבוצת האימון היא \(\{s,s+1,\ldots,t\}\). במועד הבא היא נשארת ומתווספות אליה שורות חדשות כשירות. לכן גודלה גדל עם הזמן, אלא אם מסנן נפרד מסיר נתונים.

תצפיות נוספות עשויות להפחית את רעש הדגימה של הפרמטרים אם הנתונים הישנים עדיין מתארים את התהליך הנחקר. הן יכולות לשמר תקופות שוק נדירות ולחסוך בחירה שרירותית של נקודת חיתוך היסטורית. מנגד, שורות ישנות אינן מאבדות השפעה רק בגלל גילן. אם הקשר בין המאפיינים לתשואות השתנה, נתונים מוקדמים יכולים למשוך את האומדן לתנאים שכבר אינם דומים לשוק הנוכחי; התאמות גדולות גם עלולות להיות איטיות יותר. שמירת היסטוריה אינה הופכת אותה אוטומטית למייצגת יותר.

אם האורך הקבוע הוא \(W\), קבוצת האימון במועד \(t\) היא \(\{t-W+1,\ldots,t\}\), לאחר התחשבות בעיכוב התווית ובמרווח גבול אם נדרש. במועד הבא הקצה האחרון מתקדם והשורה הכשירה הישנה ביותר יוצאת. אפשר למדוד את האורך במספר תצפיות או בזמן קלנדרי, אך בנתונים לא סדירים היחידות אינן שקולות.

החלון המתגלגל קובע כלל לעדכניות. הוא עשוי להתאים לשאלת מחקר על הסתגלות לתנאים משתנים או לצורך תפעולי בגודל אימון קבוע. הוא אינו מסתגל אוטומטית: התאמות נדירות או שינוי הדרגתי עלולים לעכב את התגובה. טווח קצר מספק פחות מידע, עלול לייצב פחות את המקדמים, להשמיט תקופות לחץ נדירות או להשאיר מעט מדי דוגמאות למודל מורכב. טווח ארוך שומר היסטוריה מגוונת יותר אך עלול לדלל דפוסים חדשים.

גם יחידת המידה חשובה: אותו מספר שורות עשוי לכסות זמן קלנדרי שונה בשל ימים חסרים או תדירות אחרת. בנתוני פאנל הגדירו אם החלון מסיר שורות או קבוצות נכסים לפי תאריך. בחירת \(W\) אחרי צפייה בתוצאות המבחן הסופי מעבירה את הבחירה לתוך המבחן והופכת אותו ללא עצמאי.

כדי לבודד את מדיניות החלון, שמרו קבועים את מועד זמינות המידע, המאפיינים, סוג המודל, מטרת האימון, מועדי ההתאמה מחדש, אופק החיזוי, מקטעי המבחן והנחות הביצוע. אם המודל המתגלגל גם מתעדכן בתדירות אחרת או מקבל מאפיינים אחרים, אי אפשר לייחס את הפרש הציון לחלון בלבד.

הכללים גם אינם קובעים את מועד החיזוי. אפשר להעריך חלונות אימון מתרחבים ומתגלגלים עם נקודות חיזוי מתגלגלות: לאמן על עבר כשיר, לחזות את המקטע הבא, להתקדם ולחזור. הסקירה של Leonard Tashman על מבחני תחזית מחוץ למדגם00065-0) דנה גם בנקודות מוצא מתגלגלות וגם בחלונות אמידה מתגלגלים. האחד מתאר מתי מתבצעת ההערכה; האחר אילו שורות אימון נשארות.

המספרים והתאריכים בדוגמה היפותטיים. נניח שהמודל מותאם מחדש מדי חודש כדי לחזות את תשואת החודש הבא, וההתאמה הראשונה משתמשת ב־60 תצפיות כשירות עד חודש 120. תווית זמינה רק לאחר שהתוצאה הסתיימה. במועד החיזוי הראשון, שני הכללים משתמשים באותן 60 שורות אם אורך החלון המתגלגל הוא 60.

לאחר שתוצאה חודשית חדשה נודעת, החלון המתרחב מכיל 61 שורות כשירות; המתגלגל מוסיף את החדשה ומסיר את הישנה ביותר, כך שנשארות 60. לאחר 12 עדכונים, המתרחב מכיל 72 שורות מההתחלה המקורית, ואילו המתגלגל שומר את 60 האחרונות. האומדנים עשויים להיות שונים כי ההיסטוריה שונה, אף שכל שורה הייתה זמינה בעת ההתאמה הרלוונטית.

בדוגמה, שמרו את 24 החודשים האחרונים כמבחן חיצוני. בחרו את כלל החלון, האורך, הגדרת המאפיינים ושאר ההגדרות בתקופות אימות כרונולוגיות קודמות. לאחר מכן העריכו את הבחירה הקפואה לפי לוח ההתאמות שנקבע מראש. שינוי האורך לאחר צפייה בתוצאות המבחן החיצוני משתמש בתוצאותיו לבחירה ומפריז בעוצמת הראיות.

נסחו תחילה את השאלה: האם המודל אמור להשתמש בכל ההיסטוריה הזמינה בכל התאמה, או שיש סיבה מחקרית להוציא דוגמאות ישנות? האם מצפים שקשר היעד יהיה יציב, או שהמשתנים הרלוונטיים עשויים להשתנות? השאלות מנחות את המועמדים אך אינן מוכיחות מראש מה יעבוד טוב יותר בשוק מסוים.

השתמשו בנתוני פיתוח מוקדמים כדי להשוות קבוצה קטנה שהוגדרה מראש, כגון חלון מתרחב וכמה אורכים מתגלגלים סבירים, על אותם מקטעי אימות כרונולוגיים ובאותו קצב התאמה. קבעו את מטרת המדידה מראש: הפסד חיזוי, כיול, תועלת תיק לאחר עלויות מחזור וירידה מרבית עונים על שאלות שונות. שמרו על עלויות ומגבלות זהות ותעדו התאמות שנכשלו ותחזיות חסרות. כאשר מטרות או מקטעים חופפים, ציונים סמוכים עשויים לחלוק תשואות; תארו את התלות ואל תספרו כל שורה כניסוי עצמאי.

השאירו תקופה כרונולוגית מאוחרת יותר למבחן הסופי. בתכנון מקונן, האימות הפנימי בוחר חלון והגדרות אחרות רק על סמך נתונים שקדמו לכל מקטע מבחן חיצוני; התוצאות החיצוניות מעריכות את תהליך הבחירה כולו. המדריך לאימות צולב מטוהר מסביר גבולות של חפיפת תוויות; התאמת יתר במודלים פיננסיים ובדיקות מרובות מתארים סיכוני בחירה נוספים.

בכל נקודת מוצא השתמשו רק במאפיינים ובתוויות שהיו ידועים אז. תשואה קדימה על פני כמה ימי מסחר עשויה עדיין להיות לא גמורה סמוך לגבול האימות, אף שתאריך ההחלטה מוקדם ממנו. השאירו פער או טהרו שורות לפי מרווחי התוויות בפועל כשצריך; מספר שורות קבוע מתאים רק אם תדירות הנתונים ואופק התוצאה מצדיקים זאת. שום כלל חלון לא מתקן מאפיין שכולל מידע עתידי.

התאימו השלמת חסרים, שינוי קנה מידה, בחירת מאפיינים וקדם-עיבוד נלמד אחר רק על חלק האימון של כל fold. אם צריך לבחור סף או היפרפרמטר, השתמשו באימות כרונולוגי פנימי בתוך האימון וקבעו את הבחירה לפני ניקוד המקטע המאוחר. התיעוד הרשמי של scikit-learn ל־TimeSeriesSplit מתאר קבוצת אימון מתרחבת כברירת מחדל ואת max_train_size להגבלת גודלה. gap נספר בדגימות, והשוואת משכי fold דומים מניחה דגימות במרווחים שווים. בדקו בנפרד חותמות זמן, תוויות פיננסיות והגרסה שבה השתמשתם.

דווחו על כלל החלון ואורכו המדויק, התאריך המוקדם ביותר שנשמר, מספר השורות הכשירות בכל התאמה, כלל זמינות התוויות, תאריכי האימות והמבחן, אופק החיזוי ולוח ההתאמות. הציגו תוצאות לכל מקטע לצד סיכום מצרפי. ממוצע עלול להסתיר תקופת שוק אחת ששולטת בתוצאה, ותחזיות סמוכות עשויות לחלוק תשואות ולכן אינן ראיות עצמאיות.

דיוק תחזית אינו ביצועי מסחר נטו. בניית פוזיציה, מינוף, מחזור, נזילות, עמלות, מרווח, השפעת שוק, השאלה, מימון ועיתוי ביצוע משפיעים על התוצאה. שמרו את ההנחות קבועות וציינו מה הושמט. מחקרם של Cerqueira, Torgo ו־Mozetič על אמידת ביצועים בסדרות זמן מדווח שהאומדנים עשויים להשתנות בין תנאים סטציונריים ללא-סטציונריים. הוא אינו משווה ישירות מדיניות חלונות פיננסיות ואינו מוכיח כלל מנצח אוניברסלי.

התייחסו לכל בדיקת עבר כראיה על היסטוריה ותהליך מוגדרים. חלון מתרחב עשוי לשמר משטר מיושן; מתגלגל עשוי להשליך מידע שימושי ולהיות רועש. כלל נבחר עלול להיכשל במשטר, ביקום נכסים או בסביבת עלויות אחרת. אימות מצמצם אי-ודאות לגבי התהליך שנבדק, אך אינו מבטיח תשואה עתידית או מוכיח שחלון כלשהו מיטבי.