פשרת ההטיה–שונות והתאמת־יתר של מודלים פיננסיים

בהפסד ריבועי ולמשתנה קלט קבוע x, שגיאת הבדיקה הצפויה מתפרקת להטיה בריבוע, שונות האומד ורעש מותנה שאינו ניתן לצמצום

הטיה משווה בין תחזית ההתאמה הממוצעת על פני קבוצות אימון היפותטיות לבין הממוצע המותנה האמיתי

שונות מודדת עד כמה התחזית המותאמת משתנה בין קבוצות האימון האלה; זו אינה השונות של תשואות השוק

מודל נוקשה מדי עלול להתעלם מתגמולים לא־ליניאריים, מאינטראקציות, משינוי לאורך זמן או מגורמי סיכון חשובים

גם שגיאות האימון וגם שגיאות הבדיקה עשויות להיות גרועות, והוספת מבנה רלוונטי או מאפיינים טובים יותר יכולה להפחית את השגיאה השיטתית

שונות נמוכה אינה הצלחה כאשר המודל חוזה באופן עקבי את הכמות הלא נכונה או משתמש ביעד שאינו תואם להחלטה

מודל גמיש יכול להתאים את עצמו לחריגים, לרעש, לתוצרים מלאכותיים של מיקרו־מבנה ולדפוסי משטר חד־פעמיים שאינם חוזרים

שגיאת האימון יורדת, בעוד שהביצועים משתנים בחדות בין דגימות־מחדש, חלונות, זרעים או בחירות מפרט קטנות

רגולריזציה, איגום, מאפיינים פשוטים יותר, מדגמים אפקטיביים גדולים יותר ומיצוע יכולים להפחית שונות, אך גם להכניס או לשמר הטיה

רוחב החיפוש, בניית מאפיינים, כללי עצירה, כוונון היפר־פרמטרים ואיטרציות של האנליסט מגדילים כולם את הגמישות האפקטיבית

מודלים מודרניים אינם חייבים לעקוב אחר עקומת שגיאה פשוטה בצורת U, אך תצפיות על אינטרפולציה או double descent אינן מבטלות את סיכון התיקוף

המורכבות הרלוונטית היא תהליך המחקר ההסתגלותי כולו, כולל מודלים שנפסלו ולעולם אינם מופיעים בדוח הסופי

פיצול אקראי של שורות עלול לדלוף תוויות חופפות, נרמול עתידי, שינויים בהרכב המדד ומידע ממשטרים סמוכים

השתמשו בקבוצות שמור כרונולוגיות, בהערכה מתגלגלת קדימה, בתקופות חסימה כאשר התוויות חופפות ובהנחות על עלויות עסקה שנקבעו לפני הבדיקה

הביצועים צריכים להיות יציבים לאורך תתי־תקופות, נכסים, עלויות סבירות, עיכובים ושיבושים, ולא רק חיוביים בבדיקה לאחור אחת

ניסיון של אסטרטגיות רבות ודיווח רק על הטובה ביותר גורם ליחס שארפ, לסטטיסטי t או לירידה המרבית שלה להיראות טובים יותר רק מכוח הבחירה

White’s Reality Check ושיטות קשורות לבדיקות מרובות מתמודדות עם החיפוש בין חלופות, תחת ההנחות שלהן

קבוצת בדיקה סופית שלא נגעו בה עוזרת רק אם היא נשארת ללא מגע; צפייה חוזרת הופכת גם אותה לקבוצת אימון נוספת

תעדו כל השערה, מאפיין, יקום, חלון, עלות ודחייה שנבדקו, כדי שמספר הניסויים לכאורה לא יהיה חסר

הפרידו בין גילוי חוקר לבין אישור, רשמו מראש בדיקות מכריעות במידת האפשר, ודרשו מנגנונים כלכליים ומקרי כשל

דווחו על התפלגויות ביצועים, טווחי סמך, מחזור מסחר, קיבולת, הפסדי קיצון והידרדרות מהמחקר למסחר חי