בדיקות מרובות ושיעור גילוי שגוי במימון

אם m השערות אפס בלתי־תלויות אמיתיות נבדקות כל אחת ברמה α, ההסתברות לדחייה שגויה אחת לפחות היא 1−(1−α)^m

כאשר α=0.05 ו־m=20, ההסתברות הזו היא כ־64%, אף שלכל בדיקה בודדת יש שיעור דחייה שגויה נומינלי של 5%

תלות משנה את החישוב המדויק, אך אינה מצדיקה העמדת פנים כאילו נבדק רק המנצח שדווח

משפחת בדיקות יכולה לכלול את כל הגורמים, הטרנספורמציות, היקומי הנכסים, ההשהיות, האופקים, המסננים, בחירות המודל וההרצות החוזרות שנשקלו עבור טענה מחקרית אחת

הגדרת המשפחה לאחר צפייה בתוצאות ממעיטה בריבוי ומאפשרת לחוקרים להפריד ניסויים קשורים עד שהתיקון נעשה חסר משמעות

המשפחה הניתנת להגנה עוקבת אחר תהליך ההחלטה והאפשרות לבחור, ולא רק אחר השורות ששורדות לתוך מאמר או לוח מחוונים

שיעור השגיאה המשפחתית הוא ההסתברות לבצע לפחות דחייה שגויה אחת בתוך המשפחה

שיעור הגילויים השגויים הוא E[V/max(R,1)], כאשר V הוא מספר הדחיות השגויות ו־R הוא המספר הכולל של הדחיות

FWER מחמיר יותר כאשר כל טענה שגויה יקרה; FDR לעיתים עוצמתי יותר כאשר סריקת מועמדים רבים יכולה לסבול שיעור שגוי מבוקר

Bonferroni בודק כל השערה ברמה α/m ושולט ב־FWER ללא צורך באי־תלות, אף שהוא עלול להיות שמרני

שיטת הירידה המדורגת של Holm שולטת גם היא ב־FWER ולעולם אינה פחות עוצמתית מכלל הדחייה הבסיסי של Bonferroni

Benjamini–Hochberg מסדר ערכי p ושולט ב־FDR תחת אי־תלות ותלות חיובית מסוימת; מבני תלות אחרים דורשים שיטות מוצדקות

ערך p מתוקן הוא רמת השגיאה המשפחתית הקטנה ביותר שבה השערה הייתה נדחית תחת הליך נבחר

ערך q מתפרש בדרך כלל כאומדן לסף ה־FDR המינימלי לקריאת תוצאה כגילוי, בכפוף לשיטה ולהנחות

אף אחד מהגדלים הללו אינו ההסתברות האוטומטית שאסטרטגיה נבחרת אחת שגויה; לכך נדרשים מודל אחר וטענת התניה אחרת

כריית גורמים, כללים טכניים, אותות אופציות, נתונים חלופיים, אילוצי תיק והנחות על עלויות יוצרים אלפי ניסויים מתואמים

גורמים שפורסמו נבחרים מתוך חיפושים קודמים, ולכן הערכת גורם חדש מול סטטיסטיקת t מבודדת הקרובה לשתיים מתעלמת מלחץ הגילוי המצטבר

נכסים ותקופות משותפים הופכים את הבדיקות לתלויות, בעוד שינוי משטרים פירושו שתיקון לבחירה אינו יכול להבטיח ביצועים כלכליים בעתיד

תעד כל השערה, גרסת קוד, יקום נכסים, תוצאה, טרנספורמציה, דחיה, עלות ובחירת עצירה עם מזהה מחקר יציב

הפרד בין גילוי, אישור וניטור חי; הקפא את כללי האישור והשתמש בנתונים שלא נגעו בהם באמת או בהערכה פרוספקטיבית

דווח על ראיות גולמיות ומתוקנות, הגדרת המשפחה, הנחות התלות, גדלי האפקט, עלויות, יציבות, רעיונות שנדחו והידרדרות חיה