所有選擇權指南
研究大量想法時單一門檻失效的原因閱讀約16分鐘
金融多重檢定與False Discovery Rate
理解多重比較、家族錯誤率、錯誤發現率、Bonferroni、Holm、Benjamini–Hochberg、相依、q值、因子發掘、回測選擇與研究治理
由 Mark 撰寫 · 官方資料列於文末
直接解答
同時搜尋大量假設、策略、因子、資產、期限或規格時，就會產生多重檢定。即使單項p值有效，也會出現偶然勝出者。家族錯誤率控制至少一次錯誤拒絕的機率，錯誤發現率則在假設下控制所有拒絕中錯誤比例的期望。問題大小由完整研究族決定，而不是最終展示的表格
更多檢定會產生更多偶然勝出者
若m個互相獨立的真虛無假設都以水準α檢定，至少一次錯誤拒絕的機率為1−(1−α)^m
當α=0.05且m=20時，即使所有虛無假設都為真，該機率也約為64%
相依會改變精確計算，卻不能成為假裝只檢定過報告勝出者的理由
檢定族定義錯誤問題
一個研究主張所考慮的全部因子、轉換、資產範圍、落後期、期限、篩選、模型選擇與重跑，都可能屬於同一檢定族
看到結果後才定義檢定族會低估多重性，並允許把相關試驗拆分到調整失去意義
可辯護的檢定族應跟隨決策過程與選擇機會，而不是論文或儀表板中留下的列
FWER與FDR控制不同損失
家族錯誤率是檢定族中至少出現一次錯誤拒絕的機率
錯誤發現率是E[V/max(R,1)]，其中V為錯誤拒絕數，R為全部拒絕數
任何錯誤主張都代價高昂時FWER更嚴格；篩選大量候選且可容忍受控錯誤比例時FDR通常更有檢定力
調整程序需要各自假設
Bonferroni以α/m檢定每項，無需獨立性即可控制FWER，但可能較保守
Holm逐步下降法也控制FWER，且檢定力不會低於基本Bonferroni拒絕規則
Benjamini–Hochberg排序p值，在獨立與某些正相依下控制FDR；其他相依結構需要有根據的方法
調整值不是後驗真相機率
調整p值是在選定程序下使某假設被拒絕的最小家族錯誤水準
q值通常解釋為把一項結果稱為發現所需的最小估計FDR門檻，並取決於方法與假設
兩者都不是某個選中策略為假的機率；該陳述需要不同模型與清楚的條件
金融隱藏龐大的適應性檢定族
因子發掘、技術規則、選擇權訊號、另類資料、投資組合限制與成本假設會創造數千個相關試驗
已發表因子來自歷史搜尋，用接近2的孤立t統計量評價新因子會忽視累積發現壓力
共同資產與期間造成檢定相依，而狀態變化表示選擇調整不能保證未來經濟表現
治理必須保留搜尋記錄
以穩定研究識別碼記錄每個假設、程式版本、資產範圍、結果、轉換、延遲、成本與停止選擇
分開發現、確認與實盤監控；凍結確認規則並使用真正未觸碰的資料或前瞻評估
報告原始與調整證據、檢定族定義、相依假設、效果量、成本、穩定性、被拒想法與實盤退化
常見問題
什麼是多重檢定問題？
它是在很多假設中檢定並挑選勝出者，卻像每項獨立存在般評價，使錯誤發現增加的問題
FWER與FDR有何不同？
FWER控制至少一次錯誤拒絕的機率；FDR控制全部拒絕中錯誤拒絕比例的期望
Benjamini–Hochberg如何運作？
它排序p值，與隨排名變化的門檻比較，並在假設下拒絕到符合條件的最大排名
控制FDR能使交易策略可靠嗎？
不能。它處理已定義檢定族中的選擇錯誤，不處理狀態變化、成本、洩漏、模型風險或未來獲利能力
資料來源與延伸閱讀
把這個概念應用到一份期權
選擇合約和目標，讓價格、時間與波幅假設在同一份分析中清晰呈現
分析我的期權