金融の多重検定とFalse Discovery Rate

互いに独立な真の帰無仮説m個を各水準αで検定すると、一つ以上を誤棄却する確率は1−(1−α)^mです

α=0.05かつm=20なら、すべての帰無仮説が真でもその確率は約64%です

依存性は厳密な計算を変えますが、報告した勝者しか検定しなかったことにはできません

一つの研究主張で検討した全ファクター、変換、ユニバース、ラグ、期間、フィルター、モデル選択、再実行が族に含まれ得ます

結果を見た後で族を定義すると多重性を過小評価し、調整が無意味になるまで関連試行を分割できます

妥当な族は論文や画面に残った行でなく、意思決定過程と選択機会に沿って決めます

家族内誤差率は、定めた検定族で一つ以上の誤棄却を行う確率です

偽発見率はE[V/max(R,1)]で、Vは誤棄却数、Rは全棄却数です

偽主張一つの費用が大きいならFWERが厳格で、多数の候補から一定の偽割合を許せるならFDRが高い検出力を持ち得ます

Bonferroniは各仮説をα/mで検定し、独立性なしでFWERを制御しますが保守的な場合があります

Holmのステップダウン法もFWERを制御し、基本Bonferroni棄却規則より検出力が低くありません

Benjamini–Hochbergはp値を並べ、独立または一部の正依存でFDRを制御します。他の依存には正当化された方法が必要です

調整p値は、選んだ手続きで一つの仮説が棄却される最小の家族誤差水準です

q値は一般に、結果を発見と呼べる推定FDRの最小閾値と解釈され、方法と仮定に依存します

どちらも選択した一戦略が偽である確率ではなく、その文には別のモデルと条件付けが必要です

ファクター発掘、テクニカル規則、オプションシグナル、代替データ、制約、費用仮定は数千の相関試行を生みます

公表ファクターは過去の探索から選ばれており、新規ファクターを約2の単独t統計量で見ると累積発見圧力を無視します

共通資産と期間は検定を依存させ、レジーム変化は選択調整だけでは将来の経済成果を保証できなくします

全仮説、コード版、ユニバース、結果、変換、遅延、費用、停止選択を安定した研究識別子で記録します

発見、確認、実運用監視を分け、確認規則を凍結し、本当に未使用のデータまたは前向き評価を使います

生と調整後の証拠、族の定義、依存仮定、効果量、費用、安定性、棄却案、実運用での劣化を報告します