全部期权指南
研究大量想法时单一阈值失效的原因阅读约16分钟
金融多重检验与False Discovery Rate
理解多重比较、族错误率、错误发现率、Bonferroni、Holm、Benjamini–Hochberg、依赖、q值、因子挖掘、回测选择与研究治理
由 Mark 编写 · 官方资料列于文末
直接答案
同时搜索大量假设、策略、因子、资产、期限或规格时就会产生多重检验。即使单项p值有效，也会出现偶然赢家。族错误率控制至少一次错误拒绝的概率，错误发现率则在假设下控制所有拒绝中错误比例的期望。问题大小由完整研究族决定，而不是最终展示的表格
更多检验会产生更多偶然赢家
若m个相互独立的真原假设都以水平α检验，至少一次错误拒绝的概率为1−(1−α)^m
当α=0.05且m=20时，即使所有原假设都为真，该概率也约为64%
依赖会改变精确计算，却不能成为假装只检验过报告赢家的理由
检验族定义错误问题
一个研究主张所考虑的全部因子、变换、资产范围、滞后、期限、筛选、模型选择与重跑都可能属于同一检验族
看到结果后才定义检验族会低估多重性，并允许把相关试验拆分到调整失去意义
可辩护的检验族应跟随决策过程与选择机会，而不是论文或仪表板中幸存的行
FWER与FDR控制不同损失
族错误率是检验族中至少出现一次错误拒绝的概率
错误发现率是E[V/max(R,1)]，其中V为错误拒绝数，R为全部拒绝数
任何错误主张都代价高昂时FWER更严格；筛选许多候选且可容忍受控错误比例时FDR通常更有功效
调整程序需要各自假设
Bonferroni以α/m检验每项，无需独立性即可控制FWER，但可能较保守
Holm逐步下降法也控制FWER，且检验力不会低于基本Bonferroni拒绝规则
Benjamini–Hochberg排序p值，在独立与某些正依赖下控制FDR；其他依赖结构需要有根据的方法
调整值不是后验真相概率
调整p值是在选定程序下使某假设被拒绝的最小族错误水平
q值通常解释为把一项结果称为发现所需的最小估计FDR阈值，并取决于方法与假设
两者都不是某个选中策略为假的概率；该陈述需要不同模型与清晰的条件
金融隐藏着庞大的适应性检验族
因子挖掘、技术规则、期权信号、替代数据、组合约束与成本假设会创造数千个相关试验
已发表因子来自历史搜索，用接近2的孤立t统计量评价新因子会忽视累积发现压力
共同资产与期间造成检验依赖，而状态变化意味着选择调整不能保证未来经济表现
治理必须保留搜索记录
以稳定研究标识记录每个假设、代码版本、资产范围、结果、变换、延迟、成本与停止选择
分开发现、确认与实盘监测；冻结确认规则并使用真正未触碰的数据或前瞻评估
报告原始与调整证据、检验族定义、依赖假设、效应量、成本、稳定性、被拒想法与实盘退化
常见问题
什么是多重检验问题？
它是在许多假设中检验并挑选赢家，却像每项独立存在一样评价，导致错误发现增加的问题
FWER与FDR有什么不同？
FWER控制至少一次错误拒绝的概率；FDR控制全部拒绝中错误拒绝比例的期望
Benjamini–Hochberg如何工作？
它排序p值，与随排名变化的阈值比较，并在假设下拒绝到满足条件的最大排名
控制FDR能让交易策略可靠吗？
不能。它处理定义检验族中的选择错误，不处理状态变化、成本、泄漏、模型风险或未来盈利能力
资料来源与延伸阅读
把这个概念应用到一份期权
选择合约和目标，让价格、时间与波动率假设在同一份分析中清晰呈现
分析我的期权