全部期权指南
模型能解释历史却败给下一期的原因阅读约15分钟
Bias–Variance Tradeoff与金融模型过拟合
理解预测偏差、估计方差、不可约噪声、模型复杂度、时间序列验证、数据窥探与回测过拟合,以及金融模型治理
由 Mark 编写 · 官方资料列于文末
直接答案
Bias–Variance Tradeoff把系统性模型不匹配造成的预测误差,与训练样本敏感性造成的误差分开。过拟合发生在模型或策略把样本特有噪声当作可重复结构时。金融中的反复回测与状态变化让这两个问题格外严重
预测误差有多种来源
在固定输入x的平方损失下,预期测试误差分解为偏差平方、估计器方差与不可约条件噪声
偏差比较假想训练集上的平均拟合预测与真实条件均值
方差衡量拟合预测随训练集变化的程度,并不是市场收益的方差
高偏差会遗漏持久结构
过于僵化的模型可能忽视非线性收益、交互、时间变化或重要风险因子
训练和测试误差都可能很差,增加相关结构或更好特征可减少系统误差
如果模型始终预测错误量或目标与决策错位,低方差也不代表成功
高方差会学习偶然细节
灵活模型可能拟合不会重复的离群值、噪声、微观结构伪影和一次性状态模式
训练误差下降,但结果会随重抽样、窗口、随机种子或微小设定选择而剧烈变化
正则化、池化、简单特征、更大有效样本与平均化可降低方差,但会增加或保留偏差
复杂度不只是参数数量
搜索广度、特征构造、停止规则、超参数调节与分析者迭代都会增加有效灵活度
现代模型不一定遵循简单U形误差曲线,但插值或Double Descent并不消除验证风险
相关复杂度是整个适应性研究过程,包括最终报告中看不到的已舍弃模型
金融验证必须尊重时间
随机行分割可能泄漏重叠标签、未来标准化、成分变化与邻近状态信息
使用按时间留出、Walk-forward评估、标签重叠时的Embargo及测试前固定的交易成本
表现应跨子期间、资产、合理成本、延迟与扰动稳定,而不只是在一次回测中为正
数据窥探会增加错误发现
尝试很多策略而只报告最佳者,会仅因选择使其Sharpe Ratio、t统计量或回撤看起来更好
White的Reality Check及相关多重检验方法在各自假设下处理替代方案搜索
最终留出集只有在始终未查看时才有帮助;反复查看会把它变成另一个训练集
治理必须记录研究路径
记录所有测试的假设、特征、范围、窗口、成本与拒绝,避免低报实际试验次数
分离探索与确认,在可行时预注册决定性检验,并要求经济机制与失败案例
报告表现分布、置信范围、换手、容量、尾部损失及从研究到实盘的退化
常见问题
什么是Bias–Variance Tradeoff?
它是限制性假设带来的系统预测误差与拟合样本特有变化造成的不稳定之间的权衡
什么是金融模型过拟合?
它是学习改善回测却无法泛化到未来决策的历史噪声或一次性结构
为什么金融中随机训练测试分割有风险?
时间依赖、重叠标签、预处理与状态邻近可能让未来信息跨分割泄漏
最终留出集能防止所有回测过拟合吗?
不能。它仅在未被反复查看时有帮助,也无法修复巨大隐性搜索、状态变化、错误成本或目标
资料来源与延伸阅读
把这个概念应用到一份期权
选择合约和目标,让价格、时间与波动率假设在同一份分析中清晰呈现
分析我的期权