Todas las guías de opciones
Por qué un único umbral falla al probar muchas ideas16 min de lectura
Pruebas Múltiples y False Discovery Rate en Finanzas
Entiende comparaciones múltiples, error familiar, tasa de falsos descubrimientos, Bonferroni, Holm, Benjamini–Hochberg, dependencia, q-valores, minería de factores, selección de backtests y gobierno investigador
Preparado por Mark · Fuentes principales al final
Respuesta directa
Las pruebas múltiples aparecen al buscar conjuntamente muchas hipótesis, estrategias, factores, activos, horizontes o especificaciones. Incluso p-valores válidos producen ganadores casuales. La tasa de error familiar controla la probabilidad de al menos un rechazo falso; la tasa de falsos descubrimientos controla la proporción falsa esperada entre rechazos bajo ciertos supuestos. La familia investigada, no solo la tabla final, determina el problema
Más pruebas generan más ganadores casuales
Si m nulas verdaderas independientes se prueban al nivel α, la probabilidad de al menos un rechazo falso es 1−(1−α)^m
Con α=0,05 y m=20, esa probabilidad ronda el 64%, aunque cada prueba tenga una tasa nominal del 5%
La dependencia cambia el cálculo exacto, pero no justifica fingir que solo se probó al ganador publicado
La familia define la pregunta de error
Una familia puede incluir todos los factores, transformaciones, universos, retardos, horizontes, filtros, modelos y repeticiones de una afirmación
Definirla tras ver resultados infravalora la multiplicidad y permite separar ensayos relacionados hasta volver inofensiva la corrección
La familia defendible sigue el proceso de decisión y la oportunidad de selección, no solo las filas que sobreviven en un informe
FWER y FDR controlan pérdidas distintas
La tasa de error familiar es la probabilidad de cometer al menos un rechazo falso dentro de la familia
La tasa de falsos descubrimientos es E[V/max(R,1)], donde V son rechazos falsos y R todos los rechazos
FWER es más estricto si cualquier afirmación falsa es costosa; FDR suele tener más potencia al filtrar candidatos tolerando una proporción controlada
Los procedimientos requieren supuestos
Bonferroni prueba cada hipótesis a α/m y controla FWER sin exigir independencia, aunque puede ser conservador
El método descendente de Holm también controla FWER y nunca tiene menos potencia que la regla básica de rechazo Bonferroni
Benjamini–Hochberg ordena p-valores y controla FDR con independencia y cierta dependencia positiva; otras dependencias exigen métodos justificados
Los valores ajustados no son probabilidades posteriores de verdad
Un p ajustado es el menor nivel de error familiar al que una hipótesis sería rechazada bajo el procedimiento elegido
Un q-valor suele interpretarse como el mínimo umbral FDR estimado para llamar descubrimiento a un resultado, sujeto al método y sus supuestos
Ninguno es automáticamente la probabilidad de que una estrategia elegida sea falsa; eso necesita otro modelo y condicionamiento
Las finanzas ocultan una gran familia adaptativa
Minería factorial, reglas técnicas, señales de opciones, datos alternativos, restricciones y costes crean miles de ensayos correlacionados
Los factores publicados fueron seleccionados de búsquedas pasadas; evaluar uno nuevo con un estadístico t aislado cercano a dos ignora esa presión
Activos y periodos comunes crean dependencia, mientras que un cambio de régimen impide que corregir selección garantice rendimiento futuro
El gobierno debe conservar el recorrido de búsqueda
Registra cada hipótesis, versión de código, universo, resultado, transformación, retraso, coste y parada con un identificador estable
Separa descubrimiento, confirmación y vigilancia real; congela reglas confirmatorias y usa datos intactos o evaluación prospectiva
Informa evidencia cruda y ajustada, familia, dependencia, efectos, costes, estabilidad, ideas rechazadas y deterioro en operativa real
Preguntas frecuentes
¿Qué es el problema de las pruebas múltiples?
Es el aumento de falsos descubrimientos al probar y elegir entre muchas hipótesis, pero juzgar a los ganadores como si cada prueba estuviera sola
¿Cuál es la diferencia entre FWER y FDR?
FWER controla la probabilidad de al menos un rechazo falso; FDR, la proporción falsa esperada entre todos los rechazos
¿Cómo funciona Benjamini–Hochberg?
Ordena p-valores, los compara con umbrales según su rango y rechaza hasta el mayor rango que cumple la condición bajo sus supuestos
¿Controlar FDR hace fiable una estrategia de trading?
No. Trata el error de selección en una familia definida, no regímenes, costes, filtraciones, riesgo de modelo ni rentabilidad futura
Fuentes
Aplique esta idea a una opción
Elija un contrato y un objetivo para mantener visibles los supuestos de precio, tiempo y volatilidad en un mismo análisis
Analizar mi opción en inglés