P-значение и статистическая значимость в финансах
Разберитесь в p-значениях, нулевых гипотезах, статистиках теста, уровнях значимости, ошибках первого и второго рода, мощности, остановке по желанию, переборе данных и финансовой интерпретации
Короткий ответ
P-значение — это вероятность при заданной нулевой модели и плане анализа получить статистику теста, по меньшей мере столь же несовместимую с этой моделью, как наблюдаемая. Это не вероятность истинности нулевой гипотезы, не вероятность случайного возникновения результата и не размер или экономическая важность эффекта. Статистическая значимость — правило решения, а не доказательство
Тест начинается до p-значения
До изучения результата задайте нулевую и альтернативную гипотезы, статистику теста, модель выборки, правило остановки, направление хвоста и уровень значимости
Нулевая гипотеза часто означает отсутствие эффекта или эталонное значение, но может быть составной и содержать мешающие параметры, требующие оценки
Изменение вселенной, горизонта, контролей, правила выбросов или теста после просмотра данных меняет эксперимент, чьё p-значение интерпретируется
P-значение условно на модели
При нулевой гипотезе статистика теста имеет эталонное распределение; p-значение измеряет, насколько наблюдаемая статистика проникает в соответствующий хвост
Малая величина показывает несовместимость данных с полной схемой нулевой модели, но не говорит, какая предпосылка нарушена и истинна ли альтернатива
Неверно заданная зависимость, толстые хвосты, гетероскедастичность, ошибки данных или отбор могут сделать эталонное распределение и p-значение недействительными
Пороги значимости задают правила ошибок
Заранее заданный уровень α ограничивает вероятность отклонить истинную нулевую гипотезу при предпосылках теста, а не долю ложных опубликованных утверждений
Ошибка первого рода — ложное отклонение, ошибка второго рода — неспособность отклонить ложную нулевую гипотезу, а мощность — вероятность отклонения при заданной альтернативе
Неспособность отклонить не доказывает отсутствие эффекта, особенно если у выборки малая мощность для экономически значимых альтернатив
Размер эффекта и неопределённость отвечают на разные вопросы
Большие выборки могут сделать крошечные эффекты статистически значимыми, а шумные малые выборки могут не заметить достаточно большой для решения эффект
Наряду с p-значением указывайте оценку эффекта, интервал, единицы, транзакционные издержки, ёмкость и практический порог
Результаты чуть выше и чуть ниже 0.05 обычно дают похожее свидетельство; превращение границы в резкий переключатель истины отбрасывает информацию
Гибкость исследования искажает значимость
Остановка по желанию, перебор спецификаций, удаление наблюдений, смена исходов и публикация только успешных тестов меняют поведение ложных положительных результатов
Номинальное p-значение действительно только для пути анализа, который его породил, включая законные последовательные правила или корректировки, заявленные заранее
Пререгистрация, полные журналы исследования, анализ множества спецификаций, нетронутые отложенные выборки и репликация показывают чувствительность, но не исправляют неверную модель
Финансовая зависимость ослабляет учебные тесты
Доходности могут быть автокоррелированы, зависеть между активами, быть гетероскедастичными и перекрывающимися и рассчитываться на отобранной вселенной выживших активов
Наивные независимые стандартные ошибки могут завысить t-статистики, а повторный поиск факторов и бэктестинг создают намного большее неявное семейство тестов
Используйте стандартные ошибки и ресэмплирование, обоснованные структурой временного ряда, затем проверяйте стабильность по режимам, активам, издержкам, задержкам и живым данным
Свидетельство должно поддерживать решение
Рассматривайте p-значение как один непрерывный диагностический показатель наряду с размером эффекта, неопределённостью, предыдущими данными, механизмом, прогнозной эффективностью и издержками решения
Заранее определите важную ошибку: ложный торговый сигнал, пропущенную экспозицию риска, нестабильный хедж или модель, продвинутую без экономической ценности
Отчитывайтесь обо всём семействе анализа и неудачных репликациях, чтобы один выбранный значимый результат не принимали за силу всей исследовательской программы
Частые вопросы
Что означает p-значение 0.05?
При заданной нулевой модели результаты, по меньшей мере столь же несовместимые, как наблюдаемая статистика теста, возникают с вероятностью 0.05
Доказывает ли p ниже 0.05 альтернативную гипотезу?
Нет. Оно не приписывает вероятности гипотезам и не исключает ошибочную спецификацию, отбор, ошибки данных или экономически несущественный эффект
Доказывает ли p выше 0.05 отсутствие эффекта?
Нет. Это означает, что тест не отклонил нулевую гипотезу на этом пороге; причиной могут быть малая мощность, шум, неподходящая модель или действительно небольшой эффект
Почему финансовые p-значения часто завышены?
Зависимость, повторный поиск стратегий, гибкие спецификации, отобранные выборки и нереалистичные издержки могут сделать номинальное свидетельство сильнее, чем оно есть