Kiểm định nhiều lần và tỷ lệ phát hiện sai trong tài chính

Nếu m giả thuyết rỗng đúng độc lập đều được kiểm định ở mức α, xác suất có ít nhất một bác bỏ sai là 1−(1−α)^m

Với α=0.05 và m=20, xác suất đó khoảng 64%, dù mỗi kiểm định riêng lẻ có tỷ lệ bác bỏ sai danh nghĩa 5%

Sự phụ thuộc thay đổi phép tính chính xác, nhưng không biện minh cho việc giả vờ chỉ người chiến thắng được báo cáo mới được kiểm định

Một gia đình kiểm định có thể bao gồm mọi yếu tố, phép biến đổi, tập tài sản, độ trễ, khoảng thời gian, bộ lọc, lựa chọn mô hình và lần chạy lại được xem xét cho một tuyên bố nghiên cứu

Xác định gia đình sau khi thấy kết quả sẽ đánh giá thấp tính đa bội và cho phép nhà nghiên cứu tách các lần thử liên quan cho đến khi hiệu chỉnh trở nên vô hại

Gia đình có thể bảo vệ được phải theo quy trình quyết định và cơ hội lựa chọn, không chỉ theo các hàng còn lại trong bài báo hoặc bảng điều khiển

Tỷ lệ lỗi toàn gia đình là xác suất thực hiện ít nhất một bác bỏ sai trong gia đình

Tỷ lệ phát hiện sai là E[V/max(R,1)], trong đó V là số bác bỏ sai và R là tổng số bác bỏ

FWER nghiêm ngặt hơn khi bất kỳ tuyên bố sai nào cũng tốn kém; FDR thường mạnh hơn khi sàng lọc nhiều ứng viên có thể chấp nhận một phần sai được kiểm soát

Bonferroni kiểm định mỗi giả thuyết tại α/m và kiểm soát FWER mà không cần độc lập, dù có thể bảo thủ

Phương pháp step-down của Holm cũng kiểm soát FWER và không bao giờ kém mạnh hơn quy tắc bác bỏ Bonferroni cơ bản

Benjamini–Hochberg sắp xếp p-value và kiểm soát FDR dưới điều kiện độc lập cùng một số dạng phụ thuộc dương; các cấu trúc phụ thuộc khác cần phương pháp có lý do biện minh

P-value đã hiệu chỉnh là mức sai số gia đình nhỏ nhất tại đó một giả thuyết sẽ bị bác bỏ theo một quy trình được chọn

Q-value thường được diễn giải là ngưỡng FDR tối thiểu ước tính để gọi một kết quả là phát hiện, tùy phương pháp và các giả định

Không đại lượng nào tự động là xác suất một chiến lược được chọn là sai; điều đó cần một mô hình và tuyên bố điều kiện hóa khác

Khai thác yếu tố, quy tắc kỹ thuật, tín hiệu quyền chọn, dữ liệu thay thế, ràng buộc danh mục và giả định chi phí tạo ra hàng nghìn lần thử có tương quan

Các yếu tố đã công bố được chọn từ những lần tìm kiếm trước, vì vậy đánh giá một yếu tố mới bằng t-statistic cô lập gần hai sẽ bỏ qua áp lực phát hiện đã tích lũy

Tài sản và giai đoạn dùng chung khiến các kiểm định phụ thuộc, trong khi thay đổi chế độ có nghĩa hiệu chỉnh cho việc lựa chọn không thể bảo đảm hiệu quả kinh tế trong tương lai

Ghi lại mọi giả thuyết, phiên bản mã, tập tài sản, kết quả, phép biến đổi, độ trễ, chi phí và lựa chọn dừng cùng một mã nghiên cứu ổn định

Tách phát hiện, xác nhận và theo dõi trực tiếp; đóng băng các quy tắc xác nhận và dùng dữ liệu thực sự chưa chạm tới hoặc đánh giá tiến cứu

Báo cáo bằng chứng thô và đã hiệu chỉnh, định nghĩa gia đình, giả định phụ thuộc, quy mô hiệu ứng, chi phí, độ ổn định, các ý tưởng bị bác bỏ và sự suy giảm khi triển khai