Meerdere tests en valse ontdekkingstochten in de financiën

Als m onafhankelijke true nulls elk op niveau α worden getest, is de kans op ten minste één valse afstoting 1−(1−α)^m

Bij α=0,05 en m=20, is die kans ongeveer 64%, ook al heeft elke individuele test een nominale 5% vals-afstotend percentage

Afhankelijkheid verandert de exacte berekening, maar het rechtvaardigt niet dat doen alsof alleen de gemelde winnaar werd getest

Een testfamilie kan alle factoren, transformaties, universa, vertragingen, horizonten, filters, modelkeuzes, en herhalingen die voor één onderzoek claim worden overwogen omvatten

Definieer de familie na het zien van resultaten onderstaat veelheid en laat onderzoekers verwante proeven scheiden totdat de correctie onschadelijk wordt

De verdedigbare familie volgt het besluitproces en de selectiemogelijkheid, niet alleen de rijen die overleven in een papier of dashboard

Familie-wise foutenpercentage is de kans op ten minste één valse afwijzing binnen de familie

Valse ontdekkingsfrequentie is E[V/max(R,1)], waarbij V het aantal valse afwijzingen is en R het totale aantal afwijzingen is

FWER is strenger wanneer elke valse claim kostbaar is; FDR is vaak krachtiger wanneer screening veel kandidaten een gecontroleerd vals aandeel kunnen tolereren

Bonferroni test elke hypothese op α/m en controleert FWER zonder onafhankelijkheid te vereisen, hoewel het conservatief kan zijn

Holm's stap-down methode ook controleert FWER en is nooit minder krachtig dan de basis Bonferroni afwijzing regel

Benjamini .Hochberg bestelt p-waarden en controleert FDR onder onafhankelijkheid en bepaalde positieve afhankelijkheid; andere afhankelijkheidsstructuren vereisen gerechtvaardigde methoden

Een aangepaste p-waarde is het kleinste foutenniveau van de familie waarbij een hypothese volgens een gekozen procedure zou worden afgewezen.

Een q-waarde wordt gewoonlijk geïnterpreteerd als een geschatte minimum FDR-drempel voor het aanroepen van een resultaat tot ontdekking, afhankelijk van de methode en aannames

Geen van beide hoeveelheden is automatisch de kans dat een geselecteerde strategie onjuist is; dat vereist een ander model en een andere conditionering statement

Factor mining, technische regels, optiesignalen, alternatieve gegevens, portefeuillebeperkingen en kostenaannamen creëren duizenden samenhangende proeven

Gepubliceerde factoren worden geselecteerd uit eerdere zoekopdrachten, dus het evalueren van een nieuwe factor tegen een geïsoleerde t-statistische in de buurt van twee negeert verzamelde ontdekkingsdruk

Gedeelde activa en perioden maken tests afhankelijk, terwijl verandering van de regeling betekent dat een correctie voor selectie geen toekomstige economische prestaties kan garanderen

Neem elke hypothese, codeversie, universum, uitkomst, transformatie, vertraging, kosten, en stoppen keuze met een stabiele onderzoeksidentificatie

Afzonderlijke ontdekking, bevestiging en live monitoring; bevriezing van bevestigingsregels en gebruik van werkelijk ongerepte gegevens of prospectieve evaluatie

Rapporteer ruw en aangepast bewijsmateriaal, de definitie van het gezin, afhankelijkheid veronderstellingen, effect groottes, kosten, stabiliteit, afgewezen ideeën, en levende afbraak