QLIKE en kwadratische fout voor volatiliteitsprognoses: ruis in proxy’s

Een volatiliteitsmodel voorspelt hoe sterk toekomstige rendementen kunnen spreiden, niet of een rendement positief of negatief wordt. Bepaal voor de evaluatie eerst het doel, bijvoorbeeld de conditionele variantie van het rendement van morgen, uitgedrukt in kwadraat-basispunten. Een prognose van de standaarddeviatie, een variantieprognose en een intraday-schatting van de gerealiseerde variantie zijn verwante grootheden, maar niet onderling uitwisselbaar zonder een vermelde transformatie en horizon.

Deze vraag staat los van de manier waarop een model zijn prognose maakt. De GARCH-gids beschrijft een methode om de conditionele variantie bij te werken op basis van eerdere rendementen. Deze gids begint nadat twee of meer modellen prognoses hebben gemaakt en bespreekt hoe je die toetst aan een onvolmaakte maatstaf van de variantie die later is opgetreden.

“Beste prognose” heeft geen eenduidige betekenis voordat het doel, de evaluatiesteekproef en de verliesfunctie zijn vastgelegd. Een model kan volgens het ene verlies bovenaan staan en volgens een ander verlies tweede worden, omdat elk verlies een andere kost toekent aan prognosefouten

Noem vₜ de niet-waargenomen conditionele variantie van het doelrendement, hₜ een prognose die is gemaakt met de informatie die vóór dat rendement beschikbaar was, en xₜ een waargenomen proxy voor evaluatie. Een veelgebruikte proxy is het kwadraat van het rendement, maar die is alleen conditioneel onbevooroordeeld voor de variantie als het conditionele gemiddelde van het rendement nul is. Is dat conditionele gemiddelde niet nul, dan schat het ruwe rendement in het kwadraat het conditionele tweede moment en niet de conditionele variantie. Je kunt een proxy ook vormen op basis van rendementen nadat je het conditionele gemiddelde hebt verwijderd. Gerealiseerde variantie, opgebouwd uit intraday-rendementen, kan een informatievere maatstaf voor de variatie tijdens een sessie geven, maar meet nog steeds een interval en hangt af van de regels voor steekproeven en prijsgegevens.

Het aftrekken van een geschat gemiddelde verwijdert proxyvertekening niet automatisch. Als mₜ = E[rₜ | Fₜ₋₁], hₜ = Var(rₜ | Fₜ₋₁) en het geschatte gemiddelde m̂ₜ wordt vastgelegd met informatie die op het prognosemoment beschikbaar is, dan geldt E[(rₜ − m̂ₜ)² | Fₜ₋₁] = hₜ + (mₜ − m̂ₜ)². Elke voorspelbare schattingsfout van het gemiddelde voegt dus een niet-negatieve term aan de proxy toe. Beschrijf hoe het gemiddelde wordt geschat en of de proxy op variantie of op het tweede moment is gericht voordat je een resultaat over conditionele onbevooroordeeldheid toepast.

Stem xₜ en hₜ af op hetzelfde activum, dezelfde rendementsdefinitie, hetzelfde tijdvenster, dezelfde horizon en dezelfde eenheden. Als xₜ in bp² wordt gemeten, moet hₜ dat ook zijn; het verlies op basis van kwadratische fouten is dan uitgedrukt in bp⁴. Een dagprognose van slotkoers tot slotkoers moet je niet beoordelen met een gerealiseerde maatstaf die de nachtperiode weglaat, tenzij dat het bedoelde doel is.

Bewaar de proxywaarden en prognoses van alle modellen voor dezelfde evaluatiemomenten. Ontbreekt een prognose van een model op een datum, leg dan vooraf een gemeenschappelijke steekproef of een verdedigbare regel voor ontbrekende gegevens vast. Gemiddelden over verschillende data vergelijken kan modelprestaties vermengen met de uiteenlopende marktomstandigheden waarmee elk model te maken had

Voor een niet-negatieve variantieproxy xₜ en een positieve variantieprognose hₜ is het verlies op basis van kwadratische fouten

L_MSE(xₜ, hₜ) = (xₜ − hₜ)²

Het QLIKE-verlies is

L_QLIKE(xₜ, hₜ) = log(hₜ) + xₜ / hₜ

Lagere scores zijn beter. Als xₜ strikt positief is, wordt QLIKE ook vaak geschreven in een equivalente ratio-vorm: xₜ/hₜ − log(xₜ/hₜ) − 1. De formules verschillen met een term die wel afhangt van de waargenomen proxy maar niet van de prognose, en leveren daarom dezelfde rangorde op voor een gemeenschappelijke steekproef. De vorm log(hₜ) is ook gedefinieerd als xₜ nul is, mits hₜ positief is. Patton definieert deze variantieverliezen en onderzoekt hun gedrag bij onvolmaakte proxy’s (Patton, 2011).

QLIKE komt overeen met een Gaussiaanse quasi-likelihoodscore voor variantieprognoses (Hansen en Lunde, 2005). Die verwantschap bewijst niet dat rendementen Gaussiaans verdeeld zijn, en een lage score bevestigt de verdelingsaannames van een model niet. Kwadratische fout meet daarentegen het absolute verschil tussen proxy en prognose en kwadrateert dat verschil. Kies de score die past bij het vergelijkingsdoel en de aannames over de proxy

Het verlies op basis van kwadratische fouten heeft een eenheid van variantie in het kwadraat en loopt snel op wanneer proxy en prognose ver uit elkaar liggen. Een paar zeer hoge proxywaarden kunnen het gemiddelde daardoor domineren. Dat kan passend zijn als grote absolute fouten in variantie-eenheden veel zwaarder moeten wegen, maar maakt de uitkomst gevoelig voor extreme waarnemingen.

Vermenigvuldiging van xₜ en hₜ met dezelfde positieve omrekenfactor c voegt log(c) toe aan log(hₜ) + xₜ/hₜ. Die toevoeging is gelijk voor alle prognoses die op dezelfde proxysteekproef worden beoordeeld, zodat de rangorde niet verandert; de absolute waarde van de logterm hangt wel af van de gekozen eenheid. QLIKE reageert via xₜ/hₜ op de verhouding tussen prognose en proxy en via log(hₜ) op de schaal van hₜ. Als een prognose veel te laag is ten opzichte van een hoge proxy, loopt de ratioterm snel op. Ook een overschatting kost meer naarmate log(hₜ) groeit, maar langzamer bij vergelijkbare proportionele fouten. QLIKE is niet ongevoelig voor uitschieters: een extreme proxy draagt nog steeds bij via xₜ/hₜ.

Geen van beide scores is voor iedere beslissing het beste. Kwadratische fout weegt grote absolute afwijkingen in variantie-eenheden zwaarder, terwijl QLIKE een ander profiel voor relatieve fouten heeft. Pattons resultaat over robuustheid voor proxy’s betekent niet dat de verliezen prognoses hetzelfde rangschikken of dat een van beide ongevoelig is voor uitschieters

Stel dat de waargenomen variantieproxy’s x = [1, 4] bp² zijn. Model A voorspelt hᴬ = [1, 1] bp² en Model B voorspelt hᴮ = [4, 2] bp². De waarden zijn hypothetisch en gekozen om te laten zien hoe het verlies de rangorde kan veranderen.

MSE geeft Model A de voorkeur: de gemiddelde score is 4,5 bp⁴ tegenover 6,5 bp⁴ voor Model B. QLIKE geeft Model B de voorkeur: de gemiddelde score is ongeveer 2,165 tegenover 2,5 voor A. Deze twee rijen laten alleen de rekenstappen zien. Ze zijn te weinig om onzekerheid te schatten, te bewijzen dat een prognose beter is of iets over een handelsstrategie te zeggen <!-- learn:illustration -->

Een volatiliteitsproxy kan ruis bevatten en toch conditioneel onbevooroordeeld zijn. Stel dat E[xₜ | Fₜ₋₁] = vₜ, waarbij Fₜ₋₁ de informatie is die beschikbaar is wanneer de prognose wordt gemaakt. Het verwachte verlies op basis van kwadratische fouten voor een prognose hₜ die op die informatie is gebaseerd, is

E[(xₜ − hₜ)² | Fₜ₋₁] = (vₜ − hₜ)² + Var(xₜ | Fₜ₋₁)

De variantieterm is niet afhankelijk van de prognose die wordt beoordeeld. Daardoor verhoogt die de verwachte MSE voor alle prognoses met hetzelfde bedrag en valt hij weg bij de vergelijking van verwachte verliezen. Voor QLIKE leidt conditionele onbevooroordeeldheid tot

E[log(hₜ) + xₜ/hₜ | Fₜ₋₁] = log(hₜ) + vₜ/hₜ

Dat is de score die je krijgt als je de latente variantie gebruikt in plaats van de proxy. Onder deze voorwaarden behoudt elk verlies de verwachte rangorde van concurrerende variantieprognoses ten opzichte van het latente doel. Patton (2011) noemt dit robuuste rangschikking bij proxy’s; de term gaat over ruis in verwachte rangordes, niet over ongevoeligheid voor uitschieters.

Dit resultaat veronderstelt dezelfde conditionele informatieset, een conditioneel onbevooroordeelde proxy, positieve prognoses voor QLIKE en eindige verwachte verliezen. Het betekent niet dat MSE en QLIKE modellen hetzelfde rangschikken. In het voorbeeld met twee perioden zijn beide verliezen berekend op basis van dezelfde proxywaarnemingen met ruis, maar kennen ze verschillend gewicht toe aan prognosefouten

Invariantie van de verwachte rangorde garandeert niet dat iedere gerealiseerde steekproef dezelfde rangorde oplevert als de latente variantie. Proxyruis vergroot de variatie in waargenomen verliezen en kan het onderscheidingsvermogen van een prognosevergelijking verlagen. In een korte evaluatieperiode kan de rangorde veranderen doordat enkele proxywaarnemingen toevallig uitzonderlijk hoog of laag zijn, ook als conditionele onbevooroordeeldheid gemiddeld geldt.

De garantie vervalt ook als de proxy conditioneel vertekend is voor het opgegeven doel. Gerealiseerde variantie met hoge frequentie kan worden beïnvloed door bid-ask-bounce, verouderde of asynchrone koersen, de bemonsteringsfrequentie en weggelaten overnight-rendementen. Een proxy voor intraday-geïntegreerde variantie is mogelijk geen onbevooroordeelde maatstaf voor conditionele variantie van slotkoers tot slotkoers. De gids voor berekening van gerealiseerde volatiliteit bespreekt keuzes bij de constructie; de gids voor gerealiseerde variantie met twee schalen beschrijft één schatter die is ontworpen om een deel van de microstructuurruis in hoogfrequente gegevens aan te pakken. Hansen en Lunde (2006) documenteren hoe marktmicrostructuurruis de meting van gerealiseerde variantie kan beïnvloeden (DOI Hansen en Lunde, 2006).

“Robuust” heeft hier een beperkte betekenis: wanneer de proxy conditioneel onbevooroordeeld is, blijft de verwachte rangorde behouden. Het betekent niet dat de steekproefscore uitschieters negeert, dat iedere maatstaf voor gerealiseerde volatiliteit onbevooroordeeld is of dat de vergelijking beschermd is tegen een verkeerd gekozen doel. Beschrijf wat de proxy meet en onder welke aannames die met vₜ samenhangt

Voor twee prognoses hᴬₜ en hᴮₜ die op hetzelfde prognosemoment zijn vastgelegd, is het verwachte MSE-verschil E[L_MSE(xₜ,hᴬₜ) − L_MSE(xₜ,hᴮₜ) | Fₜ₋₁] = (vₜ − hᴬₜ)² − (vₜ − hᴮₜ)². Onder dezelfde proxyvoorwaarde is het verwachte QLIKE-verschil log(hᴬₜ) + vₜ/hᴬₜ − log(hᴮₜ) − vₜ/hᴮₜ. Deze uitdrukkingen laten zien wat proxyrobuustheid wegneemt: de extra ruis in de verwachte proxyscore. De prognosevergelijkingen blijven verschillend, omdat MSE en QLIKE andere kosten aan fouten toekennen.

Maak na de keuze van de score voor ieder gemeenschappelijk prognosemoment een gepaard verliesverschil. Met dₜ = L_A,ₜ − L_B, bevoordeelt een positief gemiddelde B omdat B het lagere verlies heeft. Een Diebold–Mariano-toets beoordeelt met de tijdreeks van deze gepaarde verschillen of het verwachte verschil nul is. De toets kiest niet tussen QLIKE en MSE en bepaalt niet welk doel relevant is. De Diebold–Mariano-gids bespreekt het bredere inferentiekader.

Bij overlappende prognosehorizonten of seriële correlatie in de scoreverschillen is een standaardfout nodig die rekening houdt met die afhankelijkheid, bijvoorbeeld een geschikte HAC-schatting. Newey en West (1987) beschrijven een positief semidefiniete HAC-covariantiematrixschatter (Newey–West, 1987). Vermeld de horizon, evaluatiemomenten, het teken van het verliesverschil, de covariantiemethode en waar relevant de kernel en bandbreedte. Een kleine p-waarde herstelt geen vertekende proxy of proxy die niet bij het doel past

Gebruik een chronologisch out-of-sample-ontwerp en bewaar de voorspellingen die elk model op elk prognosemoment daadwerkelijk zou hebben gemaakt. Leg het doel, de constructie van de proxy, de horizon, de eenheid, de gemeenschappelijke steekproef en de verliesfunctie vast voordat je bekijkt welk model het beste scoort. Noteer de schattingsvensters, regels voor herschatting, ontbrekende waarnemingen en of de evaluatieperiode herhaaldelijk is gebruikt om modellen af te stemmen. Vergelijk je zowel MSE als QLIKE en rapporteer je alleen de winnaar, maak die keuze dan bekend in plaats van haar voor te stellen als één vooraf vastgelegde toets.

Rapporteer het gemiddelde verlies van elk model, het gepaarde verschil, de steekproefomvang, de proxydefinitie en de inferentiemethode. QLIKE vereist hₜ > 0; leg een eventuele prognosevloer vóór de evaluatie vast, want die kan de scores veranderen. Onderzoek de gevoeligheid voor verdedigbare keuzes van proxy en steekproef, en maak duidelijk dat het uitproberen van veel keuzes zelf een selectieprobleem oplevert.

Een lager volatiliteitsverlies meet prestaties volgens de gekozen score en proxy. Het bewijst niet dat een voorspeller volatiliteit veroorzaakt, dat rendementen normaal verdeeld zijn of dat een strategie op basis van de prognose winst maakt na spreads, kosten, slippage, financiering en risicobeperkingen. Beoordeel prognosevaardigheid en handelsresultaten als afzonderlijke beweringen