VaR en Expected Shortfall samen scoren: Fissler–Ziegel uitgelegd

Neem L_t als verlies, waarbij hogere waarden ongunstiger zijn, en c als betrouwbaarheidsniveau, bijvoorbeeld 97,5%. Het conditionele verlieskwantiel v(c,t) is de kleinste x waarvoor F(L_t ≤ x | informatie tot en met t−1) ten minste c bedraagt. Voor de bovenstaart van verliezen is ES gelijk aan e(c,t) = 1/(1−c) maal de integraal van v(u,t) van c tot 1, mits het staartgemiddelde eindig is. Bij een continue verdeling komt dat overeen met het gemiddelde verlies boven de VaR-drempel. Als er kansmassa op de drempel ligt, verwerkt de kwantielintegraal alleen het benodigde deel van die massa.

De score moet bij de gekozen conventie passen. Sommige artikelen definiëren VaR en ES voor lage rendementen, vaak met negatieve waarden, en schrijven de staartkans als α = 1−c. Bij positieve verliezen ligt hetzelfde risicogebied in de bovenstaart en is ES minstens zo groot als VaR. Het mengen van rendement- en verliesconventies kan ongelijkheden en uitzonderingsindicatoren omkeren. Leg teken, betrouwbaarheidsniveau, horizon en de informatie vast die vóór de uitkomst beschikbaar was.

Een kwantiel kan met een strikt consistente pinball-score worden beoordeeld. Voor een verlies L en het c-kwantiel v is één VaR-score S_VaR(v,L) = (I{L ≤ v}−c)(v−L). Onder de gebruikelijke kwantielvoorwaarden is de verwachte score minimaal bij het doelkwantiel. Zo kan VaR zelfstandig worden beoordeeld aan de hand van prognoses en latere waarnemingen.

Voor ES bestaat geen overeenkomstige strikt consistente score die ES binnen brede klassen van verliesverdelingen uit risicobeheer zelfstandig elicieert. De uitspraak heeft een afgebakende betekenis: het gaat om een losse puntschatting waarvan de verwachte score uniek bij ES minimaal is. Dit zegt niet dat ES nutteloos is of niet kan worden vergeleken of getoetst.

Fissler en Ziegel tonen het belangrijke verschil: ES is in die betekenis niet zelfstandig elicieerbaar, maar het paar (VaR, ES) wel gezamenlijk onder gematigde regulariteits- en momentvoorwaarden. Hun artikel onderzoekt voorwaarden voor strikt consistente scores (Fissler en Ziegel, 2016). Gezamenlijke elicieerbaarheid betekent dat één score beide prognoses en de gerealiseerde uitkomst gebruikt. Twee willekeurige verliesfuncties optellen levert dus niet automatisch een geldige ES-score op.

Noem een toegestane gezamenlijke score op niveau c S_c(v,e;L). Strikte consistentie betekent dat de verwachte score onder de doelverdeling minimaal is bij het juiste paar: (VaR_c, ES_c) = arg min over (v,e) van E[S_c(v,e;L)]. Onder de relevante voorwaarden is dat minimum uniek. De score combineert informatie over het overschrijden van de VaR-drempel met de gerealiseerde staartverliezen en de ES-prognose. Bij positieve verliezen mag ES niet lager zijn dan VaR.

Fissler en Ziegel beschrijven een klasse scores, geen verplichte enkele formule. Patton, Ziegel en Chen gebruiken dit resultaat voor dynamische gezamenlijke VaR- en ES-modellen en prognosevergelijking (Patton, Ziegel en Chen, 2019). Een veelgebruikte FZ0-variant is geschreven voor rendementen in de onderstaart: Y = −L, α = 1−c en negatieve prognoses e ≤ v < 0: S_FZ0(Y,v,e;α) = −I{Y ≤ v}(v−Y)/(αe) + v/e + ln(−e) − 1. Deze formule hangt af van de rendementconventie en de vermelde tekens. Pas haar niet ongewijzigd toe op positieve verliezen; zij is ook niet vanzelfsprekend voor elke dataset de beste score. Beschrijf de gekozen regel en controleer de aannames.

Bereken voor model m voor ieder prognose-uitkomstpaar S_c(v_hat(m,t),e_hat(m,t);L_t) en neem het gemiddelde over T waarnemingen. Bij dezelfde toegestane score, doelvariabele, datums en conventies is een lager gemiddelde beter volgens die regel. De numerieke waarde is geen kans, VaR-bedrag of voorspelling van een geldverlies; de schaal hangt van de score af.

Voor een gepaarde vergelijking bereken je d_t = S_A,t − S_B,t. Een negatief gemiddelde pleit voor A volgens de gekozen score. Omdat beide prognoses tegenover dezelfde uitkomst staan, is dit verschil informatiever dan twee afzonderlijk afgeronde gemiddelden. Toch kan het onzeker zijn als er maar weinig staartwaarnemingen zijn.

<!-- learn:illustration -->

Vergelijk dezelfde prognosemomenten, portefeuille of doelvariabele, horizon, betrouwbaarheidsniveau en gegevensversie. Prognoses moeten zijn vastgelegd voordat uitkomsten bekend zijn. Als horizonten overlappen of scoreverschillen seriële afhankelijkheid vertonen, moet de onzekerheidsberekening dat weerspiegelen. Rapporteer een passende standaardfout of interval; een klein ruw verschil is niet automatisch een overtuigende overwinning.

Het lijkt misschien logisch om aan VaR-pinballverlies een absolute ES-afwijking ten opzichte van een referentie toe te voegen. Die referentie kan zelf ongeschikt zijn en de verwachte tweede term hoeft niet bij de juiste ES minimaal te zijn. Een willekeurig gewogen som garandeert geen gezamenlijke consistentie. De FZ-score is zo vormgegeven dat VaR en ES als paar worden beoordeeld.

De Fissler–Ziegel-klasse bevat meerdere scores met verschillende schalen en accenten. Gemiddelden uit verschillende scorefuncties zijn niet rechtstreeks vergelijkbaar. Patton, Ziegel en Chen bespreken FZ0 met bepaalde schaal-eigenschappen onder aanvullende tekenvoorwaarden; dat maakt FZ0 niet universeel superieur. Kies en documenteer de score voordat je de rangorde bekijkt.

Ook het prognosepaar moet onderling kloppen. Een op zichzelf plausibele ES-prognose kan slecht scoren als zij strijdig is met de bijbehorende VaR. Omgekeerd bewijst een goede gezamenlijke score niet dat de hele conditionele verdeling correct is. De evaluatie betreft de opgegeven VaR–ES-functie binnen de gekozen score en onderzoeksopzet.

Een VaR-uitzonderingsindicator is binair: I_t = 1 als L_t de voorspelde VaR overschrijdt, anders 0. Twee modellen kunnen op dezelfde datums evenveel uitzonderingen hebben terwijl de verliezen voorbij de drempel sterk verschillen. Vier overschrijdingen zeggen niet of ze allemaal klein waren of dat één diep in de staart viel. Een telling laat precies de omvangsinformatie weg die ES toevoegt.

Een gezamenlijke score gebruikt VaR en ES samen met het gerealiseerde verlies. Daardoor kunnen staartverliezen verder meewegen dan alleen het aantal uitzonderingen; de gekozen functie bepaalt de exacte bijdrage. Wijs geen winnaar toe op basis van één extreem verlies: bereken de score over de volledige gemeenschappelijke steekproef en controleer de gevoeligheid.

Scoregebaseerde prognosevergelijking en VaR-kalibratie beantwoorden verschillende vragen. De eerste rangschikt prognoseparen volgens een vastgelegde regel. Een VaR-uitzonderingstest onderzoekt frequentie of tijdspatronen van drempeloverschrijdingen. Een score-rangorde is geen volledig kalibratiebewijs.

Kupiec-tests vergelijken het aantal VaR-uitzonderingen met het doelpercentage; uitbreidingen van Christoffersen bekijken ook afhankelijkheid of clustering. Zij reduceren elke uitkomst tot wel of geen uitzondering en meten daardoor niet hoe groot verliezen boven VaR waren of valideren ES rechtstreeks. De VaR- en Expected-Shortfall-gids licht toe welke verschillende informatie de twee risicomaatstaven geven.

Acerbi en Szekely stellen niet-parametrische ES-backtests voor en benadrukken dat elicieerbaarheid relevant is voor modelselectie, maar geen voorwaarde is om een risicomaatstaf te toetsen (Acerbi en Szekely, 2014). Bayer en Dimitriadis ontwikkelen regressiegebaseerde ES-backtests met een gezamenlijke VaR–ES-structuur; de varianten hebben eigen aannames en eisen voor covariantiematrices (Bayer en Dimitriadis, 2022). Een score-rangorde vervangt geen specifieke backtest. Een niet-verwerping bewijst evenmin dat het prognosepaar correct is.

De reeks scoreverschillen d_t is een tijdreeks. Bij niet-overlappende eenstapsprognoses en passende afhankelijkheidsaannames kan een gepaarde toets van het gemiddelde verschil worden overwogen. Bij seriële afhankelijkheid of overlappende horizons moet de onzekerheid met een passende methode worden geschat, bijvoorbeeld een langetermijnvariantie of geschikte block-bootstrap. Rapporteer methode en parameters, niet alleen een p-waarde.

Leg score, staartniveau, horizon, evaluatieperiode en modelverzameling vast voordat je de resultaten bekijkt. Wie veel scores, vensters, portefeuilles en prognosevarianten probeert en alleen de laagste score rapporteert, introduceert selectiebias. Houd indien mogelijk een latere, onaangeroerde evaluatieperiode achter en beschrijf de zoekprocedure. Gewone standaardfouten corrigeren deze selectie niet automatisch.

Rapporteer de gemiddelden en het gepaarde verschil met onzekerheid, de scoredefinitie, tekens en conventies, gemeenschappelijke out-of-sample-datums en het aantal staartwaarnemingen. Als de rangorde bij redelijke score- of periodekeuzes verandert, toon die gevoeligheid.

Bij hoge betrouwbaarheidsniveaus zijn er weinig staartwaarnemingen. De rangorde kan daardoor zelfs bij een lange reeks instabiel zijn. Conditionele heteroskedasticiteit, regimewisselingen, overlappende rendementen, schattingsonzekerheid, gegevensfouten en portefeuillewijzigingen kunnen scoreverschillen ook beïnvloeden. Gezamenlijke elicieerbaarheid neemt die problemen niet weg; zij levert een onderbouwde klasse scores onder wiskundige voorwaarden.

Controleer of het gerealiseerde verlies overeenkomt met dezelfde portefeuille, horizon, waarderingsmethode en tekenconventie als de prognose. VaR en ES moeten naar dezelfde staartkans verwijzen. De prognoses moeten ex ante zijn opgesteld en de score moet voldoen aan de vereiste verdelings-, moment- en tekenaannames. Rapporteer steekproeflengte, staartwaarnemingen, scoreformule, onzekerheidsmethode en zoekproces voor modellen en scores. De conclusie geldt alleen voor die opzet.

Een lagere gezamenlijke score is bewijs voor betere relatieve voorspelprestatie volgens een bepaalde regel. Het bewijst niet dat een model iedere staartgebeurtenis opvangt, dat de risicoschatting veilig is of dat de toekomst op de steekproef lijkt. Dit artikel bespreekt statistische methoden en is geen beleggingsadvies.