Probability-integraltransformatie: kalibratie van dichtheidsprognoses

Een puntprognose kan morgen een rendement van 0,2% verwachten. Een dichtheidsprognose kent kansen toe aan het hele bereik, van gewone bewegingen tot extreme gebeurtenissen. De evaluatie vraagt of de vooraf afgegeven verdeling past bij de latere uitkomst. De Mincer–Zarnowitz-gids gaat over lineaire kalibratie van numerieke puntprognoses, een andere vraag.

De PIT meet hoeveel cumulatieve kans de prognose tot en met de uitkomst toekende. Het is een probabilistische rang, geen rendement, handelssignaal of winstmaat. De Diebold–Mariano-gids vergelijkt gemiddelde prognoseverliezen onder een gekozen score; dat is iets anders dan dichtheidskalibratie.

Noem de uitkomst na prognosemoment (t) (Y_{t+1}) en de cumulatieve verdelingsfunctie (CDF) (F_{t+1}(y\mid\mathcal I_t)), gebaseerd op de informatie (\mathcal I_t) die toen beschikbaar was. Voor een continue verdeling bereken je

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

De CDF is de kans op waarden tot en met (y). Als de voorspelde CDF de ware conditionele verdeling is, geldt volgens de PIT-stelling

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

Een ideale continue éénstapsprognose levert dus een conditioneel uniforme PIT op. Bij opeenvolgende prognoses waarvan de informatie het verleden bevat, zijn ideale PIT-waarden onder passende aannames ook onafhankelijk tussen momenten. Rosenblatt bestudeerde de transformatie; Diebold, Gunther en Tay pasten PIT-reeksen toe op dichtheidsprognoses (1952; 1998).

Handmatig voorbeeld: voorspelt (N(0,1)) en is (y=1) waargenomen, dan is de PIT (Phi(1)\approx0.8413). De prognose kende ongeveer 84,13% kans toe aan waarden tot 1. Eén waarneming zegt niets beslissends over kalibratie; daarvoor is een reeks nodig.

Een discrete CDF springt bij mogelijke uitkomsten. Gewone (F(Y)) neemt daardoor maar enkele niveaus aan en is meestal niet uniform, ook bij een juiste prognose. Een gerandomiseerde PIT vult elk spronginterval:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

(F(y^-)) is de linkerlimiet, de kans op een waarde strikt kleiner dan (y); (V) is een onafhankelijke Uniform(0,1)-trekking voor de evaluatie. Bij een continue verdeling is de sprong nul en wordt de formule (F(Y)). Brockwell bewijst de randomisatietransformatie voor willekeurige verdelingen, inclusief discrete en gemengde (2007). Voor geordende telgegevens bespreken Czado, Gneiting en Held ook niet-gerandomiseerde PIT en marginale kalibratieplots; behandel discrete (F(Y)) niet alsof het continu-uniform is (2009).

Hypothetisch Bernoulli-voorbeeld: (P(Y=1)=0.20), dus (P(Y=0)=0.80). Gewone PIT is 0,80 als (Y=0) en 1,00 als (Y=1), dus niet uniform. Met randomisatie geeft (Y=0) (0.80V) in ([0,0.80]) en (Y=1) (0.80+0.20V) in ([0.80,1]). Gewogen met de gebeurteniskansen is de gezamenlijke dichtheid uniform op ([0,1]). De trekking is een evaluatiehulpmiddel, geen onderdeel van de prognose.

Een uniforme marginale PIT-verdeling is noodzakelijk voor ideale continue prognoses, maar niet voldoende. Tegenovergestelde fouten in verschillende regimes kunnen elkaar in gepoolde data opheffen, zodat het histogram vlak lijkt. Gneiting, Balabdaoui en Raftery beschrijven bijna uniforme PIT naast vertekende individuele prognoses (2007).

Ook de volgorde telt: een reeks kan een uniform histogram hebben en toch seriële afhankelijkheid tonen, bijvoorbeeld clusters of lange reeksen vergelijkbare waarden. Ideale conditionele prognoses impliceren meer dan gepoolde uniformiteit. Bij overlappende horizon moet ook de referentieverdeling de overlap weerspiegelen; een iid-test is niet automatisch passend.

Onderzoek de PIT-verdeling én verbanden met tijd, vertragingen, oorsprongsvariabelen en vooraf vastgelegde regimes. Groepsplots of conditionele toetsen kunnen patronen tonen, maar de groepskeuze en beperkte steekproef blijven relevant. Geen eindige set toetsen bewijst kalibratie voor elke mogelijke conditionele variabele.

Een U-vorm past vaak bij te geconcentreerde of ondergespreide prognoses; een bult in het midden vaak bij te diffuse of overgespreide prognoses. Links-rechtsasymmetrie kan op locatiebias wijzen. Dit zijn vuistregels, geen unieke diagnoses: afhankelijkheid, regimecombinaties, discrete uitkomsten, binning en kleine steekproeven kunnen misleiden.

Het histogram verliest de tijdsvolgorde; het toont niet wanneer een probleem begon, of extreme PIT-waarden clusteren, of een subgroep verkeerd is gekalibreerd. Brede bins kunnen weinig data vlak laten lijken; smalle bins kunnen door steekproefruis grillig ogen. Rapporteer aantal prognoses, binranden en onzekerheid waar mogelijk. Diebold–Gunther–Tay en Berkowitz zijn voorbeelden van toetsen waarvan de aannames bij het ontwerp moeten passen. Berkowitz zet een binnenste PIT om in (Z_t=\Phi^{-1}(U_t)) en toetst het gezamenlijke nul van onafhankelijke standaardnormale waarden tegen een gespecificeerd dynamisch alternatief, zoals AR(1). Dat is geen universeel keurmerk (2001).

<!-- learn:illustration -->

Uniformiteit veronderstelt dat de CDF de ware conditionele wet is. In de praktijk worden parameters geschat en distributiefamilies, drempels of kenmerken gekozen. De prognose (F_{t+1}(\cdot;\hat\theta_t)) maakt dus deel uit van de voorspelprocedure. Het model aanpassen met uitkomsten uit de evaluatieperiode en de PIT daarna presenteren als onaangetast out-of-sample bewijs lekt informatie.

Gebruik bij een rollende evaluatie op elk prognosemoment alleen toen beschikbare informatie. Registreer schattingsvenster, herschatfrequentie, dataversie, modelversie en selectiestappen. Aangrenzende vensters delen vaak waarnemingen; overlappende uitkomsten voegen afhankelijkheid toe.

Toetsgrootte en -vermogen hangen af van schatter, steekproef en procedure. Een PIT-histogram verwerkt parameteronzekerheid niet; iid-referentiewaarden uit een leerboek gelden niet automatisch bij schatting of overlap. Kies voor belangrijke inferentie een passende toets of simuleer/bootstrap het nul door de volledige schattings- en prognosepipeline te herhalen. Houd zo nodig een definitieve evaluatiesteekproef buiten modelselectie.

Kalibratie gaat over de relatie tussen prognose en uitkomst: vinden gebeurtenissen met een toegekende kans die frequentie plaats? Scherpte beschrijft hoe geconcentreerd de voorspellende verdelingen zijn, zonder de uitkomsten te gebruiken. Gneiting, Balabdaoui en Raftery beschouwen scherpte als wenselijk onder de voorwaarde van kalibratie, niet als vervanging.

Een brede prognose kan goed gekalibreerd maar weinig informatief zijn. Een smalle prognose kan precies lijken, maar slecht gekalibreerd zijn als uitkomsten vaak buiten haar kansmassa vallen. De PIT onderzoekt verdelingsconsistentie; scherpte vat spreiding en breedte samen. Slechts één rapporteren laat een deel van de beoordeling weg.

Een vlak gepoolde PIT kan fouten per volatiliteitsregime of horizon verbergen. Leg belangrijke voorwaarden vooraf vast. Dat hangt samen met, maar verschilt van, puntprognoseregressie en de conditionele voorspelbaarheids-toets van Giacomini–White, die verliezen conditioneel op gekozen informatie vergelijkt.

De PIT is vooral diagnostisch en rangschikt dichtheidsprognoses niet zelfstandig. De logscore en continuous ranked probability score (CRPS) kennen elke prognose-uitkomst een scalair verlies toe; volgens hun definitie minimaliseert de ware voorspellende verdeling het verwachte verlies. Een gemiddelde over één gerealiseerde steekproef bewijst niet dat een model juist is. De Model Confidence Set-gids behandelt vergelijking van verzamelingen. Gebruik een score voor de volledige verdeling op dezelfde uitkomsten.

Vermeld doel, horizon, gemeenschappelijke datums, verliesconventie en benchmark. De logscore is bijzonder gevoelig voor zeer lage dichtheid bij een waarneming; CRPS vergelijkt CDF's met een andere gevoeligheid. Onzekerheid in scoreverschillen moet rekening houden met seriële afhankelijkheid, schatting en modelzoekwerk. Gebruik PIT-plots naast scores: elk heeft een andere rol.

Kalibratie of een betere score bewijst geen handelswinst. Een handelsclaim vereist een beslisregel, informatietiming, positiegrootte, transactie- en financieringskosten en een aparte out-of-sample rendementsanalyse. Een prognosestatistiek is geen backtest-rendement.

Leg doel, horizon, oorsprongstijd, dataversie en continue/discrete/gemengde aard vast. Bewaar elke CDF of voldoende gegevens om haar te reconstrueren, samen met de uitkomst en informatieverzameling. Bereken (F_t(Y_t)) bij continue verdelingen; documenteer bij sprongen de gerandomiseerde PIT of passende discrete diagnose.

Bekijk marginale verdeling en tijdsvolgorde. Vermeld bins, steekproefomvang, ties en random seed of herhaalde randomisatie. Voeg onafhankelijkheids- of conditionele controles toe voor vooraf bepaalde vragen en gebruik inferentie passend bij rollende, overlappende of geschatte ontwerpen. Vergelijk modellen apart met proper scores op dezelfde achtergehouden uitkomsten. De conclusie geldt voor de gedefinieerde prognoses en voorwaarden en garandeert geen toekomstige kalibratie of winst.