संयुक्त VaR–ES स्कोरिंग: Fissler–Ziegel पूर्वानुमान मूल्यांकन

L_t को loss मानें, इसलिए बड़ा मान बदतर है; c confidence level है, जैसे 97.5%। Conditional loss quantile v(c,t) सबसे छोटा x है जिसके लिए F(L_t ≤ x | t−1 तक उपलब्ध जानकारी) c तक पहुँचता है। Positive-loss upper-tail convention में ES, c से 1 तक v(u,t) के integral का 1/(1−c) गुना है, बशर्ते tail mean finite हो। Continuous distribution में यह VaR threshold के आगे औसत loss है। Threshold पर probability mass हो तो quantile-integral definition उसका आवश्यक अंश शामिल करती है।

Score में forecast की वही convention रखें। कुछ papers returns के lower tail के लिए VaR और ES को प्रायः negative संख्याओं में परिभाषित करते हैं और tail probability α = 1−c लिखते हैं। Positive losses के लिए risk upper tail में है और ES, VaR से कम नहीं होता। Conventions मिलाने से inequalities और exception indicators उलट सकते हैं। Sign, confidence level, horizon और outcome से पहले उपलब्ध conditional information दर्ज करें।

Quantile के लिए एक familiar strictly consistent pinball score है। Loss L और उसके c-quantile v के लिए VaR score S_VaR(v,L) = (I{L ≤ v}−c)(v−L) है। सामान्य quantile conditions में इसका expected value target quantile पर न्यूनतम होता है, इसलिए VaR का अकेले मूल्यांकन किया जा सकता है।

Risk management में प्रयुक्त व्यापक loss distributions पर ES को अकेले चुनने वाला कोई समकक्ष strictly consistent score नहीं है। यह कथन standalone point forecast और ऐसे score के बारे में है जिसकी expectation uniquely ES चुनती है। इसका अर्थ यह नहीं कि ES निरर्थक, untestable या बड़े forecast pair के हिस्से के रूप में तुलना से बाहर है।

Fissler और Ziegel का मुख्य परिणाम यही अंतर बताता है: ES अकेले elicitable नहीं है, पर उपयुक्त regularity और moment conditions में (VaR, ES) pair jointly elicitable है। उनका 2016 लेख strictly consistent scores की व्यापक classes के लिए आवश्यक और पर्याप्त शर्तें देता है (Fissler and Ziegel, 2016). Joint elicitability का अर्थ एक scoring function दोनों forecasts और realized outcome को input लेता है। मनमाने दो losses जोड़ने से valid ES score नहीं बनता।

Confidence c पर admissible joint score को S_c(v,e;L) लिखें। Strict consistency का अर्थ है कि target distribution के तहत expected score सही pair पर न्यूनतम है: (VaR_c, ES_c) = arg min over (v,e) of E[S_c(v,e;L)]। संबंधित conditions में minimizer unique है। Score VaR boundary के पार जाने की सूचना को realized tail loss और ES forecast के साथ जोड़ता है। Positive-loss upper tail में ES, VaR से नीचे नहीं होना चाहिए।

Fissler–Ziegel एक score class देते हैं, कोई एक अनिवार्य formula नहीं। Patton, Ziegel और Chen ने dynamic VaR–ES forecasts के modeling और comparison में इसका उपयोग किया (Patton, Ziegel, and Chen, 2019)। एक प्रचलित सदस्य FZ0 lower-tail returns convention में लिखा जाता है: Y = −L, α = 1−c, और negative forecasts e ≤ v < 0: S_FZ0(Y,v,e;α) = −I{Y ≤ v}(v−Y)/(αe) + v/e + ln(−e) − 1. यह expression अपने return sign और negativity assumptions पर निर्भर है। इसे हर positive-loss dataset या हर admissible joint score पर सीधे लागू नहीं किया जा सकता। चुना हुआ score दर्ज करें और उसकी assumptions जाँचें।

Model m के लिए प्रत्येक forecast–outcome pair पर joint score निकालें और उसका average लें: mean_S_m = (1/T) Σ_t S_c(v_hat(m,t), e_hat(m,t); L_t)। एक ही admissible score, dates, target और conventions के तहत कम average उस scoring rule में बेहतर relative performance दर्शाता है। Score probability, VaR amount या monetary loss estimate नहीं है; उसका numerical scale चुने हुए score पर निर्भर है।

Models A और B के paired comparison के लिए d_t = S_A,t − S_B,t रखें। Negative mean चुने हुए score पर A के पक्ष में है। दोनों forecasts एक ही realized outcome देखते हैं, इसलिए paired difference अलग-अलग rounded averages से अधिक उपयोगी है। फिर भी tail observations कम होने पर difference noisy हो सकता है।

<!-- learn:illustration -->

एक जैसे forecast origins, portfolio या target, horizon, confidence level और data vintage पर तुलना करें। Outcome आने से पहले forecasts दर्ज होने चाहिए। Horizons overlap करें या score differences serially dependent हों, तो uncertainty calculation में इसे शामिल करें। उपयुक्त standard error या interval दें; छोटा raw gap अपने आप निर्णायक नहीं होता।

VaR pinball loss में ES forecast और किसी proxy का absolute difference जोड़ना आकर्षक लग सकता है। दूसरा term valid ES score न हो सकता है; मनमाना weighted sum joint consistency की गारंटी नहीं देता। Joint FZ score इस तरह बनाया जाता है कि pair को साथ target करे। उस property के बिना weights या transformations बदलना evaluation का प्रश्न बदल देता है।

Fissler–Ziegel class के scores की sensitivity और scale अलग हो सकती है, इसलिए अलग scores से निकले differences की सीधी तुलना नहीं करनी चाहिए। Patton, Ziegel और Chen score design और अतिरिक्त sign assumptions के अंतर्गत FZ0 की scale properties पर चर्चा करते हैं; इससे FZ0 हर स्थिति में सर्वोत्तम नहीं हो जाता। Score चुनकर रिपोर्ट करें।

Forecast pair भी मायने रखता है। संख्यात्मक रूप से अच्छा दिखने वाला ES forecast अपने VaR forecast से असंगत हो सकता है। दूसरी ओर अच्छा joint score यह सिद्ध नहीं करता कि पूरी conditional distribution सही है। Score चुने हुए functional और evaluation design को जाँचता है।

VaR exception indicator binary है: L_t, VaR forecast से बड़ा हो तो I_t = 1, अन्यथा 0। दो models में exceptions की संख्या और समय समान हो सकता है, जबकि threshold से आगे losses का आकार बहुत अलग हो। चार breaches की गिनती नहीं बताती कि वे थोड़े आगे थे या बहुत बड़े। Hit count अकेला exceedance severity नहीं बताता, जबकि ES चुने हुए tail की औसत गंभीरता बताता है।

Joint score VaR threshold और ES forecasts के साथ realized loss का उपयोग करता है, इसलिए tail-loss magnitude hit count से आगे score को प्रभावित कर सकती है। प्रत्येक observation का सटीक योगदान चुना score तय करता है। एक extreme loss से winner घोषित न करें; पूरे common sample पर score निकालें और sensitivity देखें।

Forecast comparison scoring और VaR exception frequency जाँचना अलग काम हैं। Joint score पूछता है कि समान rule पर कौन सा forecast pair बेहतर रहा; यह पूर्ण calibration certificate नहीं है।

Kupiec-style VaR tests exception count की तुलना target rate से करते हैं; Christoffersen extensions dependence या clustering भी देखती हैं। हर outcome को hit या non-hit में घटाने के कारण ये VaR से आगे loss magnitude नहीं मापते और ES को सीधे validate नहीं करते। VaR और Expected Shortfall मार्गदर्शिका बताती है कि exception counts tail severity क्यों छोड़ देते हैं।

Joint scoring relative forecast comparison का साधन है, जबकि backtesting पूछता है कि निर्धारित procedure में forecast पर्याप्त calibrated है या नहीं। Acerbi और Szekely ने nonparametric ES backtests प्रस्तावित किए और बताया कि elicitability model selection के लिए उपयोगी है, risk measure को test करने की पूर्वशर्त नहीं (Acerbi and Szekely, 2014)। Bayer और Dimitriadis ने joint VaR–ES structure पर regression-based ES backtests बनाए; variants की assumptions और covariance requirements अलग हैं (Bayer and Dimitriadis, 2022)। Score ranking dedicated backtest का विकल्प नहीं; non-rejection भी accuracy का प्रमाण नहीं।

Score differences की time series को data की तरह लें। Non-overlapping one-step forecasts और उपयुक्त dependence assumptions में mean difference का paired test उपयोगी हो सकता है। Serial dependence या overlapping horizons होने पर long-run variance या block resampling जैसी अनुरूप विधि अपनाएँ। केवल p-value के बजाय विधि, bandwidth या block rule बताएँ।

Ranking देखने से पहले score, tail level, horizon, evaluation dates और model set तय करें। कई scores, windows, assets या forecast variants आजमाकर केवल सबसे अच्छा दिखाने पर selection bias आता है। संभव हो तो बाद की evaluation period अलग रखें और alternatives की screening बताएं। चुने हुए test sample पर tuning करने की अनिश्चितता अपने आप सामान्य error bars में शामिल नहीं होती।

Average scores और paired difference के साथ uncertainty, score definition, VaR–ES convention, common out-of-sample dates और tail-observation count दें। Reasonable score या period बदलने पर ranking बदलती हो तो sensitivity दिखाएँ।

High confidence levels पर tail observations कम होती हैं, इसलिए लंबी series में भी model ranking अस्थिर हो सकती है। Conditional heteroskedasticity, regime changes, overlapping returns, estimation error, data problems और portfolio changes score differences को प्रभावित करते हैं। Joint elicitability इन समस्याओं को मिटाती नहीं; वह mathematical conditions के तहत principled score class देती है।

जाँचें कि realized loss का portfolio, horizon, valuation और sign forecast से मेल खाता है; VaR और ES एक tail probability उपयोग करते हैं; forecasts outcome से पहले बने; और score अपनी assumptions के अनुकूल है। Sample length, tail count, formula, paired uncertainty method और model/score search रिपोर्ट करें। निष्कर्ष इस design पर निर्भर है।

कम joint score चुने हुए proper scoring rule के अंतर्गत comparative predictive performance का प्रमाण है। यह नहीं दिखाता कि model हर tail event पकड़ता है, risk estimate सुरक्षित है या भविष्य sample जैसा होगा। यह सांख्यिकीय जानकारी है, investment advice नहीं।