प्रायिकता समाकल रूपांतरण: घनत्व पूर्वानुमान का कैलिब्रेशन

बिंदु पूर्वानुमान कल का प्रतिफल 0.2% बता सकता है। घनत्व पूर्वानुमान सामान्य उतार-चढ़ाव और चरम घटनाओं सहित पूरे प्रतिफल-वितरण को प्रायिकताएँ देता है। इसलिए सवाल है कि परिणाम देखने से पहले जारी किया गया वितरण बाद में हुई घटनाओं से मेल खाता है या नहीं। Mincer–Zarnowitz मार्गदर्शिका संख्यात्मक बिंदु पूर्वानुमानों के रैखिक कैलिब्रेशन पर है—यह अलग प्रश्न है।

PIT बताता है कि पूर्वानुमान ने वास्तविक मान तक कितनी संचयी प्रायिकता रखी। यह प्रायिकता-रैंक है, प्रतिफल, ट्रेडिंग संकेत या लाभ का माप नहीं। Diebold–Mariano मार्गदर्शिका चुने हुए स्कोर के तहत औसत पूर्वानुमान-हानि की तुलना करती है; यह घनत्व कैलिब्रेशन से अलग है।

पूर्वानुमान-मूल समय (t) के बाद परिणाम (Y_{t+1}) और उस समय उपलब्ध सूचना (\mathcal I_t) पर आधारित संचयी वितरण फलन (CDF) (F_{t+1}(y\mid\mathcal I_t)) मानें। सतत वितरण के लिए

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

CDF, (y) से कम या बराबर मानों की प्रायिकता है। यदि पूर्वानुमान वास्तविक सशर्त वितरण है, PIT प्रमेय कहता है

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

इसलिए आदर्श सतत एक-चरण पूर्वानुमान का PIT, उपलब्ध सूचना पर सशर्त समान-वितरित है। जब सूचना-समुच्चय में अतीत शामिल हो, उचित शर्तों के तहत आदर्श क्रम समय के साथ स्वतंत्र भी होता है। Rosenblatt ने इस रूपांतरण का अध्ययन किया; Diebold, Gunther और Tay ने इसे घनत्व पूर्वानुमान मूल्यांकन में लागू किया (1952; 1998).

हाथ से जाँचें: पूर्वानुमान (N(0,1)) और परिणाम (y=1) हो, तो PIT (Phi(1)\approx0.8413) है—पूर्वानुमान ने 1 तक के मानों को करीब 84.13% प्रायिकता दी। एक मान कैलिब्रेशन नहीं बताता; इसके लिए क्रम चाहिए।

असतत CDF संभावित परिणामों पर छलाँग लगाता है। इसलिए साधारण (F(Y)) कुछ निश्चित स्तर ही लेता है और सही पूर्वानुमान में भी सामान्यतः Uniform(0,1) नहीं होता। रैंडमाइज़्ड PIT हर छलाँग-अंतराल भरता है:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

यहाँ (F(y^-)) बायाँ सीमा-मान, यानी (y) से सख्ती से कम मानों की प्रायिकता है; (V) मूल्यांकन के लिए स्वतंत्र Uniform(0,1) ड्रॉ है। सतत वितरण में छलाँग शून्य होती है और सूत्र (F(Y)) बनता है। Brockwell यह रूपांतरण असतत और मिश्रित सहित सामान्य वितरणों के लिए सिद्ध करते हैं (2007). Count डेटा में Czado, Gneiting और Held nonrandomized PIT तथा marginal calibration plots पर भी चर्चा करते हैं; असतत (F(Y)) को सतत-समान मानकर न परखें (2009).

काल्पनिक Bernoulli पूर्वानुमान में (P(Y=1)=0.20) और (P(Y=0)=0.80) हो। साधारण PIT, (Y=0) पर 0.80 और (Y=1) पर 1 है—ये मान समान नहीं हैं। रैंडमाइज़ेशन में (Y=0) से (0.80V), अर्थात ([0,0.80]), और (Y=1) से (0.80+0.20V), अर्थात ([0.80,1]), मिलता है। उनकी घटनात्मक प्रायिकताओं से भारित कुल घनत्व ([0,1]) पर समान होता है। ड्रॉ मूल्यांकन का उपकरण है, पूर्वानुमान का हिस्सा नहीं।

PIT का सीमांत वितरण आदर्श सतत पूर्वानुमान में समान होना आवश्यक है, पर्याप्त नहीं। अलग-अलग बाजार-स्थितियों की विपरीत त्रुटियाँ मिलकर लगभग सपाट हिस्टोग्राम दे सकती हैं। Gneiting, Balabdaoui और Raftery दिखाते हैं कि लगभग समान PIT के साथ व्यक्तिगत पूर्वानुमान पक्षपाती हो सकते हैं (2007).

क्रम भी मायने रखता है: समान हिस्टोग्राम के बावजूद PIT समय के साथ निर्भर हो सकता है, जैसे क्लस्टर या लंबे रन। आदर्श सशर्त पूर्वानुमान केवल पूल की गई समानता से अधिक निहित करते हैं। overlapping horizons में संदर्भ वितरण को ओवरलैप के अनुरूप बनाएं; iid परीक्षण स्वतः उपयुक्त नहीं होता।

सीमांत वितरण के साथ समय, लैग, पूर्वानुमान-मूल चर और पहले से तय regimes से संबंध जाँचें। सशर्त समूह छिपे पैटर्न दिखा सकते हैं, पर समूह-चयन और छोटे नमूने की सीमाएँ हैं। कोई सीमित परीक्षण-समुच्चय हर संभावित शर्त पर कैलिब्रेशन सिद्ध नहीं करता।

U-आकार अक्सर अत्यधिक केंद्रित या कम-विचरण पूर्वानुमान से मेल खाता है; बीच की उभरी आकृति अक्सर बहुत फैले या अधिक-विचरण पूर्वानुमान से। बाएँ-दाएँ असंतुलन स्थान-पक्षपात का संकेत हो सकता है। ये केवल heuristics हैं: निर्भरता, regime मिश्रण, असतत परिणाम, binning और छोटा नमूना भ्रमित कर सकते हैं।

हिस्टोग्राम समय-क्रम मिटा देता है; यह नहीं दिखाता कि समस्या कब शुरू हुई या समूह कहाँ बने। चौड़े bins कमियों को छिपा सकते हैं, संकरे bins नमूना-शोर से अनियमित दिख सकते हैं। पूर्वानुमानों की संख्या, bin सीमाएँ और संभव हो तो अनिश्चितता बताएँ। Diebold–Gunther–Tay और Berkowitz ऐसे औपचारिक परीक्षणों के उदाहरण हैं जिनकी मान्यताएँ डिज़ाइन से मेल खानी चाहिए। Berkowitz अंदरूनी PIT को (Z_t=\Phi^{-1}(U_t)) में बदलकर स्वतंत्र standard-normal मानों के संयुक्त null को तय dynamic alternative—जैसे AR(1)—के विरुद्ध परखता है। यह सार्वभौमिक प्रमाणपत्र नहीं है (2001).

<!-- learn:illustration -->

समानता का परिणाम मानता है कि CDF सही सशर्त कानून है। व्यवहार में पैरामीटर अनुमानित होते हैं, वितरण परिवार चुना जाता है, और thresholds/features ट्यून किए जा सकते हैं। इसलिए (F_{t+1}(\cdot;\hat\theta_t)) पूर्वानुमान प्रक्रिया का भाग है। मूल्यांकन अवधि के परिणाम से मॉडल फिट कर उसी PIT को untouched out-of-sample प्रमाण कहना सूचना-लीक है।

Rolling evaluation में हर forecast origin पर उसी समय उपलब्ध सूचना लें। estimation window, पुनः-अनुमान आवृत्ति, data vintage, model version और selection steps दर्ज करें। पास-पास के windows में साझा observations और overlapping outcomes निर्भरता जोड़ते हैं।

परीक्षण का size/power estimator, sample और procedure पर निर्भर है। PIT histogram parameter uncertainty नहीं समेटता; textbook iid reference हर estimated या overlapping scheme पर लागू नहीं। महत्वपूर्ण inference के लिए उपयुक्त परीक्षण लें या पूरी estimation-forecast pipeline दोहराकर null का simulation/bootstrap करें। आवश्यकता हो तो model selection से अलग अंतिम evaluation sample रखें।

कैलिब्रेशन forecast और outcomes का संबंध है: क्या किसी probability पर घोषित घटनाएँ उसी दर से होती हैं? Sharpness परिणाम देखे बिना forecast distributions की सघनता है। Gneiting, Balabdaoui और Raftery sharpness को calibration की शर्त के अधीन वांछनीय मानते हैं, विकल्प नहीं।

चौड़ा forecast calibrated पर कम जानकारीपूर्ण हो सकता है; संकरा forecast सटीक दिख सकता है, लेकिन यदि परिणाम उसकी probability mass से अक्सर बाहर हों तो गलत calibrated है। PIT distributional consistency देखता है; sharpness summaries spread/width बताते हैं। सिर्फ एक बताने से मूल्यांकन अधूरा है।

Volatility regime या horizon के अनुसार pooled PIT में छिपी त्रुटियाँ खोजें और शर्तें पहले तय करें। यह point-forecast regression और Giacomini–White conditional predictive-ability test से संबंधित पर अलग है; GW चुनी सूचना पर conditional forecast losses की तुलना करता है।

PIT निदान है, अकेले density forecasts की ranking नहीं। Log score और continuous ranked probability score (CRPS) प्रत्येक forecast-outcome को scalar loss देते हैं; परिभाषा के अनुसार सच्चे predictive distribution पर expected loss न्यूनतम होता है। किसी एक sample का औसत यह सिद्ध नहीं करता कि मॉडल सही है। Model Confidence Set मार्गदर्शिका set-based तुलना बताती है। पूर्ण वितरण के लिए परिभाषित score को common outcomes पर लगाएँ।

Target, horizon, common dates, loss convention और benchmark बताएँ। Log score किसी observation पर बहुत कम density देने के लिए विशेष रूप से संवेदनशील है; CRPS CDF के अंतर मापता है। Score differences की uncertainty में serial dependence, estimation और model search का ध्यान रखें। PIT plots और scores साथ अलग भूमिकाएँ निभाते हैं।

बेहतर calibration या score लाभ का प्रमाण नहीं। Trading claim के लिए decision rule, सूचना-समय, position sizing, transaction/funding costs और out-of-sample return evaluation अलग चाहिए। Forecast statistic backtest return नहीं है।

Target, horizon, origin time, outcome vintage और distribution type (continuous/discrete/mixed) तय करें। हर predictive CDF या उसे पुनर्निर्मित करने का डेटा, realized value और information set के साथ सहेजें। Continuous case में (F_t(Y_t)) निकालें; jumps के लिए documented randomized PIT या discrete diagnostic लें।

Marginal distribution और time order दोनों जाँचें। Bins, sample size, ties और random seed/repeated randomization बताएँ। पहले से परिभाषित प्रश्नों के independence/conditional checks जोड़ें और rolling, overlapping या estimated scheme के अनुरूप inference करें। Common held-out outcomes पर proper scores से मॉडल अलग तुलना करें। निष्कर्ष परिभाषित forecasts और conditions पर लागू है; भविष्य के calibration या trading profit की गारंटी नहीं।