पूर्वानुमान encompassing परीक्षण: क्या एक पूर्वानुमान में दूसरे की जानकारी शामिल है?

मान लें कि A और B एक ही लक्ष्य y के लिए, एक ही पूर्वानुमान-आरंभ और एक ही क्षितिज पर अनुमान देते हैं। यह परीक्षण केवल यह नहीं पूछता कि अतीत में किस मॉडल की त्रुटि कम रही। यह पूछता है: A को ध्यान में रखने के बाद क्या B में कोई अतिरिक्त संकेत बचता है जो तय की गई रैखिक संरचना में A को बेहतर कर सके? यदि इस डिज़ाइन में B कोई अतिरिक्त पूर्वानुमान सूचना नहीं देता, तो कहा जाता है कि A, B को encompass करता है या B, A को और बेहतर नहीं करता।

इस विचार का विकास रैखिक आर्थिक मॉडलों के मूल्यांकन समेत कई संदर्भों में हुआ। Chong और Hendry (1986) इसे Econometric Evaluation of Linear Macro-Economic Models में प्रस्तुत करते हैं {source:chongHendry1986ForecastEncompassing}। “Encompass” का अर्थ विशेष पूर्वानुमानों और विशेष परिकल्पना के बीच सशर्त संबंध है; इसका अर्थ यह नहीं कि A हर समय सही है या B किसी अन्य समस्या में बेकार है।

कम RMSE किसी निर्धारित माप और नमूने में देखी गई त्रुटियों की क्रम-व्यवस्था बताता है। Encompassing का सवाल यह है कि आधार पूर्वानुमान के मुकाबले प्रतिद्वंद्वी पूर्वानुमान कितनी अतिरिक्त सूचना देता है। दोनों सवालों के उत्तर अलग हो सकते हैं; केवल RMSE क्रम से encompassing सिद्ध नहीं होता।

RMSE, mean squared error का square root है: RMSE = √[(1/n) Σₜ₌₁ⁿ eₜ²]। यानी यह नमूने के औसत squared error का वर्गमूल है, स्वयं औसत squared error नहीं।

f_A,t और f_B,t को एक ही y का पूर्वानुमान करना चाहिए, प्रत्येक आरंभ पर उपलब्ध एक ही सूचना और एक ही क्षितिज का उपयोग करते हुए। लक्ष्य की परिभाषा, इकाइयाँ, समय-मुद्राएँ, नमूना और अनुपलब्ध अवलोकनों के नियम एकसमान रखें। कल के बंद भाव का पूर्वानुमान अगले पाँच दिनों के औसत के पूर्वानुमान से सीधे तुलना योग्य नहीं है, भले दोनों को रिटर्न पूर्वानुमान कहा जाए।

हर ऐतिहासिक आरंभ पर वास्तव में उपलब्ध पूर्वानुमान लें, बाद में भविष्य की सूचना से दोबारा अनुमानित संस्करण नहीं। डेटा और मॉडल के vintage सुरक्षित रखें तथा संशोधित आर्थिक आँकड़ों और समायोजित कीमतों के नियम दर्ज करें। यदि अवधि या विनिर्देश परिणाम देखने के बाद चुने गए हों, तो उसे खोज-प्रक्रिया का हिस्सा बताएं, स्वतंत्र आउट-ऑफ-सैंपल पुष्टि नहीं।

चिह्न स्पष्ट रूप से तय करें: e_A,t = y_t − f_A,t और d_t = f_B,t − f_A,t। किसी भी गुणांक की गणना से पहले यह convention लिखें। A और B का क्रम उलटने पर d और संयोजन-भार का चिह्न उलट जाएगा। सूचना स्वयं नहीं बदलती, लेकिन चिह्न की व्याख्या बदल जाती है।

उदाहरण के लिए रैखिक संयोजन f_C,t = f_A,t + w d_t, अर्थात f_C,t = (1−w)f_A,t + w f_B,t, लिख सकते हैं। e_A,t त्रुटि को constant और d_t पर regress करने से w समझने में मदद मिलती है: यदि दोनों पूर्वानुमानों का अंतर A की त्रुटियों से जुड़ा है, तो उसमें अतिरिक्त रैखिक सूचना हो सकती है। इस निरूपण में ढाल B को दिया गया अतिरिक्त भार बताती है और constant, A के औसत bias को समेटता है।

लेकिन यह हर encompassing परीक्षण की एकमात्र परिभाषा नहीं है। कुछ विनिर्देश constant या forecast bias को सीमित करते हैं; कुछ दूसरी आधार भविष्यवाणी या conditional information इस्तेमाल करते हैं। परीक्षण एकतरफा वैकल्पिक परिकल्पना या संयुक्त प्रतिबंधों पर हो सकता है। अनुमानित मॉडल पैरामीटर और nested मॉडल संरचना भी उपयुक्त inference बदल सकते हैं। इसलिए परीक्षण, परिकल्पना और मान्यताओं का नाम दें; किसी एक regression या critical value को सार्वभौमिक नियम न बताएं।

अनुमानित भार [0,1] के बाहर भी हो सकते हैं। तब नमूने में सबसे अच्छा रैखिक संयोजन दोनों पूर्वानुमानों के बीच रहने के बजाय उनसे आगे extrapolate करता है। कोई implementation nonnegative weights या उनका योग एक होने की शर्त लगा सकता है, लेकिन प्रतिबंध विधि पर निर्भर हैं। उन्हें रिपोर्ट करें और बिना प्रतिबंध के अनुमान को दोबारा estimate किए काटकर सीमित न करें।

illustrative regression e_A,t = α + β d_t + u_t में intercept होने पर population slope β = Cov(e_A,d)/Var(d) है, बशर्ते Var(d)>0। इसलिए β=0 का अर्थ है कि constant bias की अनुमति देने के बाद e_A और forecast difference के बीच linear association नहीं है। इससे nonlinear संबंध या अन्य प्रकार की सूचना खारिज नहीं होती।

intercept के बिना regression की population slope E[e_A d]/E[d²] है, यदि E[d²]>0; इसलिए zero-slope restriction cross-moment E[e_A d]=0 है। यह moment zero covariance के बराबर तभी है जब E[e_A]=0 या E[d]=0 हो। intercept वाले समीकरण में α=0 अलग bias restriction है; β=0 के साथ यह A की औसत forecast error शून्य होने की शर्त लगाता है। अतः α=0 जाँचना केवल incremental information नहीं, unbiasedness की अतिरिक्त शर्त भी जाँचता है।

कोई विशेष test अतिरिक्त सूचना के प्रश्न को coefficient या forecast difference पर restrictions में बदलता है। bias पकड़ने के लिए intercept रखा जा सकता है, incremental slope जाँची जा सकती है या forecast origin पर उपलब्ध conditional information इस्तेमाल की जा सकती है। वैकल्पिक hypothesis एकतरफा हो सकती है, यदि पहले से प्रश्न हो कि A बेहतर होता है या नहीं; या किसी भी अतिरिक्त संबंध के लिए दोतरफा। हर चुनाव बदलता है कि statistic क्या जाँचता है और uncertainty कैसे estimate करनी है।

इसलिए illustrative regression की slope हर अध्ययन में इस्तेमाल होने वाला encompassing statistic अपने आप नहीं बन जाती। p-value देखने से पहले test को दोनों मॉडलों के संबंध, parameter-estimation timing, out-of-sample design और error assumptions के अनुरूप चुनें। यदि इन चुनावों से नतीजा बदलता है, तो उसे बताएं; परिणाम जानने के बाद मनचाहा उत्तर देने वाली specification न चुनें।

<!-- learn:illustration -->

मान लें d की इकाई basis point है और d = [−4, −2, −1, 1, 2, 4], A की त्रुटियाँ [−1.6, −1.2, 1.5, 0.5, 1.3, 1.5] हैं और n = 6। d का औसत शून्य तथा e_A का औसत 1/3 basis point है। d के वर्गों का योग 42 है; d और अपने औसत से केंद्रित e_A के गुणनफलों का योग 16.4 है।

इसलिए constant वाले साधारण OLS regression में ढाल w = 16.4/42 ≈ 0.3905 और intercept 1/3 basis point है। नमूने में fitted संयोजन f_C = f_A + 0.3905(f_B−f_A) होगा। यह गणना नमूने के रैखिक संयोजन-भार को दिखाती है; यह नहीं जाँचती कि ढाल सांख्यिकीय रूप से शून्य से अलग है या संयोजन भविष्य के पूर्वानुमान सुधारेगा।

छह अवलोकनों से भरोसेमंद p-value या encompassing अथवा श्रेष्ठता का निष्कर्ष न निकालें। इसके लिए उपयुक्त नमूना डिज़ाइन और त्रुटि-निर्भरता तथा पूर्वानुमान बनाने की प्रक्रिया से मेल खाता अनिश्चितता अनुमान चाहिए। यदि भार उन्हीं छह अवलोकनों पर चुना और परखा गया, तो यह स्वभावतः in-sample मूल्यांकन है।

यहाँ सरल अर्थ में “A encompasses B” की null hypothesis कहती है कि A को शामिल करने के बाद B कोई प्रासंगिक अतिरिक्त संकेत नहीं देता, या तय किया गया सुधार-गुणांक शून्य है। कोई एक सार्वभौमिक test equation नहीं है। देखें कि bias की अनुमति है या नहीं, कौन-सी conditional information शामिल है, क्या एकतरफा वैकल्पिक परिकल्पना A को बेहतर करने की दिशा में है, और अनुमानित पैरामीटर कैसे संभाले गए हैं।

Harvey, Leybourne और Newbold (1998) ने forecast encompassing परीक्षणों का अध्ययन किया। वे बताते हैं कि least-squares test गैर-सामान्य त्रुटियों के प्रति robust नहीं है और विकल्पों पर चर्चा करते हैं: Tests for Forecast Encompassing {source:harveyLeybourneNewbold1998ForecastEncompassing}। इसलिए मान्यताओं और संदर्भ-वितरण की जाँच किए बिना सॉफ़्टवेयर का OLS गुणांक और default p-value पढ़ना पर्याप्त नहीं।

0.05 से बड़ा p-value equivalence सिद्ध नहीं करता और न ही यह कि B बेकार है। इसका कारण छोटा नमूना, बड़ा standard error या कम statistical power हो सकता है। उचित निष्कर्ष इतना है कि इस डिज़ाइन और मान्यताओं के तहत चुने गए स्तर पर आँकड़ों ने निर्दिष्ट null के विरुद्ध पर्याप्त साक्ष्य नहीं दिया।

Diebold–Mariano परीक्षण समान आरंभों पर दो पूर्वानुमानों के औसत loss की तुलना करता है। Encompassing आधार के मुकाबले प्रतिद्वंद्वी पूर्वानुमान की अतिरिक्त सूचना पूछता है। इसलिए किसी पूर्वानुमान का RMSE कम हो सकता है, पर B, A में उपयोगी रैखिक सूचना न जोड़े; उलटा भी संभव है। Diebold–Mariano forecast-accuracy test देखें।

Clark–West nested linear models की out-of-sample forecast accuracy तुलना में समायोजन करता है, जहाँ अतिरिक्त गुणांकों का estimation noise test distribution को जटिल बनाता है। Clark और McCracken (2001) nested linear models के one-step-ahead forecasts के लिए equal-accuracy और encompassing परीक्षणों के वितरण संबंधी मुद्दे Tests of Equal Forecast Accuracy and Encompassing for Nested Models00071-9) में देखते हैं {source:clarkMcCrackenNestedForecasts2001}। यह हर encompassing परीक्षण का स्वतः विकल्प नहीं है। nested model accuracy adjustment के लिए Clark–West test की व्याख्या देखें।

Forecast combination किसी उद्देश्य, अक्सर training या out-of-sample loss घटाने, के लिए भार estimate या चुनता है। यह पूर्वानुमान बनाने की प्रक्रिया है, अपने आप में encompassing hypothesis का परीक्षण नहीं। Forecast combination में equal और estimated weights देखें। Mincer–Zarnowitz आम तौर पर realized values के मुकाबले level और slope calibration जाँचता है, न कि प्रतिद्वंद्वी पूर्वानुमान की वही अतिरिक्त सूचना। Mincer–Zarnowitz forecast-calibration test देखें।

यदि पूर्वानुमान estimated regressions से बनते हैं, तो पैरामीटर अनुमान परीक्षण के वितरण को प्रभावित कर सकता है। West (2001) उन encompassing परीक्षणों पर चर्चा करते हैं जिनमें पूर्वानुमान estimated regression parameters पर निर्भर होते हैं और समझाते हैं कि inference में पूर्वानुमान-निर्माण को ध्यान में रखना क्यों आवश्यक है: Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters {source:west2001EstimatedForecastsEncompassing}। केवल “out of sample” कहना पर्याप्त नहीं, यदि परीक्षण यह अनदेखा करे कि पैरामीटर फिर से estimate हुए या training window बदली।

विश्लेषण से पहले तय करें कि मॉडल nested हैं या नहीं, estimation fixed है या rolling, test horizons overlap करते हैं या नहीं और त्रुटियाँ समय के साथ कैसे निर्भर हैं। डिज़ाइन के अनुरूप inference चुनें और उचित विकल्पों के तहत परिणाम की संवेदनशीलता बताएं। यदि अनेक मॉडल, लक्ष्य या windows आज़माकर केवल पसंदीदा परिणाम दिखाया गया है, तो अकेला p-value पहले की खोज को नहीं दर्शाता।

यदि regression moments में heteroskedasticity या serial dependence हो, तो covariance estimate के लिए Newey–West प्रकार का heteroskedasticity-and-autocorrelation-consistent (HAC) estimator एक विकल्प हो सकता है। Newey और West (1987) इस estimator का वर्णन करते हैं {source:neweyWest1987}। Kernel और bandwidth forecast design के अनुरूप होने चाहिए; HAC uncertainty estimate का एक संभावित घटक है, अपने आप encompassing test नहीं।

B विश्वसनीय पूर्वानुमान सूचना जोड़े, तब भी शुद्ध सकारात्मक return सिद्ध नहीं होता। पूर्वानुमान को position में बदलने का नियम, ट्रेड का समय, शुल्क, funding, slippage, liquidity और risk limits तय करने होंगे। छोटा संकेत execution costs से मिट सकता है। वह औसत return बढ़ाए बिना hedging या risk management में उपयोगी भी हो सकता है।

परिणाम के साथ लक्ष्य, क्षितिज, forecast origins, साझा नमूना, e और d के sign conventions, परीक्षण और null/alternative, intercept या bias का व्यवहार, estimation method, weight restrictions और inference procedure दें। डिज़ाइन के अनुरूप हो तो संयोजन-भार के साथ standard error या confidence interval दिखाएँ, और in-sample fit को out-of-sample performance से स्पष्ट रूप से अलग करें। Encompassing न तो पूर्वानुमान की और न ही ट्रेड की गारंटी है।

• Chong और Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), DOI
• Harvey, Leybourne और Newbold, “Tests for Forecast Encompassing” (1998), DOI
• Clark और McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), DOI00071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), DOI
• Newey और West, “A Simple, Positive Semi-Definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987) DOI