Nested forecast के लिए Clark–West test: फ़ॉर्मूला, उदाहरण और सीमाएँ

मान लें कि एक restricted model constant से अगले महीने का return forecast करता है, जबकि बड़ा model एक valuation ratio जोड़ता है। Restricted model, बड़े model के भीतर nested है: जोड़ा गया coefficient शून्य रखने पर benchmark model वापस मिलता है। यदि coefficient सचमुच शून्य है, तब भी उसे estimate करने से बड़े model की predictions में sampling noise आ सकता है। इसलिए दोनों models की population predictive content समान होने पर भी बड़े model का observed mean squared prediction error (MSPE) अधिक हो सकता है।

Clark–West adjustment, nested forecasts की out-of-sample squared-error तुलना में estimation-noise की इस समस्या को लक्ष्य करता है। इस setup में यह पूछता है कि restricted benchmark से आगे बड़ा model अतिरिक्त predictive value देता है या नहीं। यह Diebold–Mariano guide की सामान्य तुलना से संकरा प्रश्न है। वह paired forecast losses की तुलना करता है, लेकिन nested models पर उसकी सामान्य reference distribution अपने-आप वैध नहीं होती। Clark और McCracken nested forecast accuracy और encompassing tests के asymptotic तथा finite-sample व्यवहार में अंतर का अध्ययन करते हैं; Clark और West adjusted MSPE प्रक्रिया और उसके approximate inference को विकसित करते हैं। Clark and McCracken (2001)00071-9); Clark and West (2007)।

Restricted benchmark को उसी target (y_{t+h}) का forecast देना चाहिए जो बड़ा alternative देता है। बड़े model में benchmark specification विशेष स्थिति के रूप में शामिल होनी चाहिए, आम तौर पर एक या अधिक अतिरिक्त coefficients को शून्य रखने पर। केवल अधिक जटिल होना, अधिक variables इस्तेमाल करना या in-sample fit बेहतर होना इस nesting संबंध को स्थापित नहीं करता।

हर forecast origin पर दोनों predictions केवल उस समय उपलब्ध जानकारी से बनाएँ। Chronological training window पर models estimate करें, बाद की evaluation window पर forecasts जारी करें और दोनों के लिए वही target, horizon, units, origins और realized observations इस्तेमाल करें। Recursive या rolling re-estimation उपयुक्त हो सकती है, लेकिन बताएं कि कौन-सी पद्धति अपनाई और हर origin पर वास्तव में बनाए गए forecasts सुरक्षित रखें। Predictors, transformations या horizons चुनने के लिए evaluation window बार-बार देखने से वह untouched evidence नहीं रहती, बल्कि model selection का हिस्सा बन जाती है। CAViaR guide दिखाती है कि tail-quantile forecast को भी उसके target के अनुकूल loss से परखना चाहिए, न कि mean-forecast तुलना में जोड़ना चाहिए।

Clark–West adjustment nested-model null के तहत parameter-estimation noise से संबंधित है; यह look-ahead, अलग-अलग samples, अतीत में अज्ञात revised data को उस समय ज्ञात मानना, या बिना बताए model search करना ठीक नहीं करता। Initial estimation window, forecast origins की संख्या, horizon, data vintage और rolling या recursive updates रिपोर्ट करें, ताकि पाठक जान सके कि सचमुच कौन-सी तुलना out of sample थी।

Restricted forecast को f₀,t+h, बड़े model के forecast को f₁,t+h और forecast error j को eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h मानें। Squared-error loss में हर period का Clark–West adjusted difference यह है:

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

यह restricted model के squared error में से बड़े model का squared error घटाने और फिर दोनों forecasts के बीच की दूरी का वर्ग जोड़ने के बराबर है। आख़िरी term, null के तहत अतिरिक्त fitted parameters से जुड़ा forecast noise अनुमानित करता है। Clark और West इस adjustment को बड़े model के sample MSPE में से forecast-gap term घटाकर restricted model से तुलना करने के रूप में बताते हैं। Clark and West (2007)।

साझा evaluation origins पर adjusted differences का औसत लें: mean(dCW) = (1/P) Σ dCW,t+h। यदि outcomes और forecasts basis points में मापे गए हैं, तो हर squared error और adjusted difference की इकाई basis-points squared है। ऊपर दिए convention में positive adjusted mean बड़े model के पक्ष में संकेत देता है। यह adjusted comparison score है; बड़े model का realized MSPE नहीं और न ही trading के लिए इस्तेमाल करने वाला forecast।

Clark–West का सामान्य प्रश्न यह है कि क्या nested बड़ा model, restricted benchmark से कम expected MSPE देता है। Null hypothesis कहती है कि model का अतिरिक्त component कोई incremental predictive improvement नहीं देता; one-sided alternative बड़े model के पक्ष में है। ऊपर के फ़ॉर्मूले के अनुसार, standard error की तुलना में पर्याप्त positive adjusted mean इस alternative का समर्थन करता है।

Adjusted-loss notation में working hypotheses हैं H₀: E[dCW] = 0 और H₁: E[dCW] > 0। Positive दिशा इसलिए आती है क्योंकि restricted-model loss पहले रखा है। घटाने का क्रम उलटें तो sign भी उलट जाता है, इसलिए result के साथ convention बताएं।

Test statistic को अक्सर dCW के sample mean को उसके estimated standard error से भाग देकर लिखा जाता है। जिन settings का Clark और West अध्ययन करते हैं, उनके लिए वे उपयुक्त होने पर standard या autocorrelation-consistent standard error के साथ approximately normal one-sided test सुझाते हैं। West (1996) out-of-sample forecasts और errors के smooth functions के moments के लिए inference विकसित करते हैं, जिनमें estimated parameters पर निर्भर forecasts भी शामिल हैं। दिशा नतीजे देखने से पहले चुनें: positive Clark–West statistic देखने के बाद two-sided या अलग sign वाली hypothesis पर जाना उचित नहीं है।

p-value, nesting संबंध, forecast निर्माण, target, loss, inference method और sampling assumptions पर निर्भर है। यह बड़े model के सही होने की संभावना नहीं बताता और न ही यह साबित करता है कि जोड़ा गया predictor target में बदलाव का कारण है।

Basis points में चार काल्पनिक observations लें। Actual values [0, 1, −1, 0], restricted forecasts [−1, 0, 0, 0], और nested बड़े model के forecasts [−1.5, 0.5, −0.5, 0.5] हैं। Restricted model के squared errors [1, 1, 1, 0] हैं; mean MSPE 0.75 bp² है। बड़े model के squared errors [2.25, 0.25, 0.25, 0.25] हैं; उसका mean MSPE भी 0.75 bp² है।

Squared forecast gaps (f₀ − f₁)² = [0.25, 0.25, 0.25, 0.25] हैं। Adjusted difference e₀² − e₁² + (f₀ − f₁)² लगाने पर [−1, 1, 1, 0] bp² मिलता है। इसका sample mean 0.25 bp² है। Raw MSPE बराबर हैं, जबकि adjusted mean positive है क्योंकि correction बड़े model के forecast-estimation noise को ध्यान में रखता है।

ये चार periods केवल arithmetic समझाते हैं। Uncertainty का भरोसेमंद अनुमान लगाने या statistical significance स्थापित करने के लिए ये बहुत कम हैं। Positive adjusted mean अपने-आप वास्तविक forecasting edge का प्रमाण नहीं है; values काल्पनिक हैं, market observations नहीं। <!-- learn:illustration -->

एक-step forecasts में भी adjusted loss differences serially dependent हो सकते हैं, क्योंकि target, predictors या estimation window समय के साथ बदलते हैं। Overlapping multi-step forecasts में आस-पास के origins realized target periods साझा करते हैं, इसलिए उनके adjusted differences बनावट के कारण correlated हो सकते हैं। हर origin को independent मानने वाला ordinary standard error uncertainty को कम आँक सकता है।

Sampling design के अनुरूप method से adjusted-difference series पर standard error estimate करें, जैसे शर्तें पूरी हों तो heteroskedasticity-and-autocorrelation-consistent long-run variance estimate। Forecast errors autocorrelated हों तो Clark और West autocorrelation-consistent errors का स्पष्ट उल्लेख करते हैं। Forecast horizon, covariance estimator, kernel और bandwidth (यदि इस्तेमाल हों), तथा resampling या critical-value method बताएं। Block-bootstrap guide बताती है कि dependent time-series observations को resample करते समय उनका क्रम बनाए रखना क्यों ज़रूरी है; generic bootstrap अपने-आप Clark–West null लागू नहीं करता।

कितनी dependence संभालनी है, यह design पर निर्भर करता है। लंबे horizons, persistent targets, बार-बार parameter estimation और volatility में बदलाव सरल overlap से आगे dependence बना सकते हैं। उचित inference settings की तुलना करें और समझाएँ; केवल सबसे छोटा p-value देने वाली setting न चुनें।

Nested-model forecast tests के null distributions nonstandard हो सकते हैं, खासकर जब estimation और evaluation samples साथ-साथ बढ़ते हैं। Clark और McCracken का विश्लेषण दिखाता है कि nested forecasts के equal-accuracy और encompassing procedures का asymptotic तथा finite-sample व्यवहार सामान्य non-nested comparison से अलग है। Clark–West अध्ययन किए गए designs में उपयोगी approximately normal inference वाले adjusted statistic को प्रेरित करता है, लेकिन यह हर finite sample के लिए सार्वभौमिक गारंटी नहीं है। Clark and McCracken (2001)00071-9); Clark and West (2007)।

छोटा evaluation sample, कई अतिरिक्त parameters, गलत specification वाला benchmark, data-driven predictor selection और rolling बनाम recursive estimation का चुनाव—ये सब test size और power को प्रभावित कर सकते हैं। यदि sample या design paper की settings से काफ़ी अलग है, तो design-appropriate critical values या सावधानी से निर्दिष्ट simulation/bootstrap procedure पर विचार करें। Estimation और evaluation sample sizes बताएं तथा स्पष्ट करें कि p-value किस reference distribution से निकला।

Diebold–Mariano test सामान्य paired-loss setup में पूछता है कि दो forecast-loss series का expected loss बराबर है या नहीं। Clark–West adjustment उन squared-error comparisons के लिए है जहाँ एक model दूसरे को nest करता है और अतिरिक्त estimated parameters null के तहत raw MSPE difference को विकृत करते हैं। गैर-nested models पर बिना औचित्य adjustment लगाने से प्रश्न बदल जाता है। मूल DM paper कई प्रकार के loss measures की अनुमति देता है और ऐसे forecast errors की चर्चा करता है जिनका Gaussian या independent होना आवश्यक नहीं; वह संबंधित साहित्य है, nested-model procedure का पर्याय नहीं। Diebold and Mariano (1995)।

कई targets, horizons, benchmarks और predictor sets आज़माने से पैदा हुए researcher degrees of freedom को कोई भी तरीका हल नहीं करता। यदि अंतिम तुलना व्यापक search से निकली है, candidate family का record रखें और search-level प्रश्न के लिए बनी method का उपयोग करें। White’s Reality Check और Hansen’s SPA guide खोजे गए trading rules के पूरे परिवार पर inference समझाती है; केवल Clark–West test किसी चुनी हुई forecast comparison को confirmatory नहीं बनाता।

एक significant one-sided result, बताए गए assumptions के तहत, इस बात का evidence है कि बड़े model ने परीक्षित target और evaluation design में expected squared forecast accuracy सुधारी। यह नहीं दिखाता कि अतिरिक्त predictor causal है, signal स्थिर रहेगा, या forecast पर आधारित strategy positive returns कमाएगी। निर्णय के लिए forecast improvement बहुत छोटा हो सकता है और model के सबसे बड़े gains उन्हीं अवधियों में हो सकते हैं जब trade करना महँगा हो।

Trading profitability के लिए अलग rule, untouched evaluation data और यथार्थवादी spread, fees, slippage, market impact, financing, borrowing तथा risk limits चाहिए। Causal claims के लिए सवाल के अनुरूप identification strategy चाहिए; post-sample forecast comparison causal design नहीं है। साफ़ बताएं कि Clark–West result क्या स्थापित करता है; बाकी claims के लिए ऐसा अलग evidence रखें जो उन्हें वास्तव में जाँचता हो।

Restricted और बड़े model के नाम दें, nesting बनाने वाली सटीक restrictions बताएं, और target, horizon, squared-error units, estimation window, forecast-origin schedule, evaluation dates और common-sample rule परिभाषित करें। समझाएँ कि coefficients recursive ढंग से re-estimate हुए या rolling window से, और information set व data vintages कैसे सुरक्षित रखे गए।

दोनों models के raw MSPE, mean Clark–West adjusted difference, sign convention, standard error, one-sided alternative, reference distribution या critical values, p-value और dependence estimator रिपोर्ट करें। Extra parameters की संख्या, sample sizes, predictors और horizons की खोज, benchmark selection, और evaluation window model design में इस्तेमाल हुई या नहीं—यह भी बताएं। इससे पाठक adjusted nested-model test को सामान्य forecast comparison से अलग कर सकते हैं और बची हुई uncertainty परख सकते हैं।