Nested forecast-এর জন্য Clark–West পরীক্ষা: সূত্র, উদাহরণ ও সীমা

ধরা যাক, একটি restricted model শুধু constant ব্যবহার করে পরের মাসের return forecast করে, আর বড় model-টি একটি valuation ratio যোগ করে। বড় model-এ যোগ করা coefficient শূন্য করলে benchmark ফিরে আসে, তাই restricted model-টি বড় model-এর ভেতরে nested। coefficient-টি সত্যিই শূন্য হলেও সেটি estimate করার ফলে বড় model-এর prediction-এ sampling noise ঢুকতে পারে। ফলে population predictive content সমান হলেও বড় model-এর observed mean squared prediction error (MSPE) বেশি হতে পারে।

Nested forecast-এর out-of-sample squared-error তুলনায় estimation-noise সমস্যা মোকাবিলাই Clark–West adjustment-এর লক্ষ্য। এই নির্দিষ্ট ব্যবস্থায় এটি জিজ্ঞাসা করে, restricted benchmark-এর বাইরে বড় model অতিরিক্ত predictive value দেয় কি না। Diebold–Mariano guide-এর সাধারণ তুলনার চেয়ে এটি সংকীর্ণ প্রশ্ন: সেই পদ্ধতি paired forecast loss তুলনা করে, কিন্তু nested model-এর ক্ষেত্রে সাধারণ reference distribution স্বয়ংক্রিয়ভাবে বৈধ নয়। Clark ও McCracken nested forecast accuracy এবং encompassing test-এর asymptotic ও finite-sample আচরণের পার্থক্য বিশ্লেষণ করেছেন; Clark ও West adjusted MSPE procedure এবং তার approximate inference তৈরি করেছেন। Clark and McCracken (2001)00071-9); Clark and West (2007)।

ধরা যাক, restricted benchmark এবং বড় alternative একই target (y_{t+h}) forecast করে। বড় model-এ benchmark specification বিশেষ ক্ষেত্র হিসেবে অন্তর্ভুক্ত থাকতে হবে—সাধারণত এক বা একাধিক অতিরিক্ত coefficient শূন্য করলে। শুধু model বেশি জটিল, বেশি variable ব্যবহার করে, বা in-sample fit ভালো—এগুলো nesting সম্পর্ক প্রমাণ করে না।

প্রতিটি forecast origin-এ তখনকার উপলভ্য তথ্য দিয়েই দুইটি prediction তৈরি করুন। সময়ক্রম মেনে training window-তে model estimate করুন, পরের evaluation window-তে forecast দিন, এবং দুইটির জন্য একই target, horizon, unit, origin ও realized observation ব্যবহার করুন। Recursive বা rolling re-estimation উপযুক্ত হতে পারে; তবে কোনটি ব্যবহার করেছেন তা জানান এবং প্রতিটি origin-এ বাস্তবে দেওয়া forecast সংরক্ষণ করুন। Predictor, transformation বা horizon বাছতে evaluation window বারবার দেখলে সেটি আর untouched evidence থাকে না; model selection-এর অংশ হয়ে যায়। CAViaR guide দেখায়, tail-quantile forecast-ও তার target-উপযোগী loss দিয়ে মূল্যায়ন করা উচিত; mean-forecast তুলনায় মিশিয়ে নয়।

Clark–West adjustment nested-model null-এর অধীনে parameter-estimation noise নিয়ে কাজ করে; এটি look-ahead, ভিন্ন sample, অতীত সময়ে অজানা revised data-কে তখন জানা ছিল এমন ধরে নেওয়া, বা গোপন model search ঠিক করে না। Initial estimation window, forecast origin-এর সংখ্যা, horizon, data vintage, এবং rolling বা recursive update জানান, যাতে পাঠক বুঝতে পারেন কোন তুলনাটি সত্যিই out of sample ছিল।

Restricted forecast-কে f₀,t+h এবং বড় model-এর forecast-কে f₁,t+h ধরা যাক; forecast error eⱼ,t+h = yₜ₊ₕ − fⱼ,t+h। Squared-error loss ব্যবহার করলে প্রতি সময়ের Clark–West adjusted difference হলো

dCW,t+h = (e₀,t+h)² − [(e₁,t+h)² − (f₀,t+h − f₁,t+h)²]

অন্যভাবে, এটি restricted model-এর squared error থেকে বড় model-এর squared error বাদ দিয়ে দুই forecast-এর দূরত্বের বর্গ যোগ করার সমান। শেষ পদটি null-এর অধীনে অতিরিক্ত estimated parameter-সংশ্লিষ্ট forecast noise অনুমান করে। Clark ও West বড় model-এর sample MSPE থেকে এই forecast-gap term বাদ দিয়ে restricted model-এর সঙ্গে তুলনা করার adjustment বর্ণনা করেন। Clark and West (2007)।

সবার জন্য পাওয়া যায় এমন evaluation origin জুড়ে adjusted difference-এর গড় নিন: mean(dCW) = (1/P) Σ dCW,t+h। Outcome ও forecast basis points-এ মাপলে প্রতিটি squared-error ও adjusted-difference-এর unit হবে basis-points squared। উপরের convention-এ positive adjusted mean বড় model-এর পক্ষে যায়। এটি adjusted comparison score; বড় model-এর realized MSPE নয় এবং trading-এ ব্যবহার করার forecast-ও নয়।

Clark–West পরীক্ষার সাধারণ প্রশ্ন হলো nested বড় model-এর expected MSPE restricted benchmark-এর চেয়ে কম কি না। Null hypothesis বলে অতিরিক্ত model component কোনো incremental predictive improvement আনে না; one-sided alternative বড় model-কে সমর্থন করে। উপরের সূত্রে standard error-এর তুলনায় যথেষ্ট positive adjusted mean এ alternative-এর পক্ষে প্রমাণ।

Adjusted-loss notation-এ working hypotheses হলো H₀: E[dCW] = 0 এবং H₁: E[dCW] > 0। Restricted-model loss আগে রাখায় direction positive। বিয়োগের ক্রম উল্টালে sign-ও উল্টে যাবে, তাই ফলের সঙ্গে convention জানান।

Test statistic সাধারণত dCW-এর sample mean-কে estimated standard error দিয়ে ভাগ করে লেখা হয়। Clark ও West তাঁদের অধ্যয়ন করা settings-এ প্রযোজ্য standard বা autocorrelation-consistent standard error ব্যবহার করে approximately normal one-sided test সুপারিশ করেন। West (1996) out-of-sample forecast ও error-এর smooth function-এর moment inference তৈরি করেন; এতে estimated parameter-নির্ভর forecast-ও রয়েছে। ফল দেখার আগেই direction ঠিক করুন: positive Clark–West statistic দেখে পরে two-sided বা উল্টো sign-এর hypothesis বেছে নেওয়া যায় না।

p-value nesting relationship, forecast construction, target, loss, inference method ও sampling assumption-এর শর্তাধীন। এটি বড় model সত্য হওয়ার সম্ভাবনা দেয় না এবং অতিরিক্ত predictor target-কে কারণগতভাবে সরায়—এটিও প্রমাণ করে না।

Basis points-এ চারটি hypothetical observation নিন। Actual হলো [0, 1, −1, 0], restricted forecast [−1, 0, 0, 0], এবং nested বড় model-এর forecast [−1.5, 0.5, −0.5, 0.5]। Restricted model-এর squared error [1, 1, 1, 0], গড় MSPE 0.75 bp²। বড় model-এর squared error [2.25, 0.25, 0.25, 0.25], গড় MSPE-ও 0.75 bp²।

Squared forecast gap (f₀ − f₁)² হলো [0.25, 0.25, 0.25, 0.25]। Adjusted difference e₀² − e₁² + (f₀ − f₁)² প্রয়োগ করলে পাওয়া যায় [−1, 1, 1, 0] bp²। এর sample mean 0.25 bp²। Raw MSPE সমান, কিন্তু বড় model-এর forecast-estimation noise বিবেচনা করা correction-এর কারণে adjusted mean positive।

এই চারটি period শুধু অঙ্কটি বোঝায়। নির্ভরযোগ্যভাবে uncertainty estimate করা বা statistical significance প্রতিষ্ঠার জন্য এগুলো অনেক কম। Positive adjusted mean একা বাস্তব forecasting edge-এর প্রমাণ নয়; মানগুলো hypothetical, market observation নয়। <!-- learn:illustration -->

এক ধাপের forecast-এও adjusted loss difference serially dependent হতে পারে, কারণ target, predictor বা estimation window সময়ের সঙ্গে বদলায়। Overlapping multi-step forecast-এ পাশের origin-গুলো realized target period ভাগ করে নেয়, তাই adjusted difference গঠনগতভাবেই correlated হতে পারে। প্রতিটি origin-কে independent ধরে নেওয়া ordinary standard error uncertainty কম দেখাতে পারে।

Sampling design বিবেচনা করে adjusted-difference series থেকে standard error estimate করুন; শর্ত মিলে গেলে heteroskedasticity-and-autocorrelation-consistent long-run variance estimate ব্যবহার করা যেতে পারে। Forecast error autocorrelated হলে Clark ও West autocorrelation-consistent error-এর কথা স্পষ্টভাবে উল্লেখ করেছেন। Forecast horizon, covariance estimator, kernel ও bandwidth (ব্যবহার করলে), এবং resampling বা critical-value method জানান। Block-bootstrap guide ব্যাখ্যা করে কেন dependent time-series observation resample করতে ক্রমের কাঠামো অক্ষুণ্ণ রাখতে হয়; সাধারণ bootstrap নিজে থেকে Clark–West null প্রয়োগ করে না।

কতটা dependence বিবেচনা দরকার তা design-নির্ভর। দীর্ঘ horizon, persistent target, বারবার parameter estimate করা, এবং volatility পরিবর্তনে সাধারণ overlap-এর বাইরেও dependence তৈরি হতে পারে। যে setting-এ সবচেয়ে ছোট p-value আসে সেটি বেছে না নিয়ে যুক্তিসংগত inference setting তুলনা করুন এবং ব্যাখ্যা করুন।

Nested-model forecast test-এর null distribution nonstandard হতে পারে, বিশেষত estimation ও evaluation sample একসঙ্গে বড় হলে। Clark ও McCracken দেখিয়েছেন, nested forecast-এর equal-accuracy ও encompassing procedure-এর asymptotic এবং finite-sample আচরণ পরিচিত non-nested comparison থেকে আলাদা। Clark–West তাঁদের গবেষণার design-এ কার্যকর approximate normal inference-সহ adjusted statistic প্রস্তাব করে; তবে তা প্রতিটি finite sample-এ সার্বজনীন নিশ্চয়তা নয়। Clark and McCracken (2001)00071-9); Clark and West (2007)।

ছোট evaluation sample, অনেক অতিরিক্ত parameter, ভুলভাবে নির্দিষ্ট benchmark, data-driven predictor selection, এবং rolling বনাম recursive estimation-এর পছন্দ—সবই test size ও power বদলাতে পারে। Sample বা design গবেষণাপত্রের setting থেকে যথেষ্ট আলাদা হলে design-উপযোগী critical value বা সাবধানে নির্দিষ্ট simulation/bootstrap পদ্ধতি বিবেচনা করুন। Estimation ও evaluation sample size জানান এবং p-value কোন reference distribution থেকে এসেছে তা স্পষ্ট করুন।

Diebold–Mariano test সাধারণ paired-loss কাঠামোয় দুই forecast loss series-এর expected loss সমান কি না জিজ্ঞেস করে। Clark–West adjustment হলো এমন squared-error তুলনার জন্য, যেখানে একটি model আরেকটিকে nest করে এবং null-এর অধীনে অতিরিক্ত estimated parameter raw MSPE difference-কে বিকৃত করে। সম্পর্কহীন non-nested model-এ adjustment লাগানো ন্যায্যতা ছাড়া প্রশ্ন বদলে দেয়। মূল DM paper বিভিন্ন loss measure অনুমোদন করে এবং Gaussian বা independent না-ও হতে পারে এমন forecast error আলোচনা করে; এটি কাছাকাছি সাহিত্য, nested-model procedure-এর সমার্থক নয়। Diebold and Mariano (1995)।

কোনো পদ্ধতিই অনেক target, horizon, benchmark ও predictor set চেষ্টা করার ফলে researcher degrees of freedom দূর করে না। বিস্তৃত search থেকে চূড়ান্ত তুলনা এলে candidate family-এর record রাখুন এবং search-level প্রশ্নের জন্য বানানো পদ্ধতি ব্যবহার করুন। White Reality Check ও Hansen SPA guide অনুসন্ধান করা trading rule-গুলোর family-wide inference আলোচনা করে; Clark–West একা নির্বাচিত forecast comparison-কে confirmatory করে না।

একটি significant one-sided result হলো ঘোষিত assumption-এর অধীনে পরীক্ষিত target ও evaluation design-এ বড় model expected squared forecast accuracy বাড়ায়—এমন প্রমাণ। এটি অতিরিক্ত predictor causal, signal স্থিতিশীল থাকবে, বা forecast ব্যবহার করে strategy ইতিবাচক return দেবে—তা দেখায় না। Forecast improvement সিদ্ধান্ত নেওয়ার জন্য খুব ছোট হতে পারে, অথবা মডেলের সবচেয়ে বড় লাভ এমন সময়ে হতে পারে যখন trade ব্যয়বহুল।

Trading profitability যাচাই করতে আলাদা rule, untouched evaluation data, এবং বাস্তবসম্মত spread, fee, slippage, market impact, financing, borrow ও risk limit দরকার। Causal claim-এর জন্য প্রশ্নের উপযুক্ত identification strategy চাই; post-sample forecast comparison causal design নয়। Clark–West ফল আসলে কী প্রতিষ্ঠা করে তা জানান, আর অন্য দাবির জন্য সেই দাবিকে পরীক্ষা করে এমন আলাদা evidence ব্যবহার করুন।

Restricted ও বড় model-এর নাম দিন, nesting তৈরি করা সুনির্দিষ্ট restriction চিহ্নিত করুন, এবং target, horizon, squared-error unit, estimation window, forecast-origin schedule, evaluation date ও common-sample rule সংজ্ঞায়িত করুন। Coefficient recursive না rolling window-তে re-estimate হয়েছে, information set ও data vintage কীভাবে সংরক্ষিত হয়েছে—তা ব্যাখ্যা করুন।

দুই model-এর raw MSPE, mean Clark–West adjusted difference, sign convention, standard error, one-sided alternative, reference distribution বা critical value, p-value এবং dependence estimator জানান। Added parameter count, sample size, predictor/horizon search, benchmark নির্বাচন, এবং evaluation window model design-এ ব্যবহৃত হয়েছিল কি না তাও প্রকাশ করুন। এতে পাঠক adjusted nested-model test-কে সাধারণ forecast comparison থেকে আলাদা করতে এবং অবশিষ্ট uncertainty বিচার করতে পারবেন।