ফোরকাস্ট এনকম্পাসিং টেস্ট: এক পূর্বাভাসে কি অন্যটির তথ্য আছে?

ধরা যাক, A ও B একই সময়ে শুরু করে একই horizon-এ একই target y-এর পূর্বাভাস দেয়। পরীক্ষাটি শুধু জানতে চায় না অতীতে কোন মডেলের error কম ছিল। প্রশ্ন হলো: A-এর forecast জানার পরও কি B-তে এমন বাড়তি signal আছে যা নির্দিষ্ট linear formulation-এ A-কে উন্নত করতে পারে? এই নকশায় B যদি অতিরিক্ত predictive information না দেয়, বলা হয় A, B-কে encompass করে বা B, A-কে আর উন্নত করে না।

রৈখিক macroeconomic model মূল্যায়নের মতো প্রসঙ্গে forecast encompassing ধারণাটি বিকশিত হয়েছে। Chong ও Hendry (1986) Econometric Evaluation of Linear Macro-Economic Models প্রবন্ধে এই ধারণা বিশ্লেষণ করেন {source:chongHendry1986ForecastEncompassing}। এখানে “encompass” হলো নির্দিষ্ট forecast ও নির্দিষ্ট hypothesis-এর মধ্যে শর্তাধীন সম্পর্ক। এর মানে A সব সময় সঠিক বা অন্য যেকোনো কাজে B অনুপযোগী নয়।

কম RMSE নির্দিষ্ট মাপ ও sample-এ দেখা error-গুলোর ranking দেয়। Encompassing জানতে চায়, benchmark-এর তুলনায় rival forecast কতটা অতিরিক্ত তথ্য দেয়। দুই প্রশ্নের উত্তর আলাদা হতে পারে, তাই শুধু RMSE ranking থেকে encompassing সিদ্ধান্তে পৌঁছানো যায় না।

RMSE হলো mean squared error-এর বর্গমূল: RMSE = √[(1/n) Σₜ₌₁ⁿ eₜ²]। অর্থাৎ নমুনার গড় squared error-এর square root।

f_A,t এবং f_B,t-কে একই target y পূর্বাভাস দিতে হবে, প্রতিটি origin-এ একই তথ্যভিত্তি এবং একই horizon ব্যবহার করে। target-এর সংজ্ঞা, একক, timestamp, sample এবং missing observation সামলানোর নিয়ম এক রাখুন। আগামীকালের closing price-এর forecast-কে পরবর্তী পাঁচ দিনের গড়ের forecast-এর সঙ্গে সরাসরি তুলনা করা যায় না, যদিও দুটিকেই return forecast বলা হয়।

প্রতিটি অতীত origin-এ তখন সত্যিই যে forecast পাওয়া যেত সেটি ব্যবহার করুন; ভবিষ্যতের তথ্য নিয়ে পরে re-estimate করা সংস্করণ নয়। data ও model vintage সংরক্ষণ করুন এবং revised economic data বা adjusted price-এর নিয়ম লিখে রাখুন। ফল দেখার পর সময়কাল বা specification বেছে নিলে সেটিকে search process-এর অংশ হিসেবে জানান, স্বাধীন out-of-sample confirmation হিসেবে নয়।

চিহ্নের convention স্পষ্ট করুন: e_A,t = y_t − f_A,t এবং d_t = f_B,t − f_A,t। coefficient হিসাবের আগেই এই সংজ্ঞা লিখুন। A ও B-এর ক্রম উল্টালে d এবং combination weight-এর চিহ্ন উল্টায়। underlying information বদলায় না, কিন্তু চিহ্নের ব্যাখ্যা বদলে যায়।

একটি illustrative linear combination হলো f_C,t = f_A,t + w d_t, অর্থাৎ f_C,t = (1−w)f_A,t + w f_B,t। e_A,t error-কে constant ও d_t-এর ওপর regression করলে w-এর ব্যাখ্যা সহজ হয়: দুই forecast-এর ব্যবধান যদি A-এর error-এর সঙ্গে সম্পর্কিত হয়, তবে তাতে অতিরিক্ত linear information থাকতে পারে। এই রূপে slope হলো B-কে দেওয়া incremental weight-এর estimate; constant A-এর গড় bias ধরে।

তবে এটি সব encompassing test-এর একমাত্র সংজ্ঞা নয়। কোনো specification constant বা forecast bias বেঁধে দেয়, অন্যগুলো আলাদা benchmark বা conditional information ব্যবহার করে। বিকল্প hypothesis একমুখী হতে পারে, অথবা যৌথ restriction পরীক্ষা করতে পারে। estimated model parameter ও nested structure অনুযায়ী উপযুক্ত inference-ও বদলাতে পারে। তাই test, hypothesis ও assumption উল্লেখ করুন; একটি regression বা critical value-কে universal formula বলে উপস্থাপন করবেন না।

Estimated weight [0,1]-এর বাইরেও হতে পারে। তখন sample-এর best linear blend দুই forecast-এর মাঝখানে না থেকে তাদের সীমার বাইরেও extrapolate করে। কোনো implementation nonnegative weight বা weight-এর যোগফল এক হওয়ার শর্ত দিতে পারে; restriction পদ্ধতিভেদে আলাদা। শর্ত জানিয়ে দিন, আর unrestricted estimate-কে পরে কেটে সীমাবদ্ধ না করে constrained model আবার estimate করুন।

illustrative regression e_A,t = α + β d_t + u_t-এ intercept থাকলে population slope β = Cov(e_A,d)/Var(d), যদি Var(d)>0। তাই β=0 মানে constant bias অনুমোদনের পর e_A ও forecast difference-এর মধ্যে linear association নেই; এতে nonlinear বা অন্য ধরনের তথ্য নেই—এমন দাবি করা হয় না।

intercept ছাড়া regression-এর population slope হলো E[e_A d]/E[d²], যদি E[d²]>0; slope শূন্যের restriction তাই cross-moment E[e_A d]=0। এই moment zero covariance-এর সমান কেবল E[e_A]=0 অথবা E[d]=0 হলে। intercept-সহ সমীকরণে α=0 আলাদা restriction; β=0-এর সঙ্গে একত্রে এটি A-এর গড় forecast error শূন্য—অর্থাৎ unbiasedness—ধরে। তাই α=0 পরীক্ষা incremental information-এর বাইরে bias restriction-ও যোগ করে।

একটি নির্দিষ্ট test অতিরিক্ত-তথ্যের প্রশ্নকে parameter বা forecast difference-এর restriction হিসেবে প্রকাশ করে। bias ধরতে intercept রাখা হতে পারে, অতিরিক্ত slope পরীক্ষা করা হতে পারে, অথবা forecast origin-এ জানা conditional information ব্যবহার করা হতে পারে। বিকল্প hypothesis একমুখী হতে পারে—যদি আগে থেকেই প্রশ্ন থাকে A উন্নত হয় কি না—অথবা যেকোনো অতিরিক্ত সম্পর্ক জানতে দ্বিমুখী হতে পারে। প্রতিটি সিদ্ধান্ত test statistic ও uncertainty estimate-কে বদলে দেয়।

তাই illustrative regression-এর slope-ই সব গবেষণাপত্রে ব্যবহৃত encompassing statistic—এমন নয়। p-value দেখার আগে test-কে model-দুটির সম্পর্ক, parameter estimate-এর সময়, out-of-sample design এবং error assumption-এর সঙ্গে মিলিয়ে নিন। সিদ্ধান্ত এসব বিকল্পে সংবেদনশীল হলে তা জানান; ফল জানার পর পছন্দের উত্তর পাওয়া formulation বেছে নেবেন না।

<!-- learn:illustration -->

ধরা যাক, basis point-এ d = [−4, −2, −1, 1, 2, 4], A-এর error = [−1.6, −1.2, 1.5, 0.5, 1.3, 1.5], এবং n = 6। d-এর গড় শূন্য, e_A-এর গড় 1/3 basis point। d-এর বর্গের যোগফল 42; আর d-কে গড় থেকে কেন্দ্রিত e_A দিয়ে গুণ করে যোগ করলে 16.4 হয়।

তাই constant-সহ সাধারণ OLS regression-এ slope w = 16.4/42 ≈ 0.3905 এবং intercept 1/3 basis point। fitted in-sample blend হলো f_C = f_A + 0.3905(f_B−f_A)। এই হিসাব sample linear blend-এর weight দেখায়। slope শূন্য থেকে statistically আলাদা কি না, কিংবা blend ভবিষ্যৎ forecast উন্নত করবে কি না—তা পরীক্ষা করে না।

মাত্র ছয়টি observation দিয়ে p-value বা encompassing কিংবা superiority-র সিদ্ধান্ত টানা উচিত নয়। প্রয়োজন উপযুক্ত sample design এবং error-এর dependence ও forecast তৈরির পদ্ধতির সঙ্গে মানানসই uncertainty estimate। একই ছয়টি observation-এ weight estimate ও evaluate করলে মূল্যায়নটি স্বভাবতই in-sample।

এখানে সরল অর্থে “A encompasses B” null hypothesis হলো, A বিবেচনায় নেওয়ার পর B প্রাসঙ্গিক অতিরিক্ত signal দেয় না, অথবা নির্দিষ্ট improvement coefficient শূন্য। এর কোনো একটিমাত্র universal test equation নেই। bias অনুমোদিত কি না, কোন conditional information ঢোকে, one-sided alternative কি A-কে উন্নত করার দিকে, এবং estimated parameter কীভাবে সামলানো হচ্ছে—এসব জেনে নিন।

Harvey, Leybourne ও Newbold (1998) forecast encompassing test পরীক্ষা করেন। তারা দেখান, least-squares test non-normal error-এর ক্ষেত্রে robust নয় এবং বিকল্প পদ্ধতি আলোচনা করেন: Tests for Forecast Encompassing {source:harveyLeybourneNewbold1998ForecastEncompassing}। তাই assumption ও reference distribution যাচাই না করে software-এর OLS coefficient এবং default p-value পড়াই যথেষ্ট নয়।

0.05-এর বেশি p-value equivalence প্রমাণ করে না, আর B-ও যে কোনো কাজে মূল্যহীন তা-ও বলে না। ছোট sample, বড় standard error অথবা কম statistical power এমন ফল দিতে পারে। উপযুক্ত বক্তব্য হলো: এই design ও assumption-এ বেছে নেওয়া threshold-এ নির্দিষ্ট null-এর বিরুদ্ধে যথেষ্ট প্রমাণ মেলেনি। এর বেশি দাবি নয়।

Diebold–Mariano test একই origin-এ দুই forecast-এর average loss তুলনা করে। Encompassing জিজ্ঞেস করে rival forecast-এ benchmark-এর তুলনায় অতিরিক্ত তথ্য আছে কি না। ফলে কোনো forecast-এর RMSE কম হলেও B, A-তে উপকারী linear information না-ও যোগ করতে পারে; উল্টোটিও সম্ভব। দেখুন Diebold–Mariano forecast accuracy test।

Clark–West nested linear model-এর out-of-sample forecast accuracy তুলনায় সমন্বয় আনে, যেখানে অতিরিক্ত coefficient estimate করার noise test distribution জটিল করে। Clark ও McCracken (2001) nested linear model থেকে one-step-ahead forecast-এর জন্য equal forecast accuracy ও encompassing test-এর distribution সমস্যা Tests of Equal Forecast Accuracy and Encompassing for Nested Models00071-9)-এ আলোচনা করেন {source:clarkMcCrackenNestedForecasts2001}। এটি প্রত্যেক encompassing test-এর স্বয়ংক্রিয় বিকল্প নয়। nested model-এর accuracy adjustment-এর জন্য Clark–West test-এর ব্যাখ্যা দেখুন।

Forecast combination কোনো লক্ষ্য পূরণের জন্য weight estimate বা বেছে নেয়, প্রায়ই training বা out-of-sample loss কমাতে। এটি forecast নির্মাণের পদ্ধতি; নিজে encompassing hypothesis-এর test নয়। দেখুন forecast combination-এ equal ও estimated weight। Mincer–Zarnowitz সাধারণত realized value-এর বিপরীতে level ও slope calibration পরীক্ষা করে, rival forecast-এর একই অতিরিক্ত-তথ্যের প্রশ্ন নয়। দেখুন Mincer–Zarnowitz forecast calibration test।

Forecast যদি estimated regression থেকে তৈরি হয়, parameter estimation test-এর distribution-এ প্রভাব ফেলতে পারে। West (2001) estimated regression parameter-নির্ভর forecast-এর encompassing test আলোচনা করেন এবং কেন forecast তৈরির পদ্ধতি inference-এ ধরতে হয় তা ব্যাখ্যা করেন: Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters {source:west2001EstimatedForecastsEncompassing}। Parameter আবার estimate হয়েছে বা training window বদলেছে—এগুলো উপেক্ষা করে শুধু “out of sample” বললেই যথেষ্ট হয় না।

বিশ্লেষণের আগে নির্ধারণ করুন model nested কি না, estimation fixed নাকি rolling, test horizon পরস্পর overlap করে কি না, এবং error-গুলোর সময়গত dependence কেমন। design-উপযোগী inference বাছুন এবং যুক্তিসঙ্গত সিদ্ধান্তের বিকল্পে ফল কতটা সংবেদনশীল তা জানান। অনেক model, target বা sample window চেষ্টা করে শুধু পছন্দের ফল প্রকাশ করলে একটি p-value সেই search-এর প্রতিফলন নয়।

regression moment-এ heteroskedasticity বা serial dependence থাকলে covariance estimate-এর একটি বিকল্প হলো Newey–West ধরনের heteroskedasticity-and-autocorrelation-consistent (HAC) estimator। Newey ও West (1987) এই estimator বর্ণনা করেন {source:neweyWest1987}। kernel ও bandwidth forecast design-এর সঙ্গে মানানসই হতে হবে; HAC uncertainty estimate-এর একটি সম্ভাব্য উপাদান, নিজে encompassing test নয়।

B নির্ভরযোগ্য predictive information যোগ করলেও positive net return প্রমাণ হয় না। পূর্বাভাসকে position-এ রূপান্তরের নিয়ম, execution-এর সময়, fee, funding, slippage, liquidity এবং risk limit নির্দিষ্ট করতে হবে। ছোট signal execution cost-এ হারিয়ে যেতে পারে। আবার average return না বাড়িয়েও hedging বা risk management-এ কাজে লাগতে পারে।

ফল জানাতে target, horizon, forecast origin, common sample, e ও d-এর sign convention, test formulation, null ও alternative, constant বা bias-এর ব্যবহার, estimation method, weight restriction এবং inference procedure লিখুন। design অনুযায়ী উপযুক্ত হলে combination weight-এর standard error বা confidence interval দেখান, এবং in-sample fit ও out-of-sample performance আলাদা করুন। Encompassing কোনো forecast বা trade-এর নিশ্চয়তা নয়।

• Chong ও Hendry, “Econometric Evaluation of Linear Macro-Economic Models” (1986), DOI
• Harvey, Leybourne ও Newbold, “Tests for Forecast Encompassing” (1998), DOI
• Clark ও McCracken, “Tests of Equal Forecast Accuracy and Encompassing for Nested Models” (2001), DOI00071-9)
• West, “Tests for Forecast Encompassing When Forecasts Depend on Estimated Regression Parameters” (2001), DOI
• Newey ও West, “A Simple, Positive Semi-Definite, Heteroskedasticity and Autocorrelation Consistent Covariance Matrix” (1987) DOI