Volatility forecast-এ QLIKE বনাম squared error: noisy proxy

Volatility model ভবিষ্যৎ return কতটা ছড়ানো হতে পারে তা forecast করে, return ধনাত্মক হবে নাকি ঋণাত্মক তা নয়। মূল্যায়নের আগে target ঠিক করুন: যেমন, পরের দিনের conditional return variance, যার একক squared basis points। Standard-deviation forecast, variance forecast ও intraday realized-variance estimate সম্পর্কিত হলেও, স্পষ্ট transformation এবং horizon ছাড়া এগুলো পরস্পরের বদলে ব্যবহার করা যায় না।

Model কীভাবে forecast তৈরি করে, এই প্রশ্নটি তার থেকে আলাদা। GARCH guide অতীত return থেকে conditional variance হালনাগাদ করার একটি পদ্ধতি বোঝায়। এই guide শুরু হয় দুই বা তার বেশি model forecast দেওয়ার পর; পরে যে variance ঘটেছে তার imperfect measurement-এর সঙ্গে সেগুলো কীভাবে score করতে হবে, সেটিই এখানে প্রশ্ন।

Target, evaluation sample ও loss function নির্দিষ্ট না করলে “সেরা forecast”-এর একটাই অর্থ হয় না। এক loss-এ model প্রথম এবং অন্যটিতে দ্বিতীয় হতে পারে, কারণ প্রতিটি loss forecast miss-কে আলাদা খরচ দেয়

Target return-এর অদৃশ্য conditional variance-কে vₜ, সেই return আসার আগে পাওয়া তথ্য দিয়ে তৈরি forecast-কে hₜ, এবং evaluation-এ ব্যবহৃত observed proxy-কে xₜ বলি। Squared return একটি প্রচলিত proxy, তবে conditional return mean শূন্য হলেই এটি variance-এর conditionally unbiased proxy হয়। Conditional mean শূন্য না হলে raw squared return conditional variance নয়, conditional second moment মাপে; বিকল্পভাবে conditional mean বাদ দেওয়া return থেকে proxy বানানো যায়। Intraday return থেকে তৈরি realized variance একটি session-এর variation সম্পর্কে বেশি তথ্য দিতে পারে, তবে সেটিও নির্দিষ্ট interval-এর মাপ এবং sampling ও price-data rule-এর ওপর নির্ভরশীল।

Estimated conditional mean থেকে demeaning করলেও proxy bias স্বয়ংক্রিয়ভাবে দূর হয় না। mₜ = E[rₜ | Fₜ₋₁], hₜ = Var(rₜ | Fₜ₋₁), এবং forecast origin-এ উপলভ্য information দিয়ে estimated mean m̂ₜ স্থির করা থাকলে, E[(rₜ − m̂ₜ)² | Fₜ₋₁] = hₜ + (mₜ − m̂ₜ)²। তাই forecastable mean-estimation error proxy-তে একটি nonnegative term যোগ করে। Conditional-unbiasedness result ব্যবহারের আগে mean কীভাবে estimate করা হয়েছে এবং proxy variance নাকি second moment target করে তা জানান।

xₜ এবং hₜ-কে একই asset, return definition, time window, horizon ও unit-এ মাপুন। xₜ যদি bp²-এ মাপা হয়, hₜ-ও bp²-এ হতে হবে; তখন squared-error score-এর একক bp⁴। রাতের interval-টি বাদ দেওয়া realized measure দিয়ে close-to-close daily variance forecast score করবেন না, যদি না সেটিই নির্ধারিত target হয়।

একই evaluation origin-এর proxy এবং সব model-এর forecast সংরক্ষণ করুন। কোনো model-এর নির্দিষ্ট তারিখে forecast না থাকলে আগেই common sample বা যুক্তিযুক্ত missing-data rule ঠিক করুন। আলাদা তারিখে হিসাব করা average তুলনা করলে model performance-এর সঙ্গে প্রতিটি model যে market condition পেয়েছে তার পার্থক্যও মিশে যেতে পারে

Nonnegative variance proxy xₜ এবং positive variance forecast hₜ-এর squared-error loss হলো

L_MSE(xₜ, hₜ) = (xₜ − hₜ)²

QLIKE loss হলো

L_QLIKE(xₜ, hₜ) = log(hₜ) + xₜ / hₜ

Score যত কম, তত ভালো। xₜ strictly positive হলে QLIKE-কে ratio form-এ xₜ/hₜ − log(xₜ/hₜ) − 1 হিসেবেও লেখা যায়। দুই formula-র পার্থক্য এমন একটি term, যা observed proxy-র ওপর নির্ভর করে, forecast-এর ওপর নয়; তাই common sample-এ model ranking একই থাকে। hₜ positive হলে log(hₜ) form xₜ শূন্য হলেও সংজ্ঞায়িত। Patton variance-loss-এর এই সংজ্ঞা দেন এবং imperfect proxy-তে তাদের আচরণ পরীক্ষা করেন (Patton, 2011)।

QLIKE variance forecast-এর জন্য Gaussian quasi-likelihood score-এর সঙ্গে সম্পর্কিত (Hansen and Lunde, 2005)। এই সম্পর্ক return Gaussian—এটি প্রমাণ করে না, আর score কম হলেই model-এর distributional assumption যাচাই হয় না। Squared error proxy ও forecast-এর absolute gap-কে square করে। লক্ষ্য ও proxy assumption-এর সঙ্গে কোন scoring rule মানায়, সেটিই মূল প্রশ্ন

Squared-error loss-এর একক variance-এর squared unit এবং proxy ও forecast-এর ব্যবধান বাড়লে এর মান দ্রুত বাড়ে। ফলে কয়েকটি খুব বড় proxy value average score-কে প্রভাবিত করতে পারে। Variance unit-এ বড় absolute miss-এর খরচ অনেক বেশি হওয়া উচিত হলে এই আচরণ যুক্তিযুক্ত, তবে এতে ফল extreme observation-এর প্রতি সংবেদনশীল হয়।

একই ধনাত্মক unit-conversion constant c দিয়ে xₜ ও hₜ-কে গুণ করলে log(hₜ) + xₜ/hₜ-এ log(c) যোগ হয়। একই proxy sample-এ score করা সব forecast-এর জন্য এই যোগফল অভিন্ন, তাই ranking বদলায় না; তবে log term-এর absolute value নির্বাচিত unit-এর ওপর নির্ভর করে। QLIKE xₜ/hₜ-এর মাধ্যমে forecast-to-proxy ratio এবং log(hₜ)-এর মাধ্যমে hₜ-এর scale-এ সাড়া দেয়। বড় proxy-র তুলনায় forecast অনেক ছোট হলে ratio term দ্রুত বাড়ে। Overprediction-এর খরচও log(hₜ) বাড়ার সঙ্গে বাড়ে, তবে তুলনীয় proportional error-এর ক্ষেত্রে ধীর গতিতে। QLIKE outlier-resistant loss নয়: extreme proxy-ও xₜ/hₜ-এর মাধ্যমে score-এ আসে।

সব সিদ্ধান্তে কোনো একটি loss সেরা নয়। Squared error variance unit-এর বড় absolute miss-কে বেশি weight দেয়, আর QLIKE relative error-কে ভিন্নভাবে বিবেচনা করে। Patton-এর proxy-robustness ফলের অর্থ এই নয় যে দুই loss একই model ranking দেবে বা কোনোটিই outlier দ্বারা প্রভাবিত হবে না

ধরা যাক observed variance proxy x = [1, 4] bp²। Model A-এর forecast hᴬ = [1, 1] bp² এবং Model B-এর hᴮ = [4, 2] bp²। Loss বদলালে ranking কীভাবে বদলাতে পারে তা দেখাতে সংখ্যাগুলো কাল্পনিকভাবে বেছে নেওয়া হয়েছে।

MSE Model A-কে এগিয়ে রাখে: তার average score 4.5 bp⁴, Model B-এর 6.5 bp⁴। QLIKE Model B-কে এগিয়ে রাখে: তার average score প্রায় 2.165, A-এর 2.5-এর চেয়ে কম। এই দুই period শুধু হিসাব দেখায়। Uncertainty estimate করা, forecast শ্রেষ্ঠ প্রমাণ করা বা trading strategy সম্পর্কে কিছু বলার জন্য পর্যবেক্ষণ খুব কম <!-- learn:illustration -->

Volatility proxy-তে noise থাকলেও তা conditionally unbiased হতে পারে। ধরা যাক E[xₜ | Fₜ₋₁] = vₜ, যেখানে Fₜ₋₁ হলো forecast তৈরির সময় পাওয়া তথ্য। সেই তথ্য দিয়ে তৈরি forecast hₜ-এর expected squared-error loss হলো

E[(xₜ − hₜ)² | Fₜ₋₁] = (vₜ − hₜ)² + Var(xₜ | Fₜ₋₁)

Variance term কোন forecast score করা হচ্ছে তার ওপর নির্ভর করে না। তাই এটি উভয় forecast-এর expected MSE-তে একই পরিমাণ যোগ করে এবং expected loss তুলনায় বাদ পড়ে। QLIKE-এর ক্ষেত্রে conditional unbiasedness থেকে পাই

E[log(hₜ) + xₜ/hₜ | Fₜ₋₁] = log(hₜ) + vₜ/hₜ

Proxy-র বদলে latent variance ব্যবহার করলে এই score-ই পাওয়া যেত। এই শর্তে প্রতিটি loss latent target-এর তুলনায় competing variance forecast-এর expected ranking অক্ষুণ্ণ রাখে। Patton (2011) একে proxy-robust ranking বলেন; এখানে robustness বলতে expected ranking-এ noise-এর প্রভাব বোঝায়, outlier-এর বিরুদ্ধে সুরক্ষা নয়।

এই ফল একই conditional information set, conditionally unbiased proxy, QLIKE-এর জন্য positive forecast এবং finite expected loss ধরে। এর অর্থ MSE ও QLIKE model-কে একইভাবে rank করবে, তা নয়। দুই-period example-এ দুই loss একই noisy observation ব্যবহার করলেও forecast error-কে আলাদা গুরুত্ব দেয়

Expected ranking invariance মানে observed প্রতিটি sample-এ latent-variance ranking ঠিক থাকবে—এমন নয়। Proxy noise observed loss-এর variation বাড়ায় এবং forecast comparison test-এর power কমাতে পারে। Conditional unbiasedness গড়ে সত্য হলেও, ছোট evaluation period-এ কয়েকটি অস্বাভাবিক বেশি বা কম proxy value-এর কারণে model ranking বদলে যেতে পারে।

Proxy নির্ধারিত target-এর জন্য conditionally biased হলেও guarantee থাকে না। High-frequency realized variance bid–ask bounce, stale বা asynchronous quote, sampling frequency এবং বাদ পড়া overnight return-এ প্রভাবিত হতে পারে। Intraday integrated variance মাপার proxy close-to-close conditional variance-এর unbiased measure নাও হতে পারে। Realized volatility calculation guide measurement construction-এর সিদ্ধান্তগুলো ব্যাখ্যা করে; দুই-স্কেল realized-volatility guide high-frequency microstructure noise-এর কিছু অংশ বিবেচনায় নেওয়ার জন্য তৈরি একটি estimator ব্যাখ্যা করে। Hansen and Lunde (2006) দেখিয়েছেন, market microstructure noise realized variance-এর measurement-এ প্রভাব ফেলতে পারে (Hansen and Lunde, 2006)।

“Robust” এখানে সীমিত অর্থে ব্যবহৃত: proxy conditionally unbiased হলে expected ranking অক্ষুণ্ণ থাকে। এর অর্থ sample score outlier উপেক্ষা করে, কোনো realized-volatility measure unbiased, বা target mismatch থেকে comparison সুরক্ষিত—এমন নয়। Proxy কী মাপে এবং কোন assumptions সেটিকে vₜ-এর সঙ্গে যুক্ত করে তা স্পষ্ট করুন

একই forecast origin-এ স্থির করা দুই forecast hᴬₜ ও hᴮₜ-এর জন্য expected MSE gap হলো E[L_MSE(xₜ,hᴬₜ) − L_MSE(xₜ,hᴮₜ) | Fₜ₋₁] = (vₜ − hᴬₜ)² − (vₜ − hᴮₜ)²। একই proxy condition-এ expected QLIKE gap হলো log(hᴬₜ) + vₜ/hᴬₜ − log(hᴮₜ) − vₜ/hᴮₜ। এই expression-গুলো দেখায় proxy robustness কী সরায়: proxy-র expected score-এ অতিরিক্ত noise। তবু দুই loss forecast-কে আলাদা ভাবে তুলনা করে, কারণ MSE ও QLIKE error-এর জন্য আলাদা cost নির্ধারণ করে।

Score ঠিক করার পর প্রতিটি common forecast origin-এর জন্য paired loss difference তৈরি করুন। dₜ = L_A,ₜ − L_B,ₜ হলে positive average B-কে favor করে, কারণ B-এর loss কম। Diebold–Mariano test এই paired difference-এর time series ব্যবহার করে expected difference শূন্য কি না যাচাই করে; এটি QLIKE ও MSE-এর মধ্যে বেছে নেয় না বা কোন target গুরুত্বপূর্ণ তা নির্ধারণ করে না। Diebold–Mariano guide বিস্তৃত inference framework ব্যাখ্যা করে।

Multi-period forecast overlap করলে, বা score difference অন্যভাবে serially correlated হলে, উপযুক্ত HAC estimate-এর মতো dependence-aware standard error ব্যবহার করুন। Newey and West (1987) একটি positive semi-definite HAC covariance estimator দিয়েছেন। Horizon, evaluation origin, loss-difference sign, covariance method, এবং প্রযোজ্য হলে kernel ও bandwidth জানান। Test-এর p-value ছোট হলেও biased বা target-এর সঙ্গে mismatched proxy-এর সমস্যা মেটে না

Chronological out-of-sample design ব্যবহার করুন এবং প্রতিটি origin-এ model বাস্তবে যে forecast দিত তা সংরক্ষণ করুন। কোন model ভালো score করেছে তা দেখার আগে target, proxy construction, horizon, unit, common sample ও loss স্থির করুন। Estimation window, পুনরায় estimation-এর নিয়ম, missing observation এবং evaluation period বারবার model tuning-এ ব্যবহৃত হয়েছে কি না—সব নথিবদ্ধ করুন। MSE ও QLIKE দুটো তুলনা করে শুধু বিজয়ীর ফল জানালে, সেটিকে আগে থেকে নির্ধারিত একক test হিসেবে দেখাবেন না; selection process প্রকাশ করুন।

প্রতিটি model-এর mean loss, paired difference, sample size, proxy definition ও inference method জানান। QLIKE-এর জন্য hₜ > 0 হতে হয়; forecast floor ব্যবহার করলে evaluation-এর আগেই সেটি নির্ধারণ করুন, কারণ floor score বদলাতে পারে। যুক্তিসংগত proxy ও sampling choice-এর প্রতি sensitivity পরীক্ষা করুন, তবে অনেক choice চেষ্টা করাও selection problem তৈরি করে—এ কথাও স্পষ্ট করুন।

নির্বাচিত score ও proxy অনুযায়ী কম volatility loss ভালো performance মাপে। এটি দেখায় না যে predictor volatility ঘটায়, return normal distribution মেনে চলে, বা forecast-ভিত্তিক strategy spread, fee, slippage, financing ও risk constraint-এর পরও লাভ করবে। Forecast skill ও trading outcome আলাদা দাবি হিসেবে মূল্যায়ন করুন