Realized Kernel Estimator: Microstructure Noise-এ Volatility মাপা

Noise-free অবস্থায় intraday return-এর square যোগ করে observed interval-এর variation মাপা যায়। কিন্তু transaction price বা quote-এ bid–ask bounce, price discreteness, latency এবং recording error থাকতে পারে। Noisy price দুটির difference নিলে দুই observation-এর error-ই return-এ ঢোকে; পাশের return দুটি আবার একটি error বিপরীত চিহ্নে ভাগ করে। তাই serial return autocovariance-এ observation noise-এর তথ্য থাকে।

সাধারণ realized variance কেবল lag zero নেয়—অর্থাৎ squared return যোগ করে। খুব ঘন sampling-এ latent price-এর নতুন movement ধরার চেয়ে noise দ্রুত জমতে পারে। Realized kernel lag-zero term-এর সঙ্গে positive এবং negative lag-এর weighted autocovariance যোগ করে। উপযুক্ত assumption এবং bandwidth বৃদ্ধির শর্তে, nonzero-lag term leading noise effect কমাতে সাহায্য করে এবং efficient price-এর variation ধরে রাখে।

Barndorff-Nielsen, Hansen, Lunde ও Shephard market friction থাকা অবস্থায় ex post variation মাপার জন্য realized kernel তৈরি করেন তাঁদের মূল Econometrica গবেষণায়। এটি সব tick যাচাই ছাড়া নেওয়ার নির্দেশ নয়; এটি long-run variance-সদৃশ autocovariance-কে সাবধানে weight করার পদ্ধতি। প্রাথমিক high-frequency measure-এর জন্য দেখুন realized-volatility calculation guide। এখানে kernel correction ও তার parameter-এ জোর দেওয়া হয়েছে।

ধরা যাক, \(X_t\) latent efficient log price এবং \(t_i\)-তে recorded log price হলো

\[ Y_{t_i}=X_{t_i}+\epsilon_{t_i}, \]

যেখানে \(\epsilon_{t_i}\) microstructure noise। সাধারণ baseline-এ latent price-এর local variance rate \(\sigma_t^2\), এবং নির্দিষ্ট interval \([0,T]\)-এ লক্ষ্য হলো

\[ IV_T=\int_0^T \sigma_t^2\,dt. \]

সহজ derivation-এ noise-এর mean শূন্য, তা সময়জুড়ে এবং efficient-price process থেকে স্বাধীন, আর variance স্থির ধরা হয়। এতে correction-এর কারণ বোঝা সহজ। বাস্তব trade ও quote-এ noise serially dependent বা time-varying হতে পারে, efficient price-এর সঙ্গে সম্পর্কিত হতে পারে, কিংবা observation-time বাছাইয়ের প্রভাবে বদলাতে পারে।

Latent process-এ jump থাকলে quadratic variation-এ squared jump-ও থাকে। সেটি লক্ষ্য হবে কি না তা model ও গবেষণার প্রশ্নের ওপর নির্ভর করে। Continuous-price derivation integrated variance মাপে; jump-robust structure না থাকলে realized kernel continuous variance-কে jump থেকে আলাদা করে—এমন দাবি করা উচিত নয়। Quadratic-variation guide-এ integrated variance ও পুরো path variation-এর পার্থক্য আছে।

এই setup একটি সম্পন্ন interval-এর estimate নিয়ে। এটি latent price নিখুঁতভাবে ফেরত আনে না, পরের interval forecast করে না, বা trade কোন দামে execute হতো তা বলে না। High-frequency input-টি trade price, quote midpoint নাকি অন্য proxy—সেটিও জানাতে হবে, কারণ প্রতিটি পছন্দে return ও noise property বদলাতে পারে।

\(n\)টি observed return \(r_i=Y_{t_i}-Y_{t_{i-1}}\) হলে lag \(h\)-এর unnormalized autocovariance sum সংজ্ঞা দিই:

\[ \Gamma_h=\sum_{i=h+1}^{n} r_i r_{i-h}, \qquad \Gamma_{-h}=\Gamma_h. \]

Lag zero-তে \(\Gamma_0=\sum_{i=1}^n r_i^2\), অর্থাৎ সাধারণ realized variance। Lag one-এ পাশাপাশি return-এর গুণফল জোড়া হয়। Additive independent price-noise model-এ adjacent return-এর noise component বিপরীত চিহ্নে আসে: একটি positive observation error এক return বাড়ায় এবং পরেরটি কমায়। ফলে lag-one autocovariance অনেক সময় negative হয়। আরও lag-এর serial pattern-ও noise return sequence-এ কী প্রভাব ফেলে তার ইঙ্গিত দিতে পারে।

Lag sum-কে গুণফলের সংখ্যা দিয়ে ভাগ করা হয় না। কারণ realized kernel এগুলোকে realized-variance sum-এর একই scale-এ যোগ করে। এটি heteroskedasticity-and-autocorrelation-consistent long-run variance estimator-এর সঙ্গে সম্পর্কিত, কিন্তু ইচ্ছামতো normalized sample autocorrelation-এর যোগফল নয়। Endpoint এবং summation convention-ও estimator-এর অংশ।

Autocovariance বলে না কোন tick “noise” আর কোনটি “signal”। এটি interval জুড়ে cross-product যোগ করে। Negative \(\Gamma_1\) bid–ask bounce-এর সঙ্গে সামঞ্জস্যপূর্ণ হতে পারে, তবে একাই কোনো mechanism প্রমাণ করে না। True return serially dependent হলে বা noise আলাদা হলে একই autocovariance একাধিক প্রভাবের ফল হতে পারে। তাই প্রতিটি lag-কে সরাসরি market diagnosis হিসেবে না দেখে ঘোষিত model ও kernel weight অনুযায়ী estimate ব্যাখ্যা করুন।

Maximum lag \(H\) হলে finite-sample-এ একটি প্রচলিত convention হলো

\[ \widehat{IV}_{RK}(H)=\Gamma_0+2\sum_{h=1}^{H} k\!\left(\frac{h}{H}\right)\Gamma_h. \]

দুই গুণ factor symmetric negative lag-ও ধরে। \(k(x)\) হলো \(0\le x\le1\)-এর kernel weight, যেখানে \(k(0)=1\) এবং bandwidth-এর কাছে গেলে weight শূন্যের দিকে যায়। Paper ও software-এ endpoint এবং indexing একটু আলাদা হতে পারে, যেমন denominator-এ \(H+1\)। ফল পুনরুৎপাদনের সময় convention লিখে একইভাবে প্রয়োগ করুন।

Parzen kernel একটি প্রচলিত nonnegative পছন্দ:

\[ k(x)= \begin{cases} 1-6x^2+6x^3, & 0\le x\le \tfrac12,\\ 2(1-x)^3, & \tfrac12 < x\le1,\\ 0, & x>1. \end{cases} \]

এটি ছোট lag-কে বেশি weight দেয় এবং বড় lag-কে মসৃণভাবে downweight করে। High-frequency noise return-এ dependence তৈরি করতে পারে, আবার দূরের lag estimate আরও variable হয়; তাই taper উপকারী। নির্দিষ্ট implementation-এর শর্তে nonnegative Parzen construction univariate realized-kernel estimate-কে nonnegative রাখার জন্য তৈরি। অন্য kernel-এ একই বৈশিষ্ট্য নেই। Flat-top kernel bias-এর দিক থেকে সুবিধা দিতে পারে, কিন্তু finite sample-এ negative estimate দিতে পারে।

নিচের ছবি taper-এর উপমা: কাছের lag-কে গুরুত্ব দিয়ে দূরের contribution ধীরে কমে। এটি measured return, নির্দিষ্ট sample-এর empirical weight বা volatility estimate-এর graph নয়।

<!-- learn:illustration --> <!-- Text-free concept: উজ্জ্বল কেন্দ্র থেকে দূরে সরে যাওয়া symmetric return echo মসৃণভাবে ফিকে হয়, যা finite bandwidth-এ lag weight taper-কে বোঝায়। ধারণামূলক; market data বা estimator output নয়। -->

Bandwidth \(H\) হলো sum-এ ঢোকা সবচেয়ে বড় lag। খুব ছোট হলে observation noise-এর গুরুত্বপূর্ণ serial dependence বাদ পড়তে পারে। খুব বড় হলে আরও variable lag product যোগ হয়ে sampling variance বাড়াতে পারে। তাই bandwidth একটি statistical tuning choice; এটি বাদ দেওয়ার observation-এর সংখ্যা নয়, সব asset-এর জন্য একই সময়সীমাও নয়।

Parzen realized kernel-এর asymptotic theory-তে optimal bandwidth \(n^{3/5}\) হারে বাড়ে। সাহিত্যে ব্যবহৃত একটি practical expression:

\[ H^*=c^*\,\xi^{4/5}n^{3/5}, \qquad c^*_{\text{Parzen}}=3.5134, \]

এখানে \(n\) fine-grid return-এর সংখ্যা এবং \(\xi\) relative noise level ও latent-price quarticity-র সম্পর্ক বোঝায়। একটি scale expression হলো

\[ \xi^2=\frac{\omega^2}{\sqrt{T\int_0^T\sigma_u^4\,du}}, \]

যেখানে \(\omega^2\) observation-noise variance। বাস্তবে এই মানগুলো অজানা, তাই noise variance ও integrated quarticity-এর pilot estimate দিয়ে হিসাব করতে হয়। Formula দেখায় optimal lag count sample size ও noise-to-signal পরিবেশের ওপর নির্ভর করে; এটি universal fixed setting নয়।

Asymptotic design-এ bandwidth বাড়ে, তবে sample size-এর তুলনায় ছোট থাকে: সাধারণভাবে \(H\to\infty\) এবং \(H/n\to0\)। \(n^{3/5}\) rule paper-এর model ও kernel condition-এ leading bias ও variance balance করে। একটি finite session-এ pilot noise বা quarticity estimate খারাপ হলে plug-in bandwidth অস্থিতিশীল হতে পারে। নির্বাচিত \(H\), indexing convention, pilot input ও যুক্তিসংগত বিকল্প bandwidth-এ sensitivity জানান।

শুধু arithmetic বোঝাতে bp-তে একটি ছোট hypothetical return sequence ধরা যাক:

\[ (r_1,r_2,r_3,r_4)=(1,-1,1,-1)\ \mathrm{bp}. \]

এটি কেবল হিসাব যাচাইয়ের উদাহরণ, market data নয়। চারটি return asymptotic bandwidth justify করার জন্যও খুব কম। Lag-zero sum:

\[ \Gamma_0=1^2+(-1)^2+1^2+(-1)^2=4\ \mathrm{bp}^2. \]

Lag-one product \((-1),(-1),(-1)\), তাই \(\Gamma_1=-3\ \mathrm{bp}^2\)। Lag two-তে \(r_3r_1=1\), \(r_4r_2=1\), তাই \(\Gamma_2=2\ \mathrm{bp}^2\)।

Formula বোঝাতে শুধু \(H=2\) নিন। Parzen kernel-এ \(k(1/2)=1-6(1/4)+6(1/8)=1/4\), আর \(k(1)=0\)। ফলে

\[ \widehat{IV}_{RK}=4+2\left(\tfrac14\right)(-3)+2(0)(2) =2.5\ \mathrm{bp}^2. \]

Plain realized variance \(4\ \mathrm{bp}^2\); এই উদাহরণে weighted negative lag-one term kernel estimate কমায়। Lag-two sum-এ contribution নেই, কারণ boundary-তে Parzen weight শূন্য। ফল nonnegative হলেও শুধু এই arithmetic দিয়ে hidden efficient-price variation-এর সমান প্রমাণ হয় না। Latent path দেখা হয়নি, uncertainty interval হিসাব হয়নি, তাই forecast বা trading conclusion-ও নেই। এর square root প্রায় \(1.58\) bp, যা শুধু এই hypothetical interval-এর standard-deviation scale।

কেন bandwidth ও indexing rule report করতে হয় তাও উদাহরণটি দেখায়। \(H\), endpoint convention বা return বদলালে weight ও included product বদলায়। প্রতিটি return, lag sum, weight ও unit দেখানো হয়েছে বলেই হিসাবটি পুনরায় করা যায়।

Unnormalized lag sum endpoint observation-কে অসম প্রভাব দিতে পারে, বিশেষ করে প্রথম বা শেষ recorded price-এ বড় noise error থাকলে। Realized-kernel practice paper-এ end effect কমাতে local averaging, যাকে অনেক সময় jittering বলা হয়, আলোচনা করা হয়েছে। একটি সাধারণ implementation-এ return হিসাবের আগে endpoint-কে কাছের observation-এর local average দিয়ে বদলানো হয়। Window-এর আকার এবং এক না দুই প্রান্ত গড় করা হবে—এসব implementation choice, তাই স্পষ্ট করতে হবে।

Data cleaning formula-র মতোই গুরুত্বপূর্ণ হতে পারে। একটি bad print, stale quote, crossed market, duplicate timestamp বা price-scale error একাধিক return ও lag product-এ ঢুকে যায়। Price field, timestamp alignment, session boundary, duplicate handling, filter, auction বা market close কীভাবে সামলানো হয়েছে তা নথিবদ্ধ করুন। চূড়ান্ত estimate-কে plausibly দেখানোর জন্য cleaning rule পরে ঠিক করবেন না।

2009 সালের realized-kernel practice study trade ও quote data, endpoint effect, local trend এবং nonnegative Parzen kernel আলোচনা করে। ব্যবহারিক শিক্ষা হলো “noise robust” মানে “data agnostic” নয়। ছোট window-তে ধীরে price trend, বদলানো market friction বা quote তৈরির পদ্ধতি baseline interpretation-কে চ্যালেঞ্জ করতে পারে। Jittering একটি endpoint সমস্যা কমাতে পারে; misaligned series বা sample-এর মাঝখানের bad observation ঠিক করতে পারে না।

Classical theory latent-price process, sampling, noise, kernel regularity ও bandwidth নিয়ে assumption করে। কিছু realized-kernel construction সহজ independent-noise example-এর চেয়ে serially dependent noise ও endogenous observation time-এর বিস্তৃত ধরন সামলায়। তবে robustness theorem-specific: সংশ্লিষ্ট condition মানা kernel ও bandwidth লাগবে। Aït-Sahalia, Mykland এবং Zhang-এর dependent microstructure noise গবেষণা noise dependence স্পষ্টভাবে বিবেচনার কারণ দেখায়; baseline formula-তেই সব extension স্বয়ংক্রিয়ভাবে মিলে যায় ধরে নেওয়া যাবে না।

Kernel choice গুরুত্বপূর্ণ। Nonnegative univariate estimate-এর জন্য Parzen প্রায়ই ব্যবহৃত হয়। Flat-top weight ভিন্ন bias property লক্ষ্য করতে পারে এবং finite sample-এ negative estimate দিতে পারে। পরিচিত HAC kernel বলেই যেকোনো kernel বসাবেন না: realized-kernel literature অনুযায়ী বিশ্লেষিত construction-এ Bartlett-সহ কিছু পরিচিত choice একই consistency result দেয় না। Estimate negative হলে kernel ও finite-sample rule জানান; চুপিসারে শূন্যে কাটবেন না বা একে negative physical variance বলবেন না।

Price proxy ও target-এর সীমাও estimate-এ থাকে। Jump quadratic variation-এর অংশ হতে পারে; outlier product-কে প্রভাবিত করতে পারে; irregular বা asynchronous observation estimand বদলাতে পারে; interval-এর মধ্যে volatility বা noise-ও বদলাতে পারে। Univariate realized kernel একাই multivariate nonsynchronous sampling সমাধান, jump removal, বা bid–ask bounce-কে return dependence-এর অন্য সব উৎস থেকে আলাদা করে না। Robust estimator নির্দিষ্ট model-এর মধ্যে robust; সব data defect-এর বিরুদ্ধে নয়।

পুনরুৎপাদনযোগ্য report-এ price series ও sampling design, observation window, return unit, kernel function, maximum lag \(H\), endpoint convention, endpoint averaging rule এবং cleaning জানানো উচিত। Plug-in bandwidth হলে estimated noise ও quarticity input বা পুনরায় হিসাবের মতো detail দিন। ফলটি integrated-variance estimate, jump-সহ quadratic-variation estimate, নাকি transformed volatility measure—তা লিখুন।

Estimate sampled interval-এর variation বর্ণনা করে। আলাদা forecasting model historical measurement-কে future horizon-এ map করে out-of-sample evaluation না করা হলে এটি future volatility estimate নয়। এটিও quoted spread বা execution cost estimate নয়। Roll bid–ask spread guide return autocovariance ব্যবহার করলেও ভিন্ন quantity estimate করে। Two-scale realized volatility guide-এ আলাদা correction structure-সহ আরেকটি noise-robust পদ্ধতি আছে।

মূল প্রশ্ন শুধু realized kernel ব্যবহার করা হবে কি না নয়। Price data, sampling scheme, target, kernel ও bandwidth গবেষণার প্রশ্নের সঙ্গে যথেষ্ট মেলে কি না, সেটাই জরুরি। Sensitivity table ও স্পষ্ট model limit বিচারটি audit করতে সাহায্য করে। যত্নসহকারে করা estimate-ও sampling uncertainty-সহ historical measurement; এটি profitable trading rule প্রমাণ করে না বা microstructure effect নিশ্চিহ্ন হওয়ার guarantee দেয় না।