Realized Kernel Estimator: Microstructure Noise में Volatility मापना

Noise-free स्थिति में intraday returns के squares जोड़ना देखे गए interval की variation estimate करने का स्वाभाविक तरीका है। लेकिन transaction prices और quotes में bid–ask bounce, price discreteness, latency या recording errors हो सकते हैं। दो noisy prices का अंतर लेने पर उनकी errors return में आ जाती हैं। पास-पास के returns भी एक error को विपरीत चिन्हों के साथ साझा करते हैं। इसलिए serial return autocovariances में observation noise की जानकारी होती है।

सामान्य realized variance सिर्फ lag zero का product लेता है—यानी squared returns का sum। बहुत अधिक sampling frequency पर noise, latent price की नई movement पकड़ने से तेज़ी से जमा हो सकता है। Realized kernel lag-zero term के साथ positive और negative lags के weighted autocovariances जोड़ता है। उचित assumptions और bandwidth बढ़ने की शर्तों के अंतर्गत, nonzero-lag terms मुख्य noise effect को घटाने में मदद करते हैं और efficient price की variation बनाए रखते हैं।

Barndorff-Nielsen, Hansen, Lunde और Shephard ने market frictions के बीच ex post variation मापने के लिए अपने मूल Econometrica लेख में realized kernels विकसित किए। यह long-run variance जैसे autocovariance sum को सावधानी से weight करने का तरीका है, हर उपलब्ध tick को बिना जांचे लेने की सलाह नहीं। सरल high-frequency benchmark के लिए realized-volatility calculation guide देखें। यह लेख kernel correction और उसके चयन पर केंद्रित है।

मान लें \(X_t\) latent efficient log price है और समय \(t_i\) पर दर्ज log price है

\[ Y_{t_i}=X_{t_i}+\epsilon_{t_i}, \]

जहाँ \(\epsilon_{t_i}\) microstructure noise है। एक सामान्य baseline में latent price को local variance rate \(\sigma_t^2\) वाले continuous process के रूप में रखा जाता है। तय interval \([0,T]\) पर लक्ष्य integrated variance है:

\[ IV_T=\int_0^T \sigma_t^2\,dt. \]

सबसे सरल derivation मानती है कि noise का mean शून्य है, वह समय के साथ और efficient-price process से स्वतंत्र है, और उसका variance स्थिर है। इससे correction का कारण समझना आसान होता है। वास्तविक trades और quotes में ये मान्यताएँ टूट सकती हैं: noise serially dependent या time-varying हो सकता है, efficient price से जुड़ सकता है, या observation times चुनने के तरीके से प्रभावित हो सकता है।

यदि latent process में jumps हैं, तो quadratic variation में उनके squares भी शामिल होते हैं। यह लक्ष्य होना चाहिए या नहीं, यह model और शोध के सवाल पर निर्भर करता है। Continuous-price derivation integrated variance का लक्ष्य रखती है; jump-robust construction जोड़े बिना यह नहीं कहना चाहिए कि realized kernel continuous variance को jumps से अलग करता है। Quadratic-variation guide integrated variance और पूरे path variation का अंतर समझाती है।

यह setup एक पूरे हो चुके interval के estimate से संबंधित है। यह latent price को ठीक-ठीक वापस नहीं निकालता, अगला interval forecast नहीं करता और उस कीमत को नहीं बताता जिस पर trade execute हो सकता था। High-frequency input की परिभाषा भी दर्ज करें: trade price, quote midpoint या कोई अन्य proxy अलग return series और noise properties दे सकते हैं।

\(n\) observed returns \(r_i=Y_{t_i}-Y_{t_{i-1}}\) के लिए lag \(h\) पर unnormalized autocovariance sum इस प्रकार परिभाषित करें:

\[ \Gamma_h=\sum_{i=h+1}^{n} r_i r_{i-h}, \qquad \Gamma_{-h}=\Gamma_h. \]

Lag zero पर \(\Gamma_0=\sum_{i=1}^n r_i^2\), यानी सामान्य realized variance। Lag one पर पास के returns के products जोड़े जाते हैं। Additive independent price-noise model में पड़ोसी returns के noise components के चिन्ह विपरीत होते हैं: positive observation error एक return को बढ़ाता है और अगले को घटाता है। इसलिए lag-one autocovariance कई बार negative होता है। कई lags के serial patterns भी बता सकते हैं कि noise return sequence को कैसे प्रभावित करता है।

Lag sums को products की संख्या से divide नहीं किया जाता। यह जरूरी है ताकि realized kernel उन्हें realized-variance sum के उसी scale पर जोड़ सके। यह estimator heteroskedasticity-and-autocorrelation-consistent long-run variance estimator से संबंधित है, लेकिन मनमाने normalized sample autocorrelations का जोड़ नहीं। Endpoints और summation convention भी estimator की परिभाषा का हिस्सा हैं।

Autocovariances किसी अकेले tick को “noise” या “signal” का label नहीं देते; वे interval में cross-products जोड़ते हैं। Negative \(\Gamma_1\) bid–ask bounce के अनुरूप हो सकता है, लेकिन अपने आप किसी खास mechanism का प्रमाण नहीं है। यदि असली returns serially dependent हों या noise की संरचना अलग हो, तो वही autocovariance कई प्रभावों को दर्शा सकता है। इसलिए हर lag को सीधे market diagnosis मानने के बजाय घोषित model और kernel weighting के अनुसार estimate समझें।

Maximum lag \(H\) के लिए finite sample में एक आम convention है:

\[ \widehat{IV}_{RK}(H)=\Gamma_0+2\sum_{h=1}^{H} k\!\left(\frac{h}{H}\right)\Gamma_h. \]

दो का factor symmetric negative-lag terms को शामिल करता है। \(k(x)\), \(0\le x\le1\) पर kernel weight है; \(k(0)=1\) से शुरू होकर bandwidth की सीमा के पास शून्य की ओर घटता है। Papers और software endpoint तथा indexing की थोड़ी अलग convention, जैसे denominator में \(H+1\), इस्तेमाल कर सकते हैं। परिणाम दोहराने के लिए convention बताएं और पूरे हिसाब में वही रखें।

Parzen kernel एक सामान्य nonnegative विकल्प है:

\[ k(x)= \begin{cases} 1-6x^2+6x^3, & 0\le x\le \tfrac12,\\ 2(1-x)^3, & \tfrac12 < x\le1,\\ 0, & x>1. \end{cases} \]

यह छोटे lags को अधिक weight देता है और दूर के lags को धीरे-धीरे कम करता है। यह taper उपयोगी है क्योंकि high-frequency noise returns के बीच dependence बना सकता है, जबकि दूर के lag estimates अधिक variable होते हैं। निर्धारित implementation में nonnegative Parzen construction univariate realized-kernel estimate को nonnegative बनाए रखने के लिए बनाया गया है। हर kernel में यह गुण नहीं होता। Flat-top kernel bias के मामले में लाभ दे सकता है, लेकिन finite sample में negative estimate भी दे सकता है।

नीचे का चित्र इस taper का रूपक है: पास के lag contributions उभरते हैं और दूर वाले धीरे फीके पड़ते हैं। यह मापे गए returns, किसी खास sample के empirical weights या volatility estimate का graph नहीं है।

<!-- learn:illustration --> <!-- Text-free concept: उज्ज्वल केंद्र से दूर जाते हुए सममित return echoes धीरे-धीरे फीके पड़ते हैं, जो सीमित bandwidth में घटते lag weights का संकेत हैं। वैचारिक चित्र; market data या estimator output नहीं। -->

Bandwidth \(H\) sum में शामिल सबसे बड़ा lag है। बहुत छोटा हो तो observation noise की अहम serial dependence छूट सकती है। बहुत बड़ा हो तो अधिक variable lag products जुड़ते हैं और sampling variance बढ़ सकता है। इसलिए bandwidth एक statistical tuning choice है—यह हटाए जाने वाले observations की संख्या नहीं और हर asset के लिए सही समय-अंतराल भी नहीं।

Parzen realized kernel की asymptotic theory में optimal bandwidth \(n^{3/5}\) के क्रम से बढ़ता है। साहित्य में इस्तेमाल किया गया एक practical expression है

\[ H^*=c^*\,\xi^{4/5}n^{3/5}, \qquad c^*_{\text{Parzen}}=3.5134, \]

जहाँ \(n\) fine-grid returns की संख्या है और \(\xi\) relative noise level तथा latent-price quarticity को समेटता है। Scale का एक रूप है

\[ \xi^2=\frac{\omega^2}{\sqrt{T\int_0^T\sigma_u^4\,du}}, \]

जहाँ \(\omega^2\) observation-noise variance है। व्यवहार में ये मात्रा अज्ञात होती हैं और estimate करनी पड़ती हैं, अक्सर noise variance और integrated quarticity के pilot estimates से। Formula दिखाता है कि optimal lag count sample size और noise-to-signal स्थिति दोनों पर निर्भर करता है; यह कोई universal fixed setting नहीं।

Asymptotic design में bandwidth बढ़ता है लेकिन sample size की तुलना में छोटा रहता है; इसे आम तौर पर \(H\to\infty\) और \(H/n\to0\) लिखते हैं। \(n^{3/5}\) नियम लेख के model और kernel conditions के अंतर्गत leading bias और variance को संतुलित करता है। सीमित session में pilot noise या quarticity estimate खराब हो तो plug-in value अस्थिर हो सकती है। चुना हुआ \(H\), indexing convention, pilot inputs और उचित विकल्पों पर sensitivity report करें।

केवल arithmetic समझने के लिए bp में एक जानबूझकर छोटी काल्पनिक return sequence लें:

\[ (r_1,r_2,r_3,r_4)=(1,-1,1,-1)\ \mathrm{bp}. \]

यह केवल हिसाब जांचने का उदाहरण है, market data नहीं। चार returns asymptotic bandwidth चुनने के लिए बहुत कम हैं। Lag-zero sum है

\[ \Gamma_0=1^2+(-1)^2+1^2+(-1)^2=4\ \mathrm{bp}^2. \]

Lag-one products \((-1),(-1),(-1)\) हैं, इसलिए \(\Gamma_1=-3\ \mathrm{bp}^2\)। Lag two पर \(r_3r_1=1\) और \(r_4r_2=1\), इसलिए \(\Gamma_2=2\ \mathrm{bp}^2\)।

Formula दिखाने के लिए ही \(H=2\) रखें। Parzen kernel में \(k(1/2)=1-6(1/4)+6(1/8)=1/4\), जबकि \(k(1)=0\)। इसलिए

\[ \widehat{IV}_{RK}=4+2\left(\tfrac14\right)(-3)+2(0)(2) =2.5\ \mathrm{bp}^2. \]

सामान्य realized variance \(4\ \mathrm{bp}^2\) है; इस उदाहरण में weighted negative lag-one term kernel estimate घटाता है। Lag-two sum का योगदान नहीं है, क्योंकि सीमा पर Parzen weight शून्य है। नतीजा nonnegative है, लेकिन केवल यह arithmetic latent efficient-price variation के बराबर होने को सिद्ध नहीं करता। Latent path देखा नहीं गया, uncertainty interval निकाला नहीं गया, और इससे कोई forecast या trading निष्कर्ष नहीं निकलता। इसका square root लगभग \(1.58\) bp है, जो केवल इस काल्पनिक interval का standard-deviation scale है।

यह उदाहरण दिखाता है कि bandwidth और indexing rule report करना क्यों जरूरी है। अलग \(H\), endpoint convention या returns से weights और शामिल products बदल जाते हैं। हर return, lag sum, weight और unit दिखाने से हिसाब दोहराया जा सकता है।

Unnormalized lag sums endpoints को असमान रूप से प्रभावशाली बना सकते हैं, खासकर जब पहला या आखिरी recorded price बड़ा noise error रखता हो। Realized-kernel practice papers end effect घटाने के लिए local averaging, जिसे कभी-कभी jittering कहते हैं, पर चर्चा करते हैं। एक आम implementation में returns निकालने से पहले endpoint को पास के observations के local average से बदला जाता है। Window कितना बड़ा हो और एक या दोनों ends average किए जाएँ—इन choices को बताना चाहिए।

Data cleaning formula जितनी ही महत्वपूर्ण हो सकती है। एक bad print, stale quote, crossed market, duplicate timestamp या price-scale error ऐसे returns और lag products बनाता है जो कई sums में आते हैं। Price field, timestamp alignment, session boundaries, duplicate handling, filters तथा auction या market-close treatment दर्ज करें। Cleaning rule इस आधार पर तय न करें कि उससे अंतिम estimate अधिक plausible दिखेगा या नहीं।

2009 का realized-kernel practice study trade और quote data, endpoint effects, local trends तथा nonnegative Parzen kernel पर चर्चा करता है। व्यवहारिक सीख है कि “noise robust” का अर्थ “data agnostic” नहीं। छोटे interval में धीरे-धीरे बदलता price component, बदलती market frictions या quote construction baseline interpretation को चुनौती दे सकते हैं। Jittering एक endpoint समस्या कम कर सकता है; misaligned series या sample के बीच की खराब observation ठीक नहीं करता।

Classical theory latent-price process, sampling, noise, kernel regularity और bandwidth के बारे में assumptions रखती है। कुछ realized-kernel constructions सरल independent-noise example से अधिक प्रकार के serially dependent noise और endogenous observation times के प्रति robust हैं। लेकिन यह robustness संबंधित theorem पर निर्भर है: लागू conditions पूरा करने वाला kernel और bandwidth चाहिए। Aït-Sahalia, Mykland और Zhang का dependent microstructure noise पर अध्ययन बताता है कि noise dependence को साफ़ तौर पर क्यों देखना चाहिए; यह नहीं मानना चाहिए कि baseline formula हर extension को अपने आप संभाल लेता है।

Kernel selection महत्वपूर्ण है। Nonnegative univariate estimate के लिए Parzen का अक्सर उपयोग होता है। Flat-top weights अलग bias properties दे सकते हैं और finite sample में negative estimates बना सकते हैं। केवल परिचित HAC kernel होने के कारण कोई भी kernel न लगाएँ: realized-kernel literature के अनुसार विश्लेषित construction में Bartlett समेत कुछ परिचित विकल्प वही consistency result नहीं देते। Estimate negative हो तो kernel और finite-sample rule बताएं; चुपचाप शून्य पर truncate न करें और इसे negative physical variance न कहें।

Estimate अपने price proxy और target की सीमाएँ भी विरासत में लेता है। Jumps quadratic variation में शामिल हो सकते हैं; outliers products पर हावी हो सकते हैं; irregular या asynchronous observations estimand बदल सकते हैं; और interval में volatility या noise बदल सकता है। Univariate realized kernel अपने आप multivariate nonsynchronous sampling हल नहीं करता, jumps नहीं हटाता और bid–ask bounce को return dependence के हर अन्य स्रोत से अलग नहीं करता। Robust estimator घोषित model के भीतर robust है, हर संभावित data defect के विरुद्ध नहीं।

दोहराए जा सकने वाले report में price series और sampling design, observation window, return units, kernel function, maximum lag \(H\), endpoint convention, endpoint averaging rule और cleaning का विवरण होना चाहिए। Plug-in bandwidth हो तो estimated noise और quarticity inputs, या उन्हें दोहराने लायक विवरण दें। बताएं कि परिणाम integrated-variance estimate है, jumps सहित quadratic-variation estimate है या transformed volatility measure।

Estimate देखे गए interval की variation बताता है। अलग forecasting model historical measurements को future horizon तक map करके out-of-sample evaluate न करे, तो यह future volatility estimate नहीं। यह quoted spread या execution-cost estimate भी नहीं। Roll bid–ask spread guide return autocovariance का उपयोग करता है, लेकिन दूसरी मात्रा estimate करता है। Two-scale realized-volatility guide अलग correction structure वाला एक और noise-robust तरीका बताती है।

मुख्य सवाल केवल यह नहीं कि realized kernel इस्तेमाल करना है या नहीं। देखना यह है कि price data, sampling scheme, target, kernel और bandwidth शोध के सवाल के अनुकूल हैं और report की गई interpretation को support करते हैं या नहीं। Sensitivity table और model की स्पष्ट सीमाएँ इस फैसले की जांच आसान करती हैं। सावधानी से बनाया गया estimate भी sampling uncertainty वाला historical measurement है; यह profitable trading rule सिद्ध नहीं करता और microstructure effects पूरी तरह हटने की guarantee नहीं देता।