Ledoit–Wolf covariance shrinkage: सूत्र, टार्गेट और पोर्टफोलियो जोखिम

यदि \(N\) assets पर \(T\) return observations हों, तो sample covariance matrix \(S\) सीमित इतिहास से हर asset का variance और हर जोड़ी का covariance अनुमानित करता है। अलग-अलग entries की संख्या लगभग \(N^2\) की दर से बढ़ती है। जब observations की तुलना में assets की संख्या कम न हो, तो कई individual covariance estimates में sampling noise काफी हो सकता है।

यह noise खास तौर पर तब मायने रखता है जब portfolio procedure matrix का inverse लेता है। Inverse estimation errors को बढ़ा सकता है: अनुमानित correlations में छोटा बदलाव optimized weights में बड़ा बदलाव ला सकता है। Mean घटाकर बनाई गई सामान्य sample covariance में data matrix की rank अधिकतम \(T-1\) होती है, इसलिए \(N\geq T\) होने पर \(S\) singular होती है। Singular होने से पहले भी उसकी conditioning खराब हो सकती है। Ledoit और Wolf well-conditioned covariance estimation पर अपने काम में इस high-dimensional समस्या पर चर्चा करते हैं (200400096-4))।

Shrinkage, noisy sample estimate में structure जोड़ता है। यह covariance input के लिए regularization का चुनाव है; यह इस बात का प्रमाण नहीं कि assets सचमुच target model का पालन करते हैं, और न ही expected returns का अनुमान लगाने का तरीका है। Sample covariance eigenvalues पोर्टफोलियो जोखिम को कैसे प्रभावित करते हैं, यह व्यापक विषय eigenvalues और financial risk की मार्गदर्शिका से जुड़ता है।

एक सामान्य linear रूप है

\[ \widehat{\Sigma}_{\mathrm{lin}}=(1-\widehat{\delta})S+\widehat{\delta}F,\qquad 0\leq\widehat{\delta}\leq1, \]

जहाँ \(S\) sample covariance है, \(F\) structured target है, और \(\widehat{\delta}\) अनुमानित shrinkage intensity है। शून्य पर estimate sample matrix होता है; एक पर target। इनके बीच के मान convex blend बनाते हैं।

\(F\) का चुनाव बताता है कि estimator किन patterns को इतना स्थिर मानता है कि उन्हें बनाए रखा जाए। Intensity बताती है कि sample के मुकाबले उस structure को कितना weight देना है। किसी निर्दिष्ट target और loss के लिए Ledoit–Wolf procedures मनमाने ढंग से चुना गया blend मांगने के बजाय data से intensity का अनुमान लगाते हैं। Exact plug-in formulas target और assumptions के अनुसार अलग होते हैं; हर “Ledoit–Wolf” विधि को परिभाषित करने वाला target से स्वतंत्र कोई एक \(\widehat{\delta}\) नहीं है।

मूल high-dimensional identity-target परिणाम, निर्दिष्ट quadratic loss और asymptotic regime के तहत convex combination को asymptotically optimal बताता है। यह हर sample या objective के लिए सार्वभौमिक गारंटी नहीं है (Ledoit और Wolf, 200400096-4))। इसलिए estimator का वर्णन करते समय loss function और target दोनों बताने चाहिए।

कई संबंधित estimators blend करने का वही विचार अपनाते हैं, लेकिन covariance structure अलग-अलग रखते हैं।

• Single-index target: एक market factor common co-movement समझाता है और बाकी structure को model संभालता है। Ledoit और Wolf ने stock-return covariance के अनुमान के लिए sample और single-index covariance का optimally weighted combination प्रस्तावित किया (200300007-0))।
• Scaled-identity target: diagonal पर common variance level और off-diagonal पर zero covariance रहता है। यह eigenvalues को एक साझा केंद्र की ओर खींचता है और conditioning सुधार सकता है; constant-correlation target की तुलना में यह समान variance और covariance न होने की अधिक मजबूत संरचना लगाता है।
• Constant-correlation target: हर sample variance बनाए रखता है, जबकि pairwise correlations को एक औसत correlation से बदलता है। इससे अलग-अलग assets की volatility अलग रह सकती है, पर dependence pattern सरल होता है। 2004 का practitioner लेख इस target की ओर shrinkage विकसित करता है (Ledoit और Wolf, 2004)।

इन संस्करणों को इस एक दावे में नहीं समेटना चाहिए कि “Ledoit–Wolf सभी correlations को zero की ओर shrink करता है।” \(F\) के अनुसार target common-factor covariance बनाए रख सकता है, eigenvalues को औसत की ओर खींच सकता है, या pairwise correlations को उनके cross-sectional mean की ओर ले जा सकता है। Asynchronous covariance workflow में pairwise estimates को मिलाने के बाद covariance regularization करना भी एक अलग modeling choice है।

मान लें \(S_{ii}\), asset \(i\) का sample variance है और \(s_i=\sqrt{S_{ii}}\)। \(N\) assets के लिए हर sample correlation \(\widehat{\rho}_{ij}=S_{ij}/(s_is_j)\) निकालें और फिर diagonal से बाहर की सभी अलग-अलग correlations का औसत लें:

\[ \bar{\rho}=\frac{2}{N(N-1)}\sum_{i<j}\widehat{\rho}_{ij}. \]

Constant-correlation target इस प्रकार तय होता है:

\[ F_{ii}=S_{ii},\qquad F_{ij}=\bar{\rho}\,s_is_j\quad(i\ne j). \]

इस तरह target diagonal पर sample variances बनाए रखता है और हर asset pair को समान correlation \(\bar{\rho}\) देता है। अंतिम covariance estimate इस target को मूल sample matrix के साथ blend करता है; सभी volatilities को एक साझा value से नहीं बदलता। Target का निर्माण और उसकी intensity identity-target estimator से अलग हैं; लेखकों का implementation भी target को sample variances बनाए रखने और common correlation देने वाला बताता है (reference implementation)।

<!-- learn:illustration --> <!-- बिना पाठ वाला वैचारिक चित्र: तीन symmetric 3×3 covariance matrices में diagonal cells समान रहते हैं, जबकि अलग-अलग off-diagonal sample relationships एक साझा constant-correlation target की ओर बढ़ते हैं; यह वास्तविक data या estimate नहीं है। -->

मान लें कि squared percentage-point units में एक काल्पनिक sample covariance matrix यह है:

\[ S=\begin{bmatrix} 4&3&-2\\ 3&9&6\\ -2&6&16 \end{bmatrix}\%^{2}. \]

Sample standard deviations \(2\%\), \(3\%\) और \(4\%\) हैं। Pairwise correlations \(3/(2\cdot3)=0.50\), \(-2/(2\cdot4)=-0.25\), और \(6/(3\cdot4)=0.50\) हैं। इनका औसत है

\[ \bar{\rho}=(0.50-0.25+0.50)/3=0.25. \]

इससे target मिलता है:

\[ F=\begin{bmatrix} 4&1.5&2\\ 1.5&9&3\\ 2&3&16 \end{bmatrix}\%^{2}. \]

केवल गणना समझाने के लिए \(\delta=0.40\) चुनें। यह इस गढ़े हुए data के लिए अनुमानित Ledoit–Wolf intensity नहीं है:

\[ \widehat{\Sigma}=0.60S+0.40F= \begin{bmatrix} 4&2.4&-0.4\\ 2.4&9&4.8\\ -0.4&4.8&16 \end{bmatrix}\%^{2}. \]

Diagonal \(4,9,16\) ही रहता है। \((1,3)\) covariance \(-2\) से उसके target value \(2\) की ओर जाता है, इसलिए shrinkage का अर्थ यह नहीं कि हर covariance zero की ओर बढ़ता है। दिखाई गई दोनों matrices positive semidefinite हैं, इसलिए उनका यह convex blend भी positive semidefinite है। यह काल्पनिक उदाहरण केवल गणना दिखाता है, न कि अनुशंसित target या बाजार में देखा गया संबंध।

समान weights \(w=(1/3,1/3,1/3)^\top\) के लिए modeled variance \(w^\top\Sigma w\) है। ऊपर की sample matrix की सभी नौ entries का योग \(43\) है, इसलिए

\[ w^\top S w=43/9\approx4.7778\ \%^{2}. \]

उदाहरण के लिए shrink की गई matrix की entries का योग \(42.6\) है, इसलिए

\[ w^\top\widehat{\Sigma}w=42.6/9\approx4.7333\ \%^{2}. \]

यह छोटा अंतर covariance input बदलने का सीधा गणितीय परिणाम है। यह इस बात का प्रमाण नहीं कि shrunk estimate realized variance का बेहतर अनुमान करता है। Minimum-variance optimizer भी अलग weights दे सकता है, क्योंकि वह covariance values और अक्सर उनके inverse दोनों का उपयोग करता है। उपयुक्त परिस्थितियों में shrinkage इन inputs को sampling noise के प्रति कम संवेदनशील बना सकता है, लेकिन exposures और turnover भी बदल सकते हैं।

Risk-parity portfolios में covariance हर asset के total portfolio risk में योगदान को प्रभावित करता है, केवल aggregate variance को नहीं; equal risk contribution की मार्गदर्शिका देखें। यदि बाद में risk estimate से position size तय होता है, जैसे volatility targeting में, तो target horizon तथा realized और forecast के अंतर पर अलग से विचार करना होगा।

Linear shrinkage एक scalar intensity से पूरी sample matrix को चुने हुए target के साथ blend करता है। Identity-target मामले में इसका eigenvalue अर्थ है: sample eigenvectors बनाए रखते हुए sample eigenvalues को साझा केंद्र की ओर खींचना। इससे noisy spectrum स्थिर हो सकता है, लेकिन एक ही blend weight अलग-अलग eigenvalues के बदलाव को सीमित करता है।

इसके विपरीत nonlinear shrinkage sample eigenvalues को अलग-अलग बदलता है और आम तौर पर rotation-equivariant estimator में sample eigenvectors बनाए रखता है। Ledoit और Wolf का 2012 का लेख high-dimensional covariance estimation के लिए nonlinear eigenvalue transformations विकसित करता है (2012)। उनका 2017 का portfolio-selection अध्ययन उस उद्देश्य के लिए बनाए गए estimator पर विचार करता है (2017)। ये ऊपर दिखाए गए scalar linear blend नहीं हैं; इन्हें उस रूप में वर्णित नहीं करना चाहिए।

अधिक flexible estimator अपनी मान्यताओं के तहत covariance structure को अधिक बारीकी से fit कर सकता है, लेकिन अतिरिक्त flexibility हर universe या window के लिए उसे अपने-आप बेहतर नहीं बनाती। विशिष्ट estimator, उसकी assumptions, computation और out-of-sample behavior की तुलना करें। Eigenvalue transformation भविष्य के correlation regime का forecast भी नहीं है।

Shrinkage structure जोड़कर variance घटाता है, लेकिन वह structure गलत हो सकता है। Single-index target sector या style संबंध चूक सकता है; constant-correlation target clusters चूक सकता है; scaled identity असली covariance को दबा सकता है। Regime shift, factor exposures का बदलना या asynchronous observations, एक ऐतिहासिक window पर आधारित target को अगले window का खराब वर्णन बना सकते हैं। यह विधि return observations को independent या stationary नहीं बनाती।

Positive-semidefinite होने के दावे की शर्तें हैं। यदि \(S\) और \(F\) दोनों positive semidefinite हैं और \(0\leq\delta\leq1\), तो उनका convex combination positive semidefinite है। इससे अपने-आप strict positive definiteness की गारंटी नहीं मिलती: target के eigenvalues zero हो सकते हैं या उसका weight zero हो सकता है। अलग-अलग asset pairs के लिए अलग dates लेकर pairwise deletion करने पर sample matrix \(S\) भी positive semidefinite न रहे; ऐसे input को सुधारने या बदलने तक convexity का तर्क लागू नहीं होगा।

Return definition, sampling frequency, observation window, missing-data rule, mean treatment, target और intensity-estimation procedure दर्ज करें। जहाँ उपयुक्त हो, सभी assets को एक common observation scheme पर align करें। उसी data पर backtest में सबसे आकर्षक नतीजा देने के कारण target न चुनें; target selection और portfolio design भी research choices हैं।

एक उपयोगी evaluation asset universe, return horizon, rebalancing rule और information cutoff तय करती है। इसके बाद समान training windows पर sample matrix, चुने गए shrinkage estimator और relevant benchmark की तुलना करती है। Covariance forecasts को बाद में realized measure के विरुद्ध score किया जा सकता है या held-out periods में portfolio forecasts को परखा जा सकता है। Loss function और variance बनाम covariance errors के treatment को बताएँ। एक loss के तहत कम in-sample matrix error का अर्थ किसी दूसरे objective के तहत बेहतर future portfolio-risk estimate होना जरूरी नहीं।

Portfolio application में weights, concentration, turnover, constraints और estimated transaction costs पर असर भी report करें। Covariance matrix निर्णय के कई inputs में से एक है: expected returns, financing, risk limits और execution assumptions परिणामी portfolio बदल सकते हैं। कम condition number matrix की विशेषता है, realized return या risk की गारंटी नहीं।

Matrix-estimation loss और portfolio-decision loss एक-दूसरे के बदले इस्तेमाल नहीं किए जा सकते। Matrix entries की squared errors जोड़ने वाला loss asset pairs को व्यापक रूप से weight करता है, जबकि \((w^\top\Sigma w)\) किसी निर्धारित portfolio के अनुसार variance और covariance terms को weight करता है। स्पष्ट करें कि study स्वयं matrix के reconstruction को evaluate करती है या किसी खास exposure के risk forecasts को; फिर उससे मेल खाता criterion चुनकर बताएँ। एक objective के लिए चुनी गई shrinkage intensity दूसरे के लिए अपने-आप optimal नहीं होती।

Evaluation को समय के क्रम में सुरक्षित रखें। हर forecast date पर shrinkage intensity estimate करें, asset universe चुनें और बाकी parameters केवल उस तारीख तक उपलब्ध जानकारी से tune करें। पूरे sample से intensity estimate करके पुराने periods को score करना चुनाव में future information leak करता है। Rolling evaluation में हर origin पर उपलब्ध returns से estimator फिर से निकालें, window length और rebalance interval दर्ज करें, और बताएँ कि realized covariance proxy forecast horizon से overlap करता है या returns दोबारा इस्तेमाल करता है।

सबसे उचित निष्कर्ष सीमित है: Ledoit–Wolf methods noisy sample covariance को चुने हुए target या transformation के साथ मिलाने के data-driven तरीके देते हैं। नतीजा तभी उपयोगी है जब target, sampling assumptions और evaluation इच्छित risk problem से मेल खाते हों। यह covariance structure का estimate है, अपने-आप में trading signal या बेहतर performance का वादा नहीं।