Deflated Sharpe Ratio: कई परीक्षण और बैकटेस्ट चयन

शोधकर्ता कई signal परिभाषाएँ, पीछे देखने की अवधियाँ, entry thresholds, universes, holding periods और लागत संबंधी मान्यताएँ आज़मा सकता है, फिर सबसे अधिक Sharpe ratio वाला संस्करण रिपोर्ट कर सकता है। किसी भी उम्मीदवार में वास्तविक कौशल न हो, तब भी सीमित नमूने के कारण अनुमान अलग-अलग होंगे। खोज जितनी व्यापक होगी, अधिकतम अनुमान उतना ही बढ़ने की प्रवृत्ति रखता है। इसलिए चुना गया परिणाम उस एक रणनीति के मूल्यांकन जैसा नहीं है जिसे डेटा देखने से पहले तय किया गया था।

Bailey और López de Prado का प्रस्तावित Deflated Sharpe Ratio, चुने गए Sharpe के बढ़ने के दो कारणों को संबोधित करता है: कई परीक्षण और गैर-सामान्य रिटर्न। कई परीक्षण वह hurdle बढ़ाते हैं जिसे परिणाम को पार करना चाहिए; गैर-सामान्यता Sharpe के अनुमानित अनिश्चितता को बदलती है। मूल लेख DSR को चयन-समायोजित threshold के विरुद्ध निकाले गए Probabilistic Sharpe Ratio के रूप में बताता है। मूल लेख इसकी व्युत्पत्ति और परीक्षणों की संख्या के अनुमान की व्याख्या करता है।

यह व्याख्या एक आम गलतफहमी रोकती है। DSR रिपोर्ट किए गए Sharpe से कोई निश्चित penalty यांत्रिक रूप से घटाकर नया performance ratio नहीं बनाता। यह अनुमान लगाता है कि देखा गया Sharpe, खोज, नमूने की लंबाई और रिटर्न के moments से जुड़े hurdle से कितना ऊपर है। Sharpe का point estimate वही रह सकता है, जबकि साक्ष्य कमजोर होने पर DSR घट सकता है। Sharpe का अर्थ समझने के लिए Sharpe की मूल व्याख्या भी देखें।

मान लें कि सभी जाँचे गए नियमों का वास्तविक Sharpe समान है, लेकिन सीमित नमूने के कारण हर अनुमान अलग है। सबसे बड़ा अनुमान चुनने का अर्थ अनुकूल measurement error भी चुनना है। यही winner’s curse है: नए डेटा पर चुना गया अनुमान समूह के सामान्य मूल्य की ओर लौटने की अपेक्षा रखता है।

परीक्षणों की संख्या मायने रखती है, साथ ही उनके अनुमानों के बीच अंतर भी। यदि उम्मीदवार लगभग समान रिटर्न बनाते हैं, तो उनके अनुमानित Sharpe परस्पर जुड़े होते हैं और समान आकार के असंबद्ध उम्मीदवारों की तुलना में संयोग से ऊँचा maximum पाने के स्वतंत्र अवसर कम देते हैं। इसलिए parameter grid की पंक्तियों की संख्या अपने आप स्वतंत्र परीक्षणों की संख्या नहीं होती।

खोज के रिकॉर्ड में औपचारिक grid से बाहर के निर्णय भी आ सकते हैं: हाथ से बदली गई threshold, हटाया गया बाजार या लागत की संशोधित मान्यता, जिसने बची हुई रणनीति के चयन को प्रभावित किया। केवल अंतिम उम्मीदवारों से निकाला गया DSR उन प्रयोगों को नहीं गिन सकता जो दर्ज नहीं हुए या गणना में दिए ही नहीं गए।

Probabilistic Sharpe Ratio (PSR) यह अनुमान लगाता है कि नमूने का Sharpe चुने गए benchmark से ऊपर है या नहीं। इसमें रिटर्न observations की संख्या और अनुमानित skewness व kurtosis शामिल होते हैं। DSR वही मूल गणना अपनाता है, लेकिन ऐसा benchmark चुनता है जो खोज से अपेक्षित maximum Sharpe दर्शाता है।

PSR के एक आम approximation में चयन-समायोजित गणना यह है:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

यहाँ $\Phi$ standard normal cumulative distribution function है, $\widehat{SR}$ प्रति return observation देखा गया Sharpe है, $SR_0$ उसी इकाई में चयन-समायोजित hurdle है और $T$ observations की संख्या है। $\widehat{\gamma}_3$ नमूने की skewness और $\widehat{\gamma}_4$ Pearson kurtosis है, जिसका सामान्य वितरण के लिए मान 3 होता है। denominator बताता है कि skewness और kurtosis, Sharpe अनुमान की अनिश्चितता को कैसे बदलते हैं।

यह अभिव्यक्ति अपनाई गई convention पर निर्भर है। एक ही frequency के excess returns इस्तेमाल करें, Sharpe और hurdle उसी frequency पर निकालें और kurtosis को एकसमान तरीके से परिभाषित करें। इनमें से केवल एक मात्रा को annualize करने से तुलना बदलती है। प्रचलित सूत्र observations की निर्भरता के बारे में भी मान्यताएँ रखता है; serial dependence को अलग से संभालें, $T$ में चुपचाप बदलाव करके नहीं।

लगभग सामान्य वितरण वाले $N$ स्वतंत्र Sharpe अनुमानों के लिए Bailey और López de Prado, अपेक्षित maximum का extreme-value approximation इस्तेमाल करते हैं:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ और $\sigma_{SR}$ उम्मीदवार Sharpe अनुमानों का औसत और standard deviation हैं; $\Phi^{-1}$ standard normal quantile function, $e$ Euler का अंक और $\gamma_E \approx 0.5772$ Euler–Mascheroni स्थिरांक है। यह अभिव्यक्ति चुने गए trial model के अंतर्गत केवल चयन के कारण सर्वश्रेष्ठ अनुमान कितना ऊँचा हो सकता है, इसका अनुमान लगाती है। यह हर रणनीति खोज के लिए सार्वभौमिक hurdle नहीं है।

उम्मीदवारों के परिणाम correlated हों, तो हर बदलाव को स्वतंत्र मानने से trials की प्रभावी संख्या बढ़ाकर आँकी जा सकती है। लेख उम्मीदवारों के dependence से स्वतंत्र trials की संख्या अनुमानित करने पर चर्चा करता है, लेकिन ऐसा अनुमान भी एक मॉडलिंग निर्णय है। Correlation, dependence का केवल एक रूप है; बहुत से उम्मीदवार और छोटा return history होने पर अनुमान अस्थिर हो सकता है। उम्मीदवारों की कच्ची संख्या, effective संख्या के लिए अपनाई विधि और उचित विकल्पों के प्रति संवेदनशीलता बताएं।

जानबूझकर सरल बनाई गई खोज में 20 स्वतंत्र रणनीति उम्मीदवार मानें। शून्य परिकल्पना के तहत उनके Sharpe अनुमानों का औसत 0 और मासिक इकाई में standard deviation 0.20 रखें। अपेक्षित maximum का approximation लगभग $SR_0=0.380$ प्रति माह का चयन hurdle देता है। ये अंक गणना समझाने की मान्यताएँ हैं, बाजार के अवलोकन या सुझाया गया benchmark नहीं।

अब मानें कि चुनी गई रणनीति में मासिक excess returns के 60 observations, अनुमानित मासिक Sharpe 0.50, नमूना skewness 0 और Pearson kurtosis 3 है। PSR घटक 0.50 की तुलना शून्य से नहीं, बल्कि 0.380 से करता है:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

इन सरलीकृत मान्यताओं के तहत DSR लगभग 80.7% है। इसका अर्थ यह नहीं कि अगले महीने रणनीति के लाभ में रहने की संभावना 80.7% है; न ही यह अगले महीने के return का पूर्वानुमान है। यह मॉडल और inputs की शर्त पर इस बात का अनुमानित साक्ष्य है कि अंतर्निहित Sharpe चुने हुए selection hurdle से ऊपर है। trials की संख्या, dependence estimate, sample या return distribution बदलने पर परिणाम बदल सकता है।

Trials के अनुमानों के फैलाव के प्रति संवेदनशीलता महत्वपूर्ण है। यदि उम्मीदवार Sharpe अनुमानों का केवल मान लिया गया standard deviation 0.20 से 0.10 हो, तो वही 20-trial खोज लगभग 0.190 का hurdle और लगभग 98.8% DSR देती है। यदि standard deviation 0.30 हो, तो hurdle लगभग 0.570 और DSR लगभग 30.6% है। देखा गया Sharpe 0.50, 60 observations, skewness और kurtosis स्थिर रहते हैं। यह काल्पनिक संवेदनशीलता दिखाती है कि trial spread और उम्मीदवारों के dependence का अनुमान लगाने की विधि क्यों महत्वपूर्ण है; सभी मान उसी मासिक इकाई और सरलीकृत मॉडल में हैं।

दो रणनीतियों का sample Sharpe और sample length समान हो सकता है, फिर भी उनके return distributions अलग हो सकते हैं। स्पष्ट left tail, asymmetry या असामान्य रूप से बार-बार होने वाले extreme observations, PSR denominator में दर्शाई नमूना-अनिश्चितता बदल सकते हैं। समायोजन मापे गए moments से निकलता है; यह हर गैर-सामान्य वितरण को समान रूप से हानिकारक नहीं कहता और न ही गारंटी देता है कि कुछ sample moments tail behavior को पूरी तरह बताते हैं।

गणना इस बात पर भी निर्भर है कि एक observation किसे कहते हैं। Daily, weekly और monthly data से $T$, Sharpe, skewness और kurtosis के अलग मान मिलते हैं। overlapping holding-period returns के कारण पास-पास की पंक्तियाँ dependent हो सकती हैं। Smoothed या stale marks, अंतर्निहित आर्थिक जोखिम से कम variability दिखा सकते हैं। Annualized Sharpe को पर्याप्त input मानने के बजाय sample frequency और construction बताएं।

PBO, Combinatorially Symmetric Cross-Validation का उपयोग कर पूछता है कि complementary blocks पर in-sample विजेता कितनी बार उम्मीदवारों के median rank पर या उससे नीचे आता है। DSR अनुमान लगाता है कि चुना हुआ Sharpe खोज और non-normality के लिए समायोजित hurdle से ऊपर है या नहीं। उनके outputs और resampling assumptions अलग हैं; एक दूसरे की जगह नहीं लेता। PBO और CSCV तथा वित्त में कई परीक्षण की मार्गदर्शिकाएँ भी देखें। Bailey और सहलेखक इस चयन-निदान को मूल PBO लेख में औपचारिक रूप देते हैं।

White’s Reality Check bootstrap से जाँचता है कि क्या candidate family का सबसे अच्छा नियम data snooping को ध्यान में रखते हुए निर्दिष्ट benchmark से बेहतर है। वहाँ प्रश्न benchmark के सापेक्ष है; DSR Sharpe आधारित hurdle लगाता है। Chronological walk-forward या अंतिम holdout पूछता है कि स्थिर की गई प्रक्रिया बाद के समय में कैसे काम करती है। ये तरीके शोध के दावे के अलग हिस्सों का मूल्यांकन करते हैं, इसलिए एक-दूसरे के पूरक हो सकते हैं। White इस विधि का वर्णन अपने Reality Check पर मूल लेख में करते हैं।

पुनरुत्पादित की जा सकने वाली रिपोर्ट में उम्मीदवार universe, चयन को प्रभावित करने वाले दर्ज निर्णय, trials की कच्ची संख्या, किसी भी effective-trial विधि, return series, sample length और frequency, Sharpe की परिभाषा, skewness, kurtosis convention और चयन-समायोजित hurdle शामिल हों। बताएं कि returns spread, commissions, market impact, funding, borrow और अन्य लागतों से पहले के हैं या बाद के। देखा गया Sharpe और DSR साथ दिखाएँ ताकि पाठक परिवर्तन समझ सके।

प्रचलित सूत्र एक sampling model मानता है जो serially correlated observations पर शायद लागू न हो। Sharpe-ratio statistics पर Lo का काम बताता है कि time aggregation और dependence, Sharpe inference को कैसे प्रभावित करते हैं। Returns overlapping हों या serial correlation दिखाएँ, तो उस संरचना को संभालने वाली inference प्रक्रिया अपनाएँ और मान्यताएँ समझाएँ। मासिक Sharpe को $\sqrt{12}$ से गुणा करने से autocorrelation ठीक नहीं होता। समय-सचेत मूल्यांकन के लिए expanding और rolling walk-forward windows की मार्गदर्शिका भी देखें।

DSR undocumented खोज का पता नहीं लगा सकता, look-ahead leakage नहीं हटा सकता, survivorship-biased data को प्रतिनिधिक नहीं बना सकता, fills को validate नहीं करता, capacity का अनुमान या नए regime में स्थिरता की गारंटी नहीं देता। यह आर्थिक तर्क या बाद के chronological evidence की जगह भी नहीं लेता। इसे शोध प्रक्रिया में एक दर्ज निदान के रूप में लें और उम्मीदवारों का रिकॉर्ड तथा data pipeline पुनरुत्पादित योग्य रखें।