Deflated Sharpe Ratio: একাধিক পরীক্ষা ও ব্যাকটেস্ট নির্বাচন

গবেষক বিভিন্ন সিগন্যাল সংজ্ঞা, পেছনের সময়কাল, প্রবেশের সীমা, বিনিয়োগ-পরিসর, ধরে রাখার মেয়াদ এবং খরচের অনুমান পরীক্ষা করে সর্বোচ্চ Sharpe ratio-র সংস্করণটি জানাতে পারেন। কোনো প্রার্থীর প্রকৃত দক্ষতা না থাকলেও সীমিত নমুনার কারণে অনুমানগুলো ভিন্ন হয়। অনুসন্ধান যত বিস্তৃত হয়, সর্বোচ্চ অনুমান তত বেশি হওয়ার প্রবণতা থাকে। তাই নির্বাচিত ফলটি এমন একটি একক কৌশলের মূল্যায়নের সমান নয়, যা তথ্য দেখার আগেই নির্দিষ্ট করা হয়েছিল।

Bailey ও López de Prado প্রস্তাবিত Deflated Sharpe Ratio নির্বাচিত Sharpe ফুলে ওঠার দুটি উৎস বিবেচনা করে: একাধিক পরীক্ষা এবং অস্বাভাবিক রিটার্ন। একাধিক পরীক্ষা ফলকে যে সীমা পেরোতে হয় তা বাড়ায়; অস্বাভাবিকতা Sharpe-এর আনুমানিক অনিশ্চয়তা বদলায়। মূল প্রবন্ধে DSR-কে নির্বাচন-সমন্বিত সীমার বিপরীতে গণনা করা Probabilistic Sharpe Ratio হিসেবে বর্ণনা করা হয়েছে। মূল প্রবন্ধে সূত্রের উৎপত্তি ও পরীক্ষার সংখ্যা অনুমানের পদ্ধতি ব্যাখ্যা করা হয়েছে।

এই ব্যাখ্যা একটি সাধারণ ভুল ধারণা ঠেকায়। DSR প্রতিবেদনকৃত Sharpe থেকে নির্দিষ্ট জরিমানা যান্ত্রিকভাবে বিয়োগ করে নতুন পারফরম্যান্স অনুপাত তৈরি করে না। অনুসন্ধান, নমুনার আকার ও রিটার্নের মুহূর্তের সঙ্গে সম্পর্কিত একটি সীমার ওপরে পর্যবেক্ষিত Sharpe কতটা আছে, তা অনুমান করে। Sharpe-এর বিন্দু-অনুমান অপরিবর্তিত থেকেও প্রমাণ দুর্বল হলে DSR কমতে পারে। Sharpe-এর অর্থ জানতে Sharpe-এর মূল ব্যাখ্যাও দেখুন।

ধরা যাক, পরীক্ষা করা সব নিয়মের প্রকৃত Sharpe একই, কিন্তু সীমিত নমুনার কারণে প্রতিটি অনুমান ভিন্ন হয়। সর্বোচ্চ অনুমানটি বেছে নেওয়ার সঙ্গে অনুকূল পরিমাপ-ত্রুটিও বেছে নেওয়া হয়। এটাই বিজয়ীর অভিশাপ: নতুন তথ্য এলে নির্বাচিত অনুমানটি দলের সাধারণ মানের দিকে ফিরে আসবে বলে প্রত্যাশা করা হয়।

পরীক্ষার সংখ্যা গুরুত্বপূর্ণ, তবে অনুমানগুলো কতটা আলাদা সেটিও গুরুত্বপূর্ণ। প্রার্থীরা যদি প্রায় একই রিটার্ন তৈরি করে, তাদের আনুমানিক Sharpe ঘনিষ্ঠভাবে সম্পর্কিত এবং একই সংখ্যক অসংশ্লিষ্ট প্রার্থীর তুলনায় ভাগ্যক্রমে সর্বোচ্চ ফল পাওয়ার স্বাধীন সুযোগ কম দেয়। তাই প্যারামিটার গ্রিডের সারির সংখ্যা স্বয়ংক্রিয়ভাবে স্বাধীন পরীক্ষার সংখ্যা নয়।

অনুসন্ধানের নথিতে আনুষ্ঠানিক গ্রিডের বাইরের সিদ্ধান্তও থাকতে পারে: হাতে বদলানো সীমা, বাদ দেওয়া বাজার বা সংশোধিত খরচের অনুমান—যা কোন ফলটি রাখা হয়েছে তা প্রভাবিত করেছে। কেবল চূড়ান্ত প্রার্থীদের দিয়ে গণনা করা DSR এমন পরীক্ষাগুলো বিবেচনা করতে পারে না, যেগুলো নথিভুক্ত বা গণনার ইনপুটে দেওয়া হয়নি।

Probabilistic Sharpe Ratio (PSR) অনুমান করে নমুনা Sharpe বেছে নেওয়া মানদণ্ড ছাড়ায় কি না; এতে রিটার্ন পর্যবেক্ষণের সংখ্যা, আনুমানিক অসমতা এবং কুর্টোসিস বিবেচিত হয়। DSR একই মৌলিক গণনা ব্যবহার করে, কিন্তু এমন মানদণ্ড বেছে নেয় যা অনুসন্ধান থেকে প্রত্যাশিত সর্বোচ্চ Sharpe প্রতিফলিত করে।

PSR-এর একটি প্রচলিত আনুমানিক সূত্রে নির্বাচন-সমন্বিত গণনাটি হলো:

$$ \mathrm{DSR}=\Phi\!\left( \frac{(\widehat{SR}-SR_0)\sqrt{T-1}} {\sqrt{1-\widehat{\gamma}_3\widehat{SR} +\frac{\widehat{\gamma}_4-1}{4}\widehat{SR}^{\,2}}} \right) $$

এখানে $\Phi$ হলো স্ট্যান্ডার্ড নরমাল ক্রমযোজিত বণ্টন ফাংশন, $\widehat{SR}$ প্রতি রিটার্ন পর্যবেক্ষণে দেখা Sharpe, $SR_0$ একই এককে নির্বাচন-সমন্বিত সীমা, এবং $T$ পর্যবেক্ষণের সংখ্যা। $\widehat{\gamma}_3$ হলো নমুনার অসমতা, আর $\widehat{\gamma}_4$ হলো Pearson কুর্টোসিস—স্বাভাবিক বণ্টনের ক্ষেত্রে যার মান 3। হরটি দেখায় অসমতা ও কুর্টোসিস কীভাবে Sharpe অনুমানের অনিশ্চয়তা বদলায়।

এই সূত্র ব্যবহৃত রীতির ওপর নির্ভরশীল। একটি নির্দিষ্ট ব্যবধানে অতিরিক্ত রিটার্ন ব্যবহার করুন, Sharpe ও সীমা একই ব্যবধানে গণনা করুন, এবং কুর্টোসিসের সংজ্ঞা সামঞ্জস্যপূর্ণ রাখুন। কেবল একটি পরিমাণকে বার্ষিক করলে তুলনাটি বদলে যায়। প্রচলিত সূত্রটি রিটার্ন পর্যবেক্ষণের পারস্পরিক নির্ভরতা সম্পর্কেও অনুমান করে; $T$ নীরবে বদলে না দিয়ে সময়-ক্রমিক নির্ভরতা আলাদাভাবে বিবেচনা করতে হবে।

প্রায় স্বাভাবিক বণ্টনের $N$টি স্বাধীন Sharpe অনুমানের জন্য Bailey ও López de Prado প্রত্যাশিত সর্বোচ্চ মানে চরম-মূল্যের একটি আনুমানিক সূত্র ব্যবহার করেন:

$$ SR_0 \approx \mu_{SR}+\sigma_{SR} \left[(1-\gamma_E)\Phi^{-1}\!\left(1-\frac{1}{N}\right) +\gamma_E\Phi^{-1}\!\left(1-\frac{1}{Ne}\right)\right] $$

$\mu_{SR}$ ও $\sigma_{SR}$ হলো প্রার্থীদের Sharpe অনুমানের গড় ও প্রমিত বিচ্যুতি; $\Phi^{-1}$ স্ট্যান্ডার্ড নরমালের কোয়ান্টাইল ফাংশন, $e$ ইউলারের সংখ্যা, এবং $\gamma_E \approx 0.5772$ ইউলার–মাসকেরোনি ধ্রুবক। নির্বাচিত পরীক্ষার মডেলে কেবল নির্বাচন থেকে সেরা অনুমান কতটা বাড়তে পারে, এই সূত্র তা আনুমানিকভাবে জানায়। এটি সব কৌশল অনুসন্ধানের জন্য সর্বজনীন সীমা নয়।

প্রার্থীদের ফল সম্পর্কযুক্ত হলে প্রতিটি পরিবর্তনকে স্বাধীন ধরলে কার্যকর পরীক্ষার সংখ্যা বেশি দেখাতে পারে। প্রার্থীদের নির্ভরতা থেকে স্বাধীন পরীক্ষার সংখ্যা অনুমানের পদ্ধতি প্রবন্ধে আছে, তবে সেই অনুমানটিও আরেকটি মডেলিং সিদ্ধান্ত। পারস্পরিক সম্পর্ক নির্ভরতার একমাত্র রূপ নয়; প্রার্থী অনেক ও রিটার্ন ইতিহাস ছোট হলে অনুমানটি অস্থিতিশীল হতে পারে। প্রার্থীর কাঁচা সংখ্যা, কার্যকর সংখ্যা অনুমানের পদ্ধতি এবং যুক্তিসংগত বিকল্পে সংবেদনশীলতা জানান।

ইচ্ছাকৃতভাবে সরলীকৃত অনুসন্ধানে ২০টি স্বাধীন কৌশল-প্রার্থী আছে ধরে নিই। শূন্য অনুমানের অধীনে তাদের Sharpe অনুমানের গড় ০ এবং মাসিক এককে প্রমিত বিচ্যুতি ০.২০ ধরি। প্রত্যাশিত সর্বোচ্চের আনুমানিক হিসাব মাসে প্রায় $SR_0=0.380$ নির্বাচন-সীমা দেয়। এগুলো হিসাব দেখানোর অনুমান, বাজার-পর্যবেক্ষণ বা সুপারিশকৃত মানদণ্ড নয়।

এবার ধরা যাক, নির্বাচিত কৌশলে মাসিক অতিরিক্ত রিটার্নের ৬০টি পর্যবেক্ষণ, আনুমানিক মাসিক Sharpe ০.৫০, নমুনার অসমতা ০ এবং Pearson কুর্টোসিস ৩। PSR অংশটি ০.৫০-কে শূন্যের বদলে ০.৩৮০-এর সঙ্গে তুলনা করে:

$$ z=\frac{(0.50-0.380)\sqrt{59}}{\sqrt{1+((3-1)/4)(0.50)^2}} \approx 0.868,\qquad \mathrm{DSR}=\Phi(z)\approx 0.807 $$

এই সরলীকৃত অনুমানে DSR প্রায় ৮০.৭%। এর অর্থ এই নয় যে কৌশলটির পরের মাসে লাভ করার সম্ভাবনা ৮০.৭%, বা এটি পরের মাসের রিটার্নের পূর্বাভাস। বরং মডেল ও ইনপুট শর্তাধীন রেখে, অন্তর্নিহিত Sharpe নির্বাচিত সীমা ছাড়ায়—এমন প্রমাণের অনুমান এটি। পরীক্ষার সংখ্যা, নির্ভরতার অনুমান, নমুনা বা রিটার্নের আকৃতি বদলালে ফলও বদলাতে পারে।

পরীক্ষাগুলোর অনুমানের বিচ্যুতির প্রতি সংবেদনশীলতা উল্লেখযোগ্য। প্রার্থীদের Sharpe অনুমানের ধরা প্রমিত বিচ্যুতি শুধু ০.২০ থেকে ০.১০ করলে একই ২০-পরীক্ষার অনুসন্ধানে সীমা প্রায় ০.১৯০ এবং DSR প্রায় ৯৮.৮% হয়। বিচ্যুতি ০.৩০ হলে সীমা প্রায় ০.৫৭০ এবং DSR প্রায় ৩০.৬%। দেখা Sharpe ০.৫০, ৬০টি পর্যবেক্ষণ, অসমতা ও কুর্টোসিস অপরিবর্তিত থাকে। এই কাল্পনিক সংবেদনশীলতা দেখায় কেন পরীক্ষার বিচ্যুতি ও প্রার্থীদের নির্ভরতা অনুমানের পদ্ধতি গুরুত্বপূর্ণ; মানগুলো একই মাসিক একক ও সরলীকৃত মডেলের মধ্যে রয়েছে।

দুটি কৌশলের নমুনা Sharpe ও নমুনার দৈর্ঘ্য একই হলেও রিটার্ন বণ্টন আলাদা হতে পারে। স্পষ্ট বাম-লেজ, অসমতা বা অস্বাভাবিকভাবে ঘন ঘন চরম পর্যবেক্ষণ PSR-এর হরের নমুনাগত অনিশ্চয়তা বদলাতে পারে। সমন্বয়টি মাপা মুহূর্ত থেকে গণনা করা হয়; এটি সব অস্বাভাবিক বণ্টনকে সমান ক্ষতিকর বলে না বা অল্প কয়েকটি নমুনা-মুহূর্ত লেজের আচরণ সম্পূর্ণ ব্যাখ্যা করে—এ নিশ্চয়তা দেয় না।

একটি পর্যবেক্ষণ বলতে কী বোঝানো হচ্ছে, তার ওপরও হিসাব নির্ভর করে। দৈনিক, সাপ্তাহিক ও মাসিক তথ্য $T$, Sharpe, অসমতা ও কুর্টোসিসের আলাদা মান দেয়। পরস্পর-ওভারল্যাপ করা ধরে রাখার সময়ের রিটার্ন পাশাপাশি সারিকে নির্ভরশীল করতে পারে। মসৃণ বা পুরোনো মূল্যায়ন অন্তর্নিহিত অর্থনৈতিক ঝুঁকির তুলনায় কম অস্থির মনে হতে পারে। বার্ষিকীকৃত Sharpe-কে যথেষ্ট ইনপুট না ধরে নমুনার ব্যবধান ও গঠন বর্ণনা করুন।

PBO Combinatorially Symmetric Cross-Validation ব্যবহার করে দেখে, পরিপূরক ব্লকে ইন-স্যাম্পল বিজয়ী কতবার প্রার্থীদের মধ্যম বা তার নিচে স্থান পায়। DSR অনুমান করে, নির্বাচিত Sharpe অনুসন্ধান ও অস্বাভাবিকতা-সমন্বিত সীমা অতিক্রম করে কি না। তাদের ফল ও পুনঃনমুনা অনুমান আলাদা; একটি অন্যটির বিকল্প নয়। PBO ও CSCV এবং অর্থনীতিতে একাধিক পরীক্ষা বিষয়ক নির্দেশিকাও দেখুন। Bailey ও সহলেখকেরা PBO-র মূল প্রবন্ধে এই নির্বাচন-নির্ণয়কে আনুষ্ঠানিকভাবে উপস্থাপন করেছেন।

White’s Reality Check বুটস্ট্র্যাপ ব্যবহার করে দেখে, ডেটা-স্নুপিং বিবেচনায় নিয়ে প্রার্থী-গোষ্ঠীর সেরা নিয়ম নির্দিষ্ট মানদণ্ডকে ছাড়ায় কি না। সেখানে মানদণ্ডের তুলনাই মূল প্রশ্ন; DSR ব্যবহার করে Sharpe-ভিত্তিক সীমা। কালানুক্রমিক walk-forward বা চূড়ান্ত holdout পরবর্তী সময়ে স্থির করা প্রক্রিয়া কেমন কাজ করে, তা জিজ্ঞেস করে। গবেষণার দাবির আলাদা অংশ যাচাই করে বলে পদ্ধতিগুলো পরস্পরের পরিপূরক হতে পারে। পদ্ধতিটি White-এর Reality Check বিষয়ক মূল প্রবন্ধে বর্ণিত হয়েছে।

পুনরুৎপাদনযোগ্য প্রতিবেদনে প্রার্থী-পরিসর, নির্বাচনকে প্রভাবিত করা নথিভুক্ত সব সিদ্ধান্ত, পরীক্ষার কাঁচা সংখ্যা, কার্যকর সংখ্যা নির্ধারণের পদ্ধতি, রিটার্ন সিরিজ, নমুনার দৈর্ঘ্য ও ব্যবধান, Sharpe-এর সংজ্ঞা, অসমতা, কুর্টোসিসের রীতি এবং নির্বাচন-সমন্বিত সীমা উল্লেখ থাকে। রিটার্ন স্প্রেড, কমিশন, বাজার-প্রভাব, ফান্ডিং, ধার খরচ ও অন্যান্য খরচের আগে না পরে তা জানান। পর্যবেক্ষিত Sharpe ও DSR পাশাপাশি দেখান, যাতে পরিবর্তনটি বোঝা যায়।

প্রচলিত সূত্রটি এমন নমুনা-মডেল ধরে, যা সময়-ক্রমিক সহসম্পর্কযুক্ত পর্যবেক্ষণের জন্য উপযুক্ত নাও হতে পারে। Sharpe ratio-র পরিসংখ্যান নিয়ে Lo-র গবেষণা ব্যাখ্যা করে, সময়ে একত্রীকরণ ও নির্ভরতা কেন Sharpe-সংক্রান্ত অনুমানকে প্রভাবিত করে। রিটার্ন ওভারল্যাপ করলে বা সময়-ক্রমিক সহসম্পর্ক থাকলে সেই গঠন বিবেচনা করে এমন অনুমান-পদ্ধতি ব্যবহার করুন এবং তার শর্ত ব্যাখ্যা করুন। মাসিক Sharpe-কে $\sqrt{12}$ দিয়ে গুণ করলে স্ব-সহসম্পর্ক ঠিক হয় না। সময়-সচেতন মূল্যায়নের জন্য expanding ও rolling walk-forward উইন্ডো নির্দেশিকাও দেখুন।

নথিভুক্ত নয় এমন অনুসন্ধান DSR খুঁজে পায় না, ভবিষ্যৎ তথ্য ফাঁস সরায় না, survivorship bias-যুক্ত তথ্যকে প্রতিনিধিত্বশীল করে না, লেনদেন কার্যকর হয়েছে কি না যাচাই করে না, ধারণক্ষমতা মাপে না, বা নতুন বাজার-পরিস্থিতিতে স্থিতিশীলতার নিশ্চয়তা দেয় না। এটি অর্থনৈতিক যুক্তি বা পরবর্তী কালানুক্রমিক প্রমাণের বিকল্পও নয়। গবেষণা-প্রক্রিয়ার মধ্যে DSR-কে নথিভুক্ত একটি নির্ণয় হিসেবে দেখুন এবং প্রার্থী-রেকর্ড ও তথ্য-প্রক্রিয়াকরণ পুনরুৎপাদনযোগ্য রাখুন।