কৌশলের ব্যাকটেস্টে ডেটা-স্নুপিং শনাক্তে White’s Reality Check

একজন গবেষক চলমান গড়ের নানা উইন্ডো, ব্রেকআউট নিয়ম, হোল্ডিং পিরিয়ড, বাজার ও ফিল্টারের কয়েক ডজন সমন্বয় পরীক্ষা করে সর্বোচ্চ ব্যাকটেস্ট স্কোরের কৌশল প্রকাশ করতে পারেন। এই বিজয়ী সাধারণ একক প্রার্থী নয়: অনুসন্ধান তাকে অস্বাভাবিক ভালো দেখানোর বহু সুযোগ দিয়েছে। ডেটা দেখার আগেই যেন তাকে এককভাবে বেছে নেওয়া হয়েছিল, এমনভাবে পরীক্ষা করলে এই নির্বাচন-ধাপটি বাদ পড়ে।

White’s Reality Check নির্বাচনকেই পরীক্ষার অংশ করে। এটি জানতে চায়, পরীক্ষা করা গোষ্ঠীতে কোনো প্রার্থীর প্রত্যাশিত পারফরম্যান্স নির্ধারিত বেঞ্চমার্কের চেয়ে ভালো কি না। White নাল হাইপোথিসিসকে একপাক্ষিক তুলনার ছেদ হিসেবে লেখেন: বেঞ্চমার্কের তুলনায় প্রত্যেক প্রার্থীর প্রত্যাশিত পারফরম্যান্স শূন্যের বেশি নয়। বিকল্প হাইপোথিসিস বলে, অন্তত একজন প্রার্থীর প্রত্যাশিত সুবিধা ধনাত্মক। বেঞ্চমার্ক হতে পারে buy-and-hold, সাধারণ পূর্বাভাস-নিয়ম বা অন্য কোনো তুলনা; তবে এটি গবেষণার প্রশ্নের সঙ্গে মেলে এবং ফল দেখার আগে নির্ধারিত হয়। আনুষ্ঠানিক কাঠামোটি White-এর মূল প্রবন্ধে রয়েছে।

প্রশ্নটি পুরো গোষ্ঠী নিয়ে, ঘটনাক্রমে জয়ী হওয়া কৌশলের নিশ্চয়তা নয়। নাল হাইপোথিসিস প্রত্যাখ্যান মানে নির্ধারিত পরিসংখ্যান ও অনুমানের অধীনে নথিভুক্ত গোষ্ঠীতে শ্রেষ্ঠত্বের প্রমাণ আছে। এটি প্রমাণ করে না যে সব প্রার্থী কার্যকর, বিজয়ী সব সময় সেরা থাকবে, বা নতুন বাজার-পর্বেও সুবিধা টিকে থাকবে।

d[k,t] ধরা যাক একই সময়কাল t-এ প্রার্থী k-এর পারফরম্যান্স থেকে বেঞ্চমার্কের পারফরম্যান্স বাদ দিলে যা থাকে; বেশি মান যেন সব সময় প্রার্থীর অনুকূলে যায়। রিটার্ন তুলনায় এটি হতে পারে প্রার্থীর নেট রিটার্ন বিয়োগ বেঞ্চমার্কের নেট রিটার্ন। পূর্বাভাস-ক্ষতি তুলনায় দিক উল্টো করে বেঞ্চমার্কের ক্ষতি থেকে প্রার্থীর ক্ষতি বাদ দিন। ধনাত্মক মান যে প্রার্থীর পক্ষে, সাইন কনভেনশনটি ধারাবাহিকভাবে তা নিশ্চিত করবে।

সব প্রার্থীর প্রতিটি সারি একই সময়-পর্ব বোঝাবে। একই মুদ্রা, রিটার্নের সংজ্ঞা, অর্থায়নের হিসাব ও ব্যয়নীতি ব্যবহার করুন। দাবি যদি বাস্তবে সম্পাদনযোগ্য কৌশলের রিটার্ন নিয়ে হয়, তবে d[k,t] হিসাবের আগে প্রযোজ্য কমিশন, স্প্রেড, স্লিপেজ, ফান্ডিং ও ধার-সংক্রান্ত ব্যয় বাদ দিন। মোট রিটার্ন পরীক্ষা করে ব্যয় শুধু পাদটীকায় উল্লেখ করলে আলাদা প্রশ্নের উত্তর দেওয়া হয়।

প্রার্থী k-এর নমুনা গড় হলো d̄[k] = (1/T) Σ_t d[k,t]। যৌথ নাল হাইপোথিসিস H0: max_k E[d[k,t]] ≤ 0; বিকল্প H1: max_k E[d[k,t]] > 0। পুরো প্রার্থী-গোষ্ঠীতে একই বেঞ্চমার্ক ও একই মানদণ্ড ব্যবহার করতে হবে। অনুপস্থিত তারিখ বা পর্যবেক্ষণের ব্যবধান প্রার্থীদের মধ্যে ভিন্ন হলে, পার্থক্য বের করার আগে যুক্তিসংগত অভিন্ন নমুনা ঠিক করুন; কোনো প্রার্থীকে আড়ালে বেশি সুবিধাজনক সময়সীমা দেবেন না।

প্রকাশিত বিজয়ী বেছে নিতে যেসব নিয়মের ফল প্রভাব ফেলতে পারত, সেগুলোই গোষ্ঠীর অংশ: পরীক্ষা করা lookback, প্রবেশের সীমা, সিগন্যালের সমন্বয়, অ্যাসেট ইউনিভার্স, হোল্ডিং পিরিয়ড, পোর্টফোলিও সীমাবদ্ধতা ও এক্সিকিউশন-সংক্রান্ত অনুমান। ফল দেখার পর বাদ দেওয়া হাতে তৈরি সংস্করণও অন্তর্ভুক্ত। ২০০০ সালের প্রবন্ধে White “specification search” শব্দটি বিস্তৃত অর্থে ব্যবহার করেছেন: শুধু চূড়ান্ত টেবিল নয়, বেছে নেওয়ার প্রক্রিয়াই selection problem তৈরি করে।

দুটি বিপরীত ভুল হতে পারে। প্রকাশিত কৌশল বেছে নিতে সাহায্য করা পরীক্ষা বাদ দিলে সমন্বিত পরীক্ষা অতিরিক্ত আশাবাদী হয়, কারণ বুটস্ট্র্যাপ বাস্তবের চেয়ে ছোট অনুসন্ধান দেখে। ফল দেখার পরে অনেক অপ্রাসঙ্গিক নিয়ম যোগ করলে পরীক্ষা অকারণে conservative হতে পারে এবং কার্যকর প্রার্থী শনাক্তের ক্ষমতা কমে যায়। বাস্তব নির্বাচন-প্রক্রিয়া থেকে গোষ্ঠী নির্ধারণ করুন এবং সীমাটি যাচাই করা যায় এমন গবেষণা-লগ সংরক্ষণ করুন।

নথিভুক্ত না করা পরীক্ষা এই পদ্ধতি নিজে থেকে অনুমান করতে পারে না। শুধু বিজয়ী প্যারামিটার লেখা নোটবুকে পুরো অনুসন্ধান পুনর্গঠন করা যাবে না। প্রার্থী-তালিকা, ডেটার সংস্করণ, মূল্যায়নের সময়কাল, লক্ষ্য, ব্যয়ের অনুমান ও নির্বাচনের সিদ্ধান্ত একসঙ্গে রাখুন। ফল দেখার পরে গোষ্ঠী বদলালে কী এবং কেন বদলেছে তা জানান; পরে বানানো গোষ্ঠীকে আগে থেকেই স্থির ছিল এমনভাবে উপস্থাপন করবেন না।

প্রতিটি প্রার্থীর গড় আপেক্ষিক পারফরম্যান্স হিসাব করে সবচেয়ে বড় মানটি নিন। প্রচলিত unstudentized পরিসংখ্যান হলো Vobs = √T × max_k d̄[k]। সর্বোচ্চ মানটি জরুরি: এটি “সেরাটিকে বেছে নেওয়া” একই ধাপকে উপস্থাপন করে, যেখান থেকে আপাত বিজয়ী এসেছে। শুধু বিজয়ী কলাম পরীক্ষা করলে রেফারেন্স বণ্টনে এই নির্বাচন-ধাপ আর থাকে না।

যৌথ নাল হাইপোথিসিস সত্য হলে নমুনার ওঠানামায় সর্বোচ্চ মান কত বড় হতে পারে, বুটস্ট্র্যাপ তা আনুমানিকভাবে হিসাব করে। প্রতিটি পুনরাবৃত্তি b-তে সব প্রার্থীর সময়-সূচক পার্থক্য-ভেক্টর পুনরায় নমুনা করে V*b = √T × max_k(d̄*[k,b] − d̄[k])-এর মতো কেন্দ্রিত পরিসংখ্যান হিসাব করা যায়। কেন্দ্রীকরণে প্রার্থীদের গড় নাল হাইপোথিসিসের কম-অনুকূল সীমায়, অর্থাৎ প্রত্যাশিত সুবিধা শূন্যে স্থাপিত হয়; সর্বোচ্চ মান প্রার্থীদের মধ্যকার নির্বাচন ধরে রাখে। White-এর প্রবন্ধে এই সর্বোচ্চের বুটস্ট্র্যাপ বণ্টন তৈরি করে পর্যবেক্ষিত পরিসংখ্যানের সঙ্গে তুলনা করা হয়েছে।

প্রক্রিয়াটি বহুবার চালান। সমন্বিত p-value হলো Vobs-এর সমান বা বড় বুটস্ট্র্যাপ সর্বোচ্চ মানের অনুপাত। Bটি পুনরাবৃত্তির ক্ষেত্রে একটি প্রচলিত Monte Carlo অনুমান হলো (1 + count{V*b ≥ Vobs})/(B + 1)। Studentization বা আনুমানিক মডেলের বিশদে বাস্তবায়ন ভিন্ন হতে পারে; তাই পরিসংখ্যান ও নাল হাইপোথিসিসে কেন্দ্রিকরণের নিয়ম লিখে রাখুন। মূল বিষয় হলো প্রতি পুনরাবৃত্তিতে পুরো গোষ্ঠীর সর্বোচ্চ মান নতুন করে বের করা, কেবল পর্যবেক্ষিত বিজয়ীকে নয়।

আর্থিক পর্যবেক্ষণ সময়ক্রমে সাজানো। স্বাধীনভাবে এলোমেলো করলে serial dependence, volatility clustering এবং সম্পর্কযুক্ত লাভ-ক্ষতির ধারাবাহিকতা মুছে যেতে পারে। একই বাজার-দিনে সাড়া দেয় এমন কৌশলগুলোর পারস্পরিক সম্পর্কও বদলে যেতে পারে। এসব বৈশিষ্ট্য সর্বোচ্চ পরিসংখ্যানের tail-কে প্রভাবিত করে; তাই প্রতি প্রার্থীর জন্য আলাদা নমুনা বা প্রতিটি দিনকে বিচ্ছিন্নভাবে replacement-সহ তোলা ভুল রেফারেন্স বণ্টন দিতে পারে।

White নির্ভরশীল ডেটার পদ্ধতি, যেমন moving-block bootstrap, বর্ণনা করেন এবং Politis ও Romano-র stationary bootstrap বিশ্লেষণ করেন। এতে নির্বাচিত ব্লক সাধারণত পরের সময়-পর্যবেক্ষণে এগোয়; দৈব restart হলে অন্য নির্বাচিত তারিখ থেকে শুরু হয়। ফলে ব্লকের দৈর্ঘ্য নির্ধারিত গড়সহ geometric বণ্টন অনুসরণ করে। পদ্ধতির অনুমান ও টিউনিং মেনে চললে এটি i.i.d. নমুনার চেয়ে স্বল্পমেয়াদি ধারাবাহিকতা ভালো ধরে রাখে। দেখুন Politis ও Romano-র stationary bootstrap প্রবন্ধ।

কৌশল-গোষ্ঠীর জন্য একটি অভিন্ন সময়-সূচক-ধারা বেছে নিয়ে পুরো সারি-ভেক্টরে (d[1,t], …, d[K,t]) প্রয়োগ করুন। এতে ব্লকের ভেতরের সময়ক্রম এবং একই সময়ে প্রার্থীদের পারস্পরিক নির্ভরতা দুটোই থাকে। কৌশলের horizon ও dependence diagnostics দেখে ব্লকের দৈর্ঘ্য ঠিক করুন, এবং যুক্তিসংগত বিকল্পে ফল কতটা বদলায় জানান। গবেষণার প্রক্রিয়ায় প্যারামিটার পুনরায় estimate করা হলে, অনুমানের লক্ষ্য সেই ধাপ অন্তর্ভুক্ত করে কি না ঠিক করুন এবং প্রয়োজন হলে প্রতিটি পুনরাবৃত্তিতেও সেটি করুন। শুধু স্থিরভাবে fit করা রিটার্ন পুনরায় নমুনা করলে প্রক্রিয়ার অংশবিশেষ শর্তাধীন হয়ে বাদ পড়তে পারে।

ধরা যাক, একজন গবেষক T = 252টি ট্রেডিং দিনে বেঞ্চমার্কের সঙ্গে তিনটি কৌশল তুলনা করছেন। ব্যয়ের পর দৈনিক গড় পারফরম্যান্স-পার্থক্য যথাক্রমে +2.0, +1.0 ও −0.5 basis point। বিজয়ীর গড় 2.0 basis point, ফলে পর্যবেক্ষিত পরিসংখ্যান √252 × 2.0 bp ≈ 31.75 bp·√ট্রেডিং দিন। এই scaling পরীক্ষার পরিসংখ্যানের অংশ; অনুমিত standard error দিয়ে ভাগ করা হয়নি বলে এটি t-statistic নয়।

এবার ধরা যাক, তিন প্রার্থীর জন্য একই নির্বাচিত তারিখ ব্যবহার করে 9,999টি stationary-bootstrap পুনরাবৃত্তি হয়েছে। এই কাল্পনিক ফলাফলে 1,199টি পুনরাবৃত্তির সর্বোচ্চ মান 31.75-এর সমান বা বেশি। +1 সংশোধনসহ Monte Carlo অনুমান (1 + 1,199)/(9,999 + 1) = 0.12। শুধু বিজয়ীকে পরীক্ষা করলে কাল্পনিকভাবে 0.03 পাওয়া যেতে পারে, কিন্তু তিন প্রার্থীর অনুসন্ধান বাদ যাবে। Reality Check-এ পুরো গোষ্ঠীর তুলনা হয়; তাই এই উদাহরণে 5% সীমায় যৌথ নাল হাইপোথিসিস প্রত্যাখ্যাত হবে না।

সংখ্যাগুলো হিসাব বোঝাতে বানানো; এগুলো মাপা বাজার-ফল বা White-এর প্রবন্ধের ফল নয়। 0.12 p-value-এর মানে কৌশলটির লোকসানের সম্ভাবনা 12% নয়। নির্দিষ্ট বুটস্ট্র্যাপ ও নাল-গঠনের অধীনে এর সমান বা বড় সর্বোচ্চ মান এত বিরল নয় যে নির্ধারিত স্তরে হাইপোথিসিস প্রত্যাখ্যান করা যায়। নমুনা-গড় থেকেও ঝুঁকি, ধারণক্ষমতা ও এক্সিকিউশন বিবেচনার পর রিটার্নটি অর্থনৈতিকভাবে গুরুত্বপূর্ণ কি না জানা যায় না।

ছোট Reality Check p-value পরীক্ষার অনুমানের অধীনে অন্তর্ভুক্ত গোষ্ঠীর কোনো প্রার্থীই নির্বাচিত বেঞ্চমার্ককে প্রত্যাশিত পারফরম্যান্সে ছাড়ায় না—এই দাবির বিরুদ্ধে প্রমাণ। নাল হাইপোথিসিসটি যৌথ হওয়ায় প্রত্যাখ্যান করলে কোন প্রার্থীর স্থায়ী সুবিধা আছে তা নিজে থেকে শনাক্ত হয় না। নমুনা বদলালে বিজয়ীও বদলাতে পারে, আর গোষ্ঠীর নাল প্রত্যাখ্যাত হলেও নির্দিষ্ট কৌশলের প্রমাণ দুর্বল থাকতে পারে।

বড় p-value মানে নাল প্রত্যাখ্যানের যথেষ্ট প্রমাণ নেই; সব কৌশল বেঞ্চমার্কের সমতুল্য, তা নয়। ছোট নমুনা, অস্থির পারফরম্যান্স, বিস্তৃত প্রার্থী-গোষ্ঠী, ভুল পরিমাপ বা কম statistical power ফলটি ব্যাখ্যা করতে পারে। p-value নাল হাইপোথিসিস সত্য হওয়ার সম্ভাবনাও নয়। প্রার্থী-গোষ্ঠী, পারফরম্যান্সের মাপকাঠি, বেঞ্চমার্ক, বুটস্ট্র্যাপ নকশা এবং পর্যবেক্ষিত ডেটার ওপর নির্ভরশীল রেফারেন্স বণ্টনে এটি tail probability।

White-এর প্রশ্ন আপেক্ষিক। দুর্বল বেঞ্চমার্ককে হারিয়েও কোনো নিয়ম লোকসান করতে পারে, আবার শক্ত বেঞ্চমার্কের চেয়ে পিছিয়েও ধনাত্মক রিটার্ন করতে পারে। অনিশ্চয়তা, turnover, drawdown, ধারণক্ষমতা ও বাস্তবসম্মত ব্যয়সহ পরম এবং বেঞ্চমার্ক-আপেক্ষিক ফল একসঙ্গে জানান। আপেক্ষিক predictive superiority-র পরিসংখ্যানগত প্রমাণ এবং বিনিয়োগের অর্থনৈতিক যুক্তি আলাদা সিদ্ধান্ত।

মূল তত্ত্বে পারফরম্যান্স-পার্থক্যের প্রক্রিয়া ও তার limiting distribution-এর জন্য regularity condition লাগে। White-এর কাঠামোতে stationary, strongly mixing সময়ধারা রয়েছে; নির্ভরশীল bootstrap-এর জন্যও উপযুক্ত block-length sequence দরকার। সসীম নমুনায় বাজার-পর্বের পরিবর্তন, structural break, দীর্ঘমেয়াদি নির্ভরতা, বিরল jump এবং অস্থির volatility stationary resampling-এর আনুমানিকতাকে প্রশ্নবিদ্ধ করতে পারে। Block bootstrap স্থানীয় নির্ভরতার কিছু অংশ ধরে, অজানা ভবিষ্যৎ বাজার-পর্ব পুনর্নির্মাণ করে না।

ডেটা ও কৌশল মূল্যায়নের ভুলও পরীক্ষায় থেকে যায়। ভবিষ্যৎ তথ্যের leakage, survivorship bias, সংশোধিত ডেটা, অবাস্তব fill, বাদ পড়া খরচ, corporate action-এর ভুল হিসাব এবং ফল দেখার পরে বেঞ্চমার্ক বেছে নেওয়া পারফরম্যান্স-পার্থক্যকে অকার্যকর করতে পারে। হোল্ডিং পিরিয়ড overlap করলে রিটার্ন গঠনগতভাবেই নির্ভরশীল হতে পারে; resampling unit ও block length-এ তা প্রতিফলিত হতে হবে। চূড়ান্ত মাপকাঠি Sharpe ratio-র মতো nonlinear হলে প্রতিটি পুনরাবৃত্তিতে সেটি নতুন করে হিসাব করুন; গড় রিটার্নের bootstrap স্বয়ংক্রিয়ভাবে সেটি পরীক্ষা করে ধরে নেবেন না।

অনেক দুর্বল বিকল্পসহ বড় গোষ্ঠীতে Reality Check-এর বাস্তবায়ন conservative হতে পারে। সর্বোচ্চ বণ্টন প্রশস্ত হলে ভালো প্রার্থী থাকা সত্ত্বেও প্রত্যাখ্যান কঠিন হতে পারে। Hansen-এর Superior Predictive Ability test একই ধরনের আরেকটি bootstrap পদ্ধতি, যেখানে দুর্বল বিকল্প ভিন্নভাবে বিবেচিত হয়; এটি সর্বজনীন বিকল্প নয় এবং এর অনুমানও যাচাই করতে হবে। পছন্দের ফল দেয় এমন পদ্ধতি বেছে না নিয়ে গবেষণার প্রশ্ন অনুযায়ী পদ্ধতি তুলনা করুন ও sensitivity জানান।

White’s Reality Check নির্ধারিত অনুসন্ধান-গোষ্ঠীতে নির্বাচন-সমন্বয়ের পর বেঞ্চমার্ক-আপেক্ষিকভাবে শ্রেষ্ঠ কোনো প্রার্থী আছে কি না দেখে। এটি কোনো frozen strategy-র chronological holdout বা walk-forward মূল্যায়নের বিকল্প নয়। Label overlap বা leakage-ও নিজে থেকে সমাধান করে না। PBO ভিন্ন: combinatorial split-এ in-sample বিজয়ী কতবার প্রার্থীদের median-এর নিচে rank করে, তা সারাংশে দেখায়; PBO-র মূল প্রবন্ধ এই selection-risk diagnostic সংজ্ঞায়িত করে। False-discovery পদ্ধতিগুলো একাধিক rejection-এর মধ্যে প্রত্যাশিত মিথ্যা অংশ নিয়ে কাজ করে। Deflated Sharpe Ratio নির্বাচন ও non-normal return বিবেচনায় Sharpe-ভিত্তিক significance assessment সমন্বয় করে। আরও পড়ুন ফাইন্যান্সে multiple testing ও false discovery rate, PBO ও CSCV, walk-forward validation, এবং purged cross-validation ও embargo নিয়ে।

ব্যবহারিক পর্যালোচনায় বেঞ্চমার্ক ও পারফরম্যান্সের সংজ্ঞা স্থির করুন, বাস্তবে ব্যবহৃত প্রার্থী-গোষ্ঠী পুনর্গঠন করুন, প্রতি সময়পর্বে paired difference হিসাব করুন, নির্ভরতা-সচেতন resampling নকশা বেছে তার যুক্তি লিখুন, এবং maximum statistic ও bootstrap tail probability জানান। এরপর স্থির করা নির্বাচন-প্রক্রিয়াকে পরবর্তী কালানুক্রমিক ডেটায় পরীক্ষা করুন; খরচ ও বাস্তবায়নযোগ্যতা আলাদাভাবে যাচাই করুন। Sullivan, Timmermann ও White-এর technical trading rule-সংক্রান্ত প্রয়োগ দেখায় কেন নিয়মের পূর্ণ universe গুরুত্বপূর্ণ: শুধু প্রকাশিত বিজয়ী নয়, পুরো অনুসন্ধান বিশ্লেষণে এলে সিদ্ধান্ত বদলাতে পারে। Reality Check নির্দিষ্ট selection problem সংশোধন করে; live trading-এ backtest টিকে থাকবে এমন সনদ দেয় না।