Probability Integral Transform: ঘনত্বভিত্তিক পূর্বাভাসের ক্যালিব্রেশন

একটি পয়েন্ট পূর্বাভাস বলতে পারে আগামী দিনের রিটার্ন 0.2% হবে। ঘনত্বভিত্তিক পূর্বাভাস সাধারণ ওঠানামা থেকে বিরল প্রান্তিক ঘটনা পর্যন্ত সম্ভাব্য রিটার্নের পুরো পরিসরে সম্ভাবনা দেয়। তাই মূল্যায়নের প্রশ্ন হলো, ফল দেখার আগে প্রকাশিত বণ্টন পরে যা ঘটেছে তার সঙ্গে মেলে কি না। Mincer–Zarnowitz নির্দেশিকা সংখ্যাগত পয়েন্ট পূর্বাভাসের রৈখিক ক্যালিব্রেশন দেখে—সম্পূর্ণ পূর্বাভাস বণ্টন যাচাইয়ের প্রশ্নটি আলাদা।

PIT বলে পূর্বাভাস বাস্তব মানের সমান বা তার নিচের ফলকে কত সম্ভাবনা দিয়েছিল। এটি সম্ভাব্যতার ক্রম, রিটার্ন, ট্রেডিং সংকেত বা মুনাফার মাপ নয়। অর্থায়নে রিটার্নের ঘনত্ব-ভিত্তিক মডেল ঝুঁকি বা সিদ্ধান্তে কাজে লাগতে পারে; তবু PIT মূল্যায়ন করে পূর্বাভাস বণ্টন। Diebold–Mariano নির্দেশিকা নির্বাচিত স্কোরে গড় পূর্বাভাস-ক্ষতি তুলনা করে; ঘনত্বের ক্যালিব্রেশন যাচাই তার থেকে আলাদা প্রশ্ন।

পূর্বাভাসের সময় \(t\)-এর পরের ফল \(Y_{t+1}\) এবং সেই সময়ে পাওয়া তথ্য \(\mathcal I_t\)-নির্ভর পূর্বাভাস ক্রমযোজিত বণ্টন ফাংশনকে \(F_{t+1}(y\mid\mathcal I_t)\) বলি। পূর্বাভাস বণ্টন ধারাবাহিক হলে হিসাবটি হলো

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ)

CDF হলো \(y\)-এর সমান বা নিচের ফলের সম্ভাবনা। পূর্বাভাস CDF যদি ফলের প্রকৃত শর্তাধীন বণ্টন হয়, probability integral transform উপপাদ্য অনুযায়ী

Pr(Uₜ₊₁ ≤ u | 𝓘ₜ) = u, for 0 ≤ u ≤ 1

অর্থাৎ সঠিক ধারাবাহিক এক-ধাপ পূর্বাভাসের PIT পূর্বাভাস-সময়ের তথ্যের শর্তে সমবণ্টিত। ধারাবাহিক পূর্বাভাসে অতীত তথ্য একই তথ্যসমষ্টিতে থাকলে, আদর্শ PIT ধারাটিও অনুমিত শর্তে সময়ের সঙ্গে স্বাধীন। রূপান্তরটি Rosenblatt-এর কাজের সঙ্গে যুক্ত; Diebold, Gunther ও Tay ঘনত্ব-পূর্বাভাস মূল্যায়নে PIT ধারার ব্যবহারিক কাঠামো দেন (Rosenblatt, 1952; Diebold, Gunther, and Tay, 1998)।

হাতে যাচাই করতে, কোনো পূর্বাভাস সময়ে \(N(0,1)\) বণ্টন এবং পর্যবেক্ষিত মান \(y=1\) ধরা যাক। PIT হবে \(\Phi(1)\approx0.8413\): পূর্বাভাসটি 1 বা তার কম মানের জন্য প্রায় 84.13% সম্ভাবনা দিয়েছিল। একটি মান শুধু গণনাটি দেখায়; ক্যালিব্রেশন বিচার করতে পূর্বাভাস ও ফলের ধারাবাহিক নমুনা লাগে।

বিচ্ছিন্ন বণ্টনে সম্ভাব্য ফলের বিন্দুতে CDF লাফ দেয়। তাই সঠিক পূর্বাভাস হলেও সাধারণ \(F(Y)\) অল্প কয়েকটি মান নিতে পারে এবং সাধারণত সমবণ্টিত হয় না। প্রতিটি লাফের ব্যবধান ভরাট করতে randomized PIT ব্যবহার করা যায়:

Uₜ₊₁ = Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ) + Vₜ₊₁ [Fₜ₊₁(Yₜ₊₁ | 𝓘ₜ) − Fₜ₊₁(Yₜ₊₁⁻ | 𝓘ₜ)]

এখানে \(F(y^-)\) হলো বাম-সীমা, অর্থাৎ \(y\)-এর কম মানের সম্ভাবনা; \(V\) মূল্যায়নের জন্য স্বাধীন \(U(0,1)\) নমুনা। ধারাবাহিক বণ্টনে লাফ শূন্য, তাই সূত্রটি \(F(Y)\)-এ নেমে আসে। Brockwell বিচ্ছিন্ন ও মিশ্রসহ যেকোনো বণ্টনের জন্য randomized transform প্রমাণ করেছেন (2007)। ক্রমযুক্ত count ফলের ক্ষেত্রে Czado, Gneiting ও Held nonrandomized PIT এবং marginal calibration diagram-ও আলোচনা করেছেন; বিচ্ছিন্ন ফলের জন্য তৈরি নির্ণায়ককে অবিচ্ছিন্ন সমবণ্টন ধরে বিচার করা উচিত নয় (2009)।

ধরা যাক কাল্পনিক Bernoulli পূর্বাভাসে \(P(Y=1)=0.20\), ফলে \(P(Y=0)=0.80\)। \(Y=0\) হলে সাধারণ PIT 0.80—এটি 0.80 সম্ভাবনার ঘটনা; \(Y=1\) হলে PIT 1.00—সম্ভাবনা 0.20। এই দুই বিন্দু সমবণ্টিত নয়। Randomization-এ \(Y=0\) হলে \(0.80V\) হয়ে \([0,0.80]\) ভরাট করে; \(Y=1\) হলে \(0.80+0.20V\) হয়ে \([0.80,1]\) ভরাট করে। দুই ব্যবধানের সম্ভাবনা যথাক্রমে 0.80 ও 0.20, ফলে পুরো \([0,1]\)-এ মোট ঘনত্ব 1। এই অতিরিক্ত দৈব নমুনা মূল্যায়নের কৌশল; আসল পূর্বাভাসের অংশ নয়।

PIT-এর প্রান্তিক বণ্টন সমবণ্টিত হওয়া আদর্শ ধারাবাহিক ঘনত্ব-পূর্বাভাসের জন্য দরকারি, কিন্তু যথেষ্ট নয়। বিভিন্ন বাজার অবস্থার ভুল একে অন্যকে ঢেকে দিতে পারে: এক অবস্থায় পূর্বাভাস বেশি, অন্যটিতে কম হলেও সামগ্রিক হিস্টোগ্রাম সমতল দেখাতে পারে। Gneiting, Balabdaoui ও Raftery এমন উদাহরণ দেখান যেখানে PIT হিস্টোগ্রাম মোটামুটি সমবণ্টিত হলেও প্রতিটি পূর্বাভাসে পক্ষপাত থাকে (2007)।

ক্রমও গুরুত্বপূর্ণ। সমতল হিস্টোগ্রামের সঙ্গে সময়গত নির্ভরতা থাকতে পারে—যেমন বড় মানের গুচ্ছ বা একই ধরনের PIT-এর দীর্ঘ ধারা। অতীতকে তথ্যসমষ্টিতে অন্তর্ভুক্ত করা সঠিক এক-ধাপ শর্তাধীন পূর্বাভাসে শুধু সামগ্রিক সমতার চেয়ে বেশি শর্ত থাকে। কিন্তু একাধিক ধাপের পূর্বাভাসের ফল-জানালাগুলো একে অন্যের সঙ্গে মিলে গেলে সঠিক পূর্বাভাসেও নির্ভরতা হতে পারে; তাই পরীক্ষার রেফারেন্সে সেই কাঠামো ধরতে হবে, স্বয়ংক্রিয়ভাবে iid ধরে নেওয়া যাবে না।

PIT বণ্টনের পাশাপাশি সময়, lagged PIT, পূর্বাভাস-সময়ের ভেরিয়েবল এবং আগে থেকে নির্ধারিত অবস্থার সঙ্গে সম্পর্ক দেখুন। শর্তাধীন ছবি বা পরীক্ষা সামগ্রিক হিস্টোগ্রামের আড়ালে থাকা ত্রুটি দেখাতে পারে, তবে ছোট নমুনা ও গ্রুপ বেছে নেওয়ার নিজস্ব সীমা আছে। নির্বাচিত কয়েকটি পরীক্ষা দিয়ে প্রতিটি সম্ভাব্য শর্তের ক্যালিব্রেশন প্রমাণ করা যায় না।

হিস্টোগ্রাম নির্দিষ্ট bin-এ PIT-এর প্রান্তিক বণ্টন দেখায়। দুই প্রান্তে বেশি মানসহ U-আকৃতি প্রায়ই অতিরিক্ত কেন্দ্রীভূত বা কম বিচ্ছুরিত পূর্বাভাসের সঙ্গে মেলে; মাঝখানে উঁচু ঢিবি প্রায়ই অতিরিক্ত বিস্তৃত পূর্বাভাসের সঙ্গে মেলে। দুই দিকের ভারসাম্যহীনতা অবস্থানগত পক্ষপাতের ইঙ্গিত হতে পারে। এগুলো একক ব্যাখ্যা নয়: নির্ভরতা, মিশ্র বাজার-অবস্থা, বিচ্ছিন্ন ফল, bin নির্বাচন বা ছোট নমুনা বিভ্রান্তিকর আকৃতি তৈরি করতে পারে।

হিস্টোগ্রাম পর্যবেক্ষণের ক্রম মুছে দেয়। সমস্যা কখন শুরু হয়েছে, বড় PIT একত্র হচ্ছে কি না, বা কোনো উপগোষ্ঠী ভুল ক্যালিব্রেটেড কি না—এটি দেখায় না। প্রশস্ত bin ও কম তথ্য সমতল ছবি দিতে পারে; সরু bin-এ দৈব নমুনা-শব্দ স্পষ্ট হতে পারে। সম্ভব হলে নমুনার সংখ্যা, bin সীমা ও অনিশ্চয়তা জানান; আগে-নির্ধারিত শর্ত এবং সময়গত নির্ভরতাও দেখুন। আনুষ্ঠানিক পরীক্ষার উদাহরণ হলো Diebold–Gunther–Tay কাঠামো ও Berkowitz-এর transformed-PIT likelihood ratio test: Berkowitz অভ্যন্তরীণ PIT-কে \(Z_t=\Phi^{-1}(U_t)\)-এ রূপান্তর করে এবং iid standard-normal নালকে AR(1)-এর মতো নির্দিষ্ট গতিশীল বিকল্পের সঙ্গে যাচাই করেন। ফল পরীক্ষার অনুমানের ওপর নির্ভর করে; কোনো এক ছবি বা পরীক্ষা সর্বজনীন সনদ নয় (Berkowitz, 2001)।

<!-- learn:illustration -->

সমবণ্টনের ফল ধরে নেয় পূর্বাভাস CDF-ই প্রকৃত শর্তাধীন বণ্টন। বাস্তবে মডেল পরামিতি অনুমান করে, বণ্টনের ধরন বেছে নেয় এবং ভেরিয়েবল বা সীমা সমন্বয় করতে পারে। তাই \(F_{t+1}(\cdot;\hat\theta_t)\) অজানা সত্য CDF নয়, একটি পূর্বাভাস পদ্ধতির অংশ। মূল্যায়ন সময়ের ফল দিয়ে পরামিতি মেলানোর পর সেই PIT-কে অক্ষত out-of-sample প্রমাণ বলা হলে ফলটি যাচাইয়ের আগেই মডেল তৈরিতে ঢুকে যায়।

Rolling মূল্যায়নে প্রতিটি পূর্বাভাস তার সময়ে পাওয়া তথ্য দিয়ে তৈরি করুন। estimation window, পুনঃঅনুমানের হার, data vintage, model version এবং নির্বাচনের ধাপ লিখে রাখুন। এগুলো বদলালে মূল্যায়িত পদ্ধতিও বদলে যায়। পাশের rolling window একই পর্যবেক্ষণ ভাগ করলে পূর্বাভাস পরস্পরনির্ভর হতে পারে; overlapping horizon অতিরিক্ত নির্ভরতা আনে। পরীক্ষা বা bootstrap-এ বাস্তব পূর্বাভাস-পাইপলাইন পুনরায় চালানো উচিত।

পরীক্ষার size ও power-এ প্রভাব estimator, sample এবং test পদ্ধতির ওপর নির্ভর করে। PIT histogram পরামিতির অনিশ্চয়তা ধরে না; সব estimated বা overlapping design-এ পাঠ্যবইয়ের iid reference ব্যবহারও ঠিক নয়। inference জরুরি হলে নকশার অনুমানের সঙ্গে মানানসই test বেছে নিন, অথবা পুরো estimation ও forecast pipeline বারবার চালিয়ে bootstrap/simulation করুন। সত্যিকারের out-of-sample প্রশ্ন হলে চূড়ান্ত পরীক্ষার নমুনা model selection থেকে আলাদা রাখুন।

ক্যালিব্রেশন পূর্বাভাস ও ফলের যৌথ আচরণ দেখে: নির্দিষ্ট সম্ভাবনায় দেওয়া ঘটনা কি সে হারে ঘটে, এবং পূর্বাভাস বণ্টন পর্যবেক্ষণের সঙ্গে মেলে কি না? sharpness বা ঘনত্ব বলে ফল না দেখে পূর্বাভাস বণ্টন নিজে কতটা কেন্দ্রীভূত। Gneiting, Balabdaoui ও Raftery বলেন, ক্যালিব্রেশন বজায় রেখে sharpness বাড়ানো কাম্য।

প্রশস্ত বণ্টন গড়ে সঠিক হতে পারে, কিন্তু কম তথ্যবহ। সরু বণ্টন নির্ভুল মনে হলেও ফল প্রায়ই তার বাইরে গেলে ক্যালিব্রেশন দুর্বল। PIT বণ্টনের সামঞ্জস্য নির্ণয় করে; sharpness-এর সারাংশ বিস্তার, interval width বা concentration বলে। একটির উন্নতিতে অন্যটি খারাপও হতে পারে।

সমস্ত সময়ের PIT সমবণ্টিত দেখালেও volatility regime বা horizon অনুযায়ী শর্তাধীন ভুল থাকতে পারে। ব্যবহারিকভাবে কোন শর্ত জরুরি তা আগে ঠিক করে দেখুন। এটি Giacomini–White শর্তাধীন পূর্বাভাস-ক্ষমতা পরীক্ষার সঙ্গে সম্পর্কিত, কিন্তু সেটি নির্বাচিত তথ্য অনুযায়ী পূর্বাভাসের loss তুলনা করে।

PIT মূলত নির্ণায়ক; এটি প্রতিযোগী ঘনত্ব-পূর্বাভাসের একক ranking দেয় না। logarithmic score এবং continuous ranked probability score (CRPS)-এর মতো proper scoring rule প্রতিটি পূর্বাভাস ও ফলকে scalar loss দেয়। সংজ্ঞা অনুযায়ী প্রকৃত পূর্বাভাস বণ্টন দিলে expected loss সর্বনিম্ন হয়। একই out-of-sample ফলের ওপর মডেল তুলনা করা যায়, কিন্তু একটি নমুনার গড় স্কোর মডেল সঠিক প্রমাণ করে না। Model Confidence Set নির্দেশিকা পূর্বাভাস পদ্ধতিকে সেট হিসেবে তুলনা করে; density forecast-এ পূর্ণ বণ্টনের জন্য সংজ্ঞায়িত score ব্যবহার করুন।

তুলনায় target, horizon, common dates, loss convention এবং benchmark জানান। পর্যবেক্ষিত মানে খুব কম density দিলে log score বিশেষভাবে সংবেদনশীল; CRPS CDF তুলনা করে এবং তার সংবেদনশীলতা ভিন্ন। serial dependence, estimation ও model search ধরেই score difference-এর uncertainty জানান। PIT plot distribution defect দেখাতে পারে, proper score নির্দিষ্ট penalty-তে তুলনামূলক performance সারাংশ দেয়।

ক্যালিব্রেশন বা ভালো score নিজে trading profitability প্রমাণ করে না। ট্রেডিং দাবি করতে decision rule, তথ্যের সময়, position size, execution ও funding cost, এবং out-of-sample return আলাদা করে নির্ধারণ করুন। Forecast-evaluation statistic backtest return নয়।

Forecast target, horizon, origin time, outcome vintage এবং distribution ধারাবাহিক, বিচ্ছিন্ন না মিশ্র—আগে নির্ধারণ করুন। প্রত্যেক predictive CDF বা পুনরুৎপাদনের যথেষ্ট তথ্য, ফল এবং information set সংরক্ষণ করুন। Continuous ক্ষেত্রে \(F_t(Y_t)\) হিসাব করুন; jump থাকলে documented randomized PIT বা discrete-specific diagnostic ব্যবহার করুন।

তারপর marginal distribution ও সময়ক্রম পরীক্ষা করুন। histogram bin, নমুনার সংখ্যা, tie handling, random seed বা repeated randomization জানান। আগে-নির্ধারিত প্রশ্নে independence বা conditional test যোগ করুন এবং rolling, overlapping, estimated design অনুযায়ী inference বেছে নিন। সবশেষে একই held-out ফলের proper score দিয়ে মডেল তুলনা করুন। ফল নির্দিষ্ট forecast ও condition-এর প্রমাণ; ভবিষ্যৎ ক্যালিব্রেশন বা মুনাফার নিশ্চয়তা নয়।