Diebold–Mariano পরীক্ষা: পূর্বাভাসের নির্ভুলতা তুলনা

Diebold–Mariano পরীক্ষা একই লক্ষ্যবস্তুর দুটি পূর্বাভাসকে একই মূল্যায়ন তারিখে তুলনা করে। প্রতিটি পূর্বাভাস-সূচনা সময়ে দুই পদ্ধতিকেই একই বাস্তব ফলাফল, পূর্বাভাস-দিগন্ত এবং তথ্যের কাট-অফ সময় ব্যবহার করতে হয়। এরপর পরীক্ষা দেখে, সময়ের সঙ্গে ক্ষতির পার্থক্য বদলাতে পারে ধরে নিয়ে, একটি পদ্ধতির গড় ক্ষতি অন্যটির তুলনায় পদ্ধতিগতভাবে আলাদা কি না।

Diebold এবং Mariano সাধারণ ক্ষতি ফাংশনের জন্য এই প্রশ্নটি তৈরি করেন, শুধু গড় বর্গ ত্রুটির জন্য নয়। তাঁদের মূল গবেষণায় প্রতিদ্বন্দ্বী পূর্বাভাসের নির্ভুলতা সমান—এই শূন্য অনুমানের পরীক্ষা প্রস্তাব করা হয়েছে (Diebold and Mariano, 1995)। এখানে “নির্ভুলতা” বলতে নির্বাচিত ক্ষতি ফাংশন অনুযায়ী কম প্রত্যাশিত ক্ষতি বোঝায়। এর মানে পূর্বাভাস সত্য, কার্যকারণ ব্যাখ্যা করে, বণ্টনের সব অংশে ভালোভাবে ক্যালিব্রেটেড, বা সব সিদ্ধান্তে উপযোগী—এমন নয়।

ধরা যাক, A ও B মডেল একই সময়ে একই ভবিষ্যৎ রিটার্নের পূর্বাভাস দেয়। DM পরীক্ষা কোনো মডেলের সহগ শূন্য কি না, বা অনুমান-নমুনায় দুই মডেলের ফিট করা মান একই কি না, তা পরীক্ষা করে না। মূল্যায়ন-নমুনায় তাদের পূর্বাভাস-ত্রুটি নির্বাচিত ক্ষতিতে কীভাবে রূপ নেয়, সেটিই তুলনা করে।

পরিসংখ্যান ব্যাখ্যার আগে নকশা নির্ধারণ করুন: লক্ষ্য, পূর্বাভাস-সূচনা, দিগন্ত, ক্ষতি ফাংশন, অনুপস্থিত ফলাফলের ব্যবহার, পুনরায় অনুমানের সময়সূচি এবং এক-পক্ষীয় বা দুই-পক্ষীয় বিকল্প অনুমান। এগুলোই পরীক্ষার প্রশ্ন ঠিক করে। মডেলভেদে সিদ্ধান্তগুলো আলাদা হলে ক্ষতির পার্থক্য আর একই শর্তের তুলনা থাকে না।

পূর্বাভাস-সূচনা $t$-তে বাস্তব লক্ষ্যমান $y_t$ এবং A ও B মডেলের পূর্বাভাস যথাক্রমে $\hat y_{A,t}$ ও $\hat y_{B,t}$ ধরা যাক। ত্রুটিগুলো হলো $e_{A,t}=y_t-\hat y_{A,t}$ এবং $e_{B,t}=y_t-\hat y_{B,t}$। ক্ষতি ফাংশন $L$ হলে ঐ তারিখের ক্ষতির পার্থক্য:

$$ d_t=L(e_{A,t})-L(e_{B,t}) $$

এই চিহ্ন-নিয়মে $d_t$-এর গড় ঋণাত্মক হলে A-এর দেখা ক্ষতি কম; ধনাত্মক হলে B-এর কম। জনসমষ্টির শূন্য অনুমান $E[d_t]=0$। দুই-পক্ষীয় বিকল্প যেকোনো দিকের পার্থক্য খোঁজে; এক-পক্ষীয় বিকল্প আগে থেকে নির্ধারিত দিক পরীক্ষা করে। বিজয়ী দেখে পরে দিক বেছে নেবেন না।

বর্গ-ক্ষতি $L(e)=e^2$ বড় ভুলকে তুলনামূলকভাবে অনেক বেশি ওজন দেয়। পরম-ক্ষতি $L(e)=|e|$ একক বড় ভুলের প্রভাব কমায়। কোয়ান্টাইল ক্ষতি অসমমিত লক্ষ্য মাপতে পারে। ভিন্ন ক্ষতি ফাংশনে মডেলের ক্রম উল্টে যেতে পারে, তাই ক্ষতি নির্ধারণের আগে “সেরা পূর্বাভাস”-এর একক অর্থ নেই। নমুনার বাইরে পূর্বাভাস পরীক্ষা নিয়ে Tashman-এর পর্যালোচনাও বলে, মূল্যায়ন পদ্ধতি পূর্বাভাস-সমস্যার সঙ্গে মিলতে হবে (Tashman, 200000065-0))।

দুই মডেলের জন্য একই পূর্বাভাস-সূচনা ও বাস্তব ফলাফল ব্যবহার করুন। কঠিন কোনো তারিখে এক মডেলের পূর্বাভাস না থাকলে শুধু সেই মডেল থেকে তারিখটি নীরবে বাদ দিলে তুলনার নমুনা বদলে যায়। বাস্তব ব্যবহারে যদি প্রতি মাসে নতুন তথ্য দিয়ে মডেল পুনরায় অনুমান করা হয়, মূল্যায়ন-পূর্বাভাসও সেই নিয়মে তৈরি করুন; স্থির প্যারামিটারের পরীক্ষা ভিন্ন প্রশ্নের উত্তর দেয়। Walk-forward যাচাই ভবিষ্যৎ তথ্য ছাড়া ধারাবাহিক পূর্বাভাস তৈরির পদ্ধতি ব্যাখ্যা করে।

চারটি কাল্পনিক পূর্বাভাস-সূচনা বিবেচনা করুন; লক্ষ্য ও ত্রুটির একক শতাংশ-পয়েন্ট। A-এর ত্রুটি $[1,2,0,1]$ এবং B-এর $[2,1,1,1]$। প্রতিটি জোড়া একই বাস্তব রিটার্ন ও পূর্বাভাস-সময়ের সঙ্গে সম্পর্কিত। সংখ্যাগুলো শুধু হিসাব বোঝানোর জন্য তৈরি।

বর্গ-ক্ষতিতে A-এর ক্ষতি $[1,4,0,1]$, তাই গড় বর্গ ত্রুটি $(1+4+0+1)/4=1.50$ বর্গ শতাংশ-পয়েন্ট। B-এর ক্ষতি $[4,1,1,1]$, গড় বর্গ ত্রুটি $(4+1+1+1)/4=1.75$। এই চারটি ফলে A-এর MSE 0.25 বর্গ শতাংশ-পয়েন্ট কম।

তারিখভিত্তিক পার্থক্য $d_t=L(e_{A,t})-L(e_{B,t})$ হলো $[-3,3,-1,0]$। গড় $(-3+3-1+0)/4=-0.25$, যা A-এর গড় MSE থেকে B-এর গড় MSE বাদ দেওয়ার সমান। ঋণাত্মক চিহ্ন এই নিয়মে A-কে সমর্থন করে, তবে পার্থক্যটি নমুনা-শব্দের চেয়ে বড় কি না তা বলে না। চার জোড়া পূর্বাভাস বিশ্বাসযোগ্য পরিসংখ্যানগত প্রমাণের জন্য যথেষ্ট নয়।

ক্ষতির সংজ্ঞা “ভালো”র অর্থও বদলায়। আরেকটি কাল্পনিক উদাহরণে C-এর পরম ত্রুটি $[0,0,0,3]$ এবং D-এর $[1,1,1,1]$। পরম-ক্ষতিতে গড় C-এর 0.75, D-এর 1, তাই C ভালো। বর্গ-ক্ষতিতে গড় C-এর 2.25, D-এর 1, তাই D ভালো। কোন ভুল বেশি গুরুত্বপূর্ণ তা ঠিক না করলে পরীক্ষা এই অমিল মেটাতে পারবে না।

<!-- Illustration placement: after this section; text-free conceptual scene showing two forecast paths against one realized path, with visibly different miss distances and no labels or numerical claims. -->

নমুনার গড় ক্ষতি-পার্থক্য $\bar d=T^{-1}\sum_{t=1}^{T}d_t$, যেখানে $T$ হলো জোড়া পূর্বাভাস-ফলের সংখ্যা। এর মানক ত্রুটি $d_t$-এর দীর্ঘমেয়াদি ভ্যারিয়েন্সের ওপর নির্ভর করে, শুধু একটি তারিখের ভ্যারিয়েন্সের ওপর নয়। পরীক্ষার সাধারণ রূপ:

$$ DM=\frac{\bar d}{\sqrt{\widehat{\Omega}/T}} $$

$\widehat{\Omega}$ ক্ষতি-পার্থক্যের সময়-সারির দীর্ঘমেয়াদি ভ্যারিয়েন্সের অনুমান। তারিখগুলো স্বাধীন হলে নির্বাচিত অনুমানকারীতে এটি $d_t$-এর ভ্যারিয়েন্সের কাছাকাছি হবে। কিন্তু পূর্বাভাস-ক্ষতি প্রায়ই গুচ্ছবদ্ধ হয়: উচ্চ অস্থিরতায় দুই মডেলের ভুল একসঙ্গে বাড়তে পারে; $h$ ধাপ পরের লক্ষ্য পাশের ত্রুটি-উইন্ডোগুলোকে একই বাস্তব রিটার্ন ভাগ করাতে পারে। ধনাত্মক নির্ভরতা উপেক্ষা করলে মানক ত্রুটি কম অনুমান হতে পারে এবং প্রমাণ বাস্তবের চেয়ে শক্তিশালী দেখাতে পারে।

একটি প্রচলিত HAC পদ্ধতি গড় থেকে কেন্দ্রিত ক্ষতি-পার্থক্যের অটোকোভ্যারিয়েন্স $\hat\gamma_k$ অনুমান করে এবং $\widehat{\Omega}=\hat\gamma_0+2\sum_{k=1}^{q}w_k\hat\gamma_k$ হিসেবে যোগ করে। Bartlett ওজন ও $q$ ব্যান্ডউইথে $w_k=1-k/(q+1)$। Newey ও West হেটেরোস্কেডাস্টিসিটি ও অটোকরিলেশনের প্রতি সঙ্গতিপূর্ণ ধনাত্মক অর্ধ-নির্দিষ্ট কোভ্যারিয়েন্স অনুমানকারী তৈরি করেন (Newey and West)। কার্নেল ও ব্যান্ডউইথ বাস্তবায়ন-নির্বাচন: এগুলো প্রকাশ করুন এবং পূর্বাভাস-নকশা মেনে ঠিক করুন, পছন্দের p-value পেতে নয়। HAC মানক-ত্রুটি নির্দেশিকা বৃহত্তর কোভ্যারিয়েন্স সমস্যাটি ব্যাখ্যা করে।

পরীক্ষার নিয়মিত শর্তে মানক DM পরিসংখ্যানকে আসন্ন মানক স্বাভাবিক বণ্টনের সঙ্গে তুলনা করা হয়। বড় পরম মান মানে দেখা গড় পার্থক্য অনুমিত অনিশ্চয়তার তুলনায় বড়। চিহ্নটি নির্ধারিত ক্রমে কোন মডেলের ক্ষতি কম তা জানায়; p-value পার্থক্যের মাত্রা বা অর্থনৈতিক মূল্য মাপে না। এটি শূন্য অনুমান সত্য হওয়ার বা ভবিষ্যৎ পূর্বাভাস কাজ করার সম্ভাবনাও নয়।

প্রতি সময়ে কয়েক ধাপ পরের লক্ষ্য পূর্বাভাস করলে মূল্যায়নের উইন্ডো ওভারল্যাপ করে। যেমন, পরের তিন মাসের সঞ্চিত রিটার্নের মাসিক পূর্বাভাস এক মাস পর দেওয়া পূর্বাভাসের সঙ্গে তিনটির মধ্যে দুই মাসের রিটার্ন ভাগ করে। মাসিক রিটার্ন স্বাধীন হলেও ওভারল্যাপ পূর্বাভাস-ত্রুটি ও ক্ষতি-পার্থক্যে ধারাবাহিক সহসম্পর্ক তৈরি করতে পারে।

মৌলিক $h$-ধাপ সেটআপে ভ্যারিয়েন্স গণনায় অন্তত $h-1$ ল্যাগ পর্যন্ত নির্ভরতা ধরা যুক্তিযুক্ত। এটি সর্বজনীন ব্যান্ডউইথ-নিয়ম নয়: রোলিং প্যারামিটার অনুমান, স্থায়ী লক্ষ্য, অস্থিরতার গুচ্ছ এবং ক্ষতি ফাংশন আরও নির্ভরতা তৈরি করতে পারে। পূর্বাভাসের দিগন্ত, সূচনাগুলোর ব্যবধান এবং HAC ছাঁটাই-ল্যাগ বা অন্য ভ্যারিয়েন্স অনুমানকারী বেছে নেওয়ার কারণ লিখে রাখুন। পূর্বাভাসের সারির সংখ্যা স্বয়ংক্রিয়ভাবে স্বাধীন প্রমাণের সংখ্যা নয়।

মূল আসন্ন পরীক্ষার মাঝারি নমুনায় প্রকৃত তাৎপর্য-স্তর ঠিক নাও থাকতে পারে। Harvey, Leybourne এবং Newbold গড় বর্গ পূর্বাভাস-ত্রুটি তুলনার জন্য সীমিত-নমুনা সংশোধন প্রস্তাব করেন (HLN, 199700719-4))। $h$ দিগন্ত ও $T$ পূর্বাভাসের প্রচলিত রূপে DM পরিসংখ্যানকে এই গুণক দিয়ে গুণ করা হয়:

$$ DM_{HLN}=DM\sqrt{\frac{T+1-2h+h(h-1)/T}{T}} $$

সংশোধিত পরিসংখ্যান সাধারণত $T-1$ স্বাধীনতা-ডিগ্রির t-বণ্টনের সঙ্গে তুলনা করা হয়। $T=60$ এবং $h=5$ হলে গুণক প্রায় $0.925$। উদাহরণটি শুধু সংশোধনের হিসাব দেখায়; ৬০টি পর্যবেক্ষণ কোনো নির্দিষ্ট মডেলের জন্য যথেষ্ট বা অনুমানগুলো পূরণ হয়েছে—এমন নয়। সংশোধনটি নির্দিষ্ট ছোট-নমুনা সমস্যা সামলায়, তবে তথ্য ফাঁস, অবৈধ লক্ষ্য, অনমডেল করা নির্ভরতা, বারবার মডেল নির্বাচন বা ভুলভাবে নির্ধারিত ক্ষতি ফাংশন ঠিক করে না।

A মডেল B-এর সীমাবদ্ধ সংস্করণ হতে পারে; যেমন B-তে A-এর তুলনায় অতিরিক্ত পূর্বাভাসকারী আছে। শূন্য অনুমানে অতিরিক্ত পূর্বাভাসকারীর জনসমষ্টিগত মান না থাকলেও অনুমিত সহগ B-এর পূর্বাভাসে নয়েজ যোগ করতে পারে। তাই অতিরিক্ত চলক মূল পূর্বাভাস-প্রক্রিয়া উন্নত না করলেও বড় মডেলের দেখা MSE বেশি হতে পারে। নন-নেস্টেড মডেলের সমান-নির্ভুলতার যুক্তি অপরিবর্তিতভাবে প্রয়োগ করা যায় না।

Clark ও West নেস্টেড মডেলে সমান পূর্বাভাস নির্ভুলতার জন্য প্রায়-স্বাভাবিক পরীক্ষা তৈরি করেন এবং বড় মডেলের অনুমানজনিত নয়েজ ধরতে বর্গ-ত্রুটি তুলনা সমন্বয় করেন (Clark and West, 2007)। এটি সব DM পরীক্ষার সর্বজনীন বিকল্প নয়; নির্দিষ্ট নেস্টেড-মডেল প্রশ্ন, ক্ষতি ও আসন্ন সেটআপের জন্য তৈরি। এক মডেল অন্যটির মধ্যে নেস্টেড কি না নির্ধারণ করুন এবং নকশার সঙ্গে মানানসই শূন্য-বণ্টনের পরীক্ষা নিন। সফটওয়্যারের সাধারণ DM p-value সব মডেল সম্পর্ক সামলায়—এমন ধরে নেবেন না।

আরও পার্থক্য জরুরি। কম MSE-এর পূর্বাভাস ইন্টারভ্যাল কভারেজ, সম্ভাব্যতার ক্যালিব্রেশন, দিক-নির্ভুলতা বা পরবর্তী সিদ্ধান্ত উন্নত নাও করতে পারে। নমুনার বাইরের তুলনাও অনুপযুক্ত holdout ব্যবহার করতে পারে, যদি মডেল তৈরির সময় সেটি বারবার দেখা হয়ে থাকে। মডেলগুলোর সম্পর্ক, অনুমান-পদ্ধতি, দিগন্ত এবং প্রতিটি পূর্বাভাস তৈরিতে ব্যবহৃত তথ্যের সীমা উল্লেখ করুন।

DM ফল পূর্বাভাস-ক্ষতি মূল্যায়ন করে; ট্রেডিং সিদ্ধান্ত রিটার্ন ও ঝুঁকির প্রক্রিয়া মূল্যায়ন করে। পরের সময়ের রিটার্নে কম MSE থাকলেই সংকেত যথেষ্ট বার সঠিক দিক নেবে, উপযুক্ত অবস্থান-আকার ঠিক করবে, বা টার্নওভার, স্প্রেড, বাজার-প্রভাব, ফি, ধার খরচ, ফান্ডিং ও নির্বাহ-বিলম্ব সামলাবে—এ নিশ্চয়তা নেই। উল্টোভাবে, সামান্য বেশি গড় বর্গ ত্রুটির পূর্বাভাসও কৌশলের এক্সপোজার বেশি এমন সময়ে নির্ভুল হলে সিদ্ধান্ত উন্নত করতে পারে। এমন দাবির ক্ষতি ফাংশন সুবিধাজনক সাধারণ মেট্রিকের বদলে বাস্তব সিদ্ধান্ত প্রতিফলিত করতে পারে।

পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ পার্থক্য অর্থনৈতিকভাবে খুব ছোট হতে পারে। শুধু p-value বা বিজয়ী লেবেল নয়, ব্যাখ্যাযোগ্য এককে গড় ক্ষতি-পার্থক্যের আকার ও অনিশ্চয়তা দিন। পোর্টফোলিও ফলের দাবি হলে বাস্তবসম্মত ট্রেডিং অনুমানে উপযুক্ত পরবর্তী তথ্যের ওপর সম্পূর্ণ স্থির সিদ্ধান্ত-নিয়ম আবার চালান এবং নিট ফল আলাদাভাবে জানান। ক্ষতি ফাংশন স্পষ্টভাবে সে উদ্দেশ্যে তৈরি না হলে DM এসব ফল গণনা বা খরচ হিসাব করে না।

অনেক মডেল, লক্ষ্য, দিগন্ত, ক্ষতি ফাংশন, তারিখের পরিসর বা ট্রেডিং নিয়ম খুঁজে কেবল সুবিধাজনক তুলনাটি রিপোর্ট করার সমস্যাও পরীক্ষা সমাধান করে না। বারবার জোড়া পরীক্ষা নিজস্ব নির্বাচন-সমস্যা তৈরি করে। অনুসন্ধানের রেকর্ড রাখুন এবং দাবির পরিবারের সঙ্গে মানানসই বহুগুণ পরীক্ষা পদ্ধতি প্রয়োগ করুন। বহুগুণ পরীক্ষা ও ভুল-আবিষ্কার হার নির্দেশিকা ব্যাখ্যা করে, বিস্তৃত অনুসন্ধানের পরে প্রচলিত সীমা কেন বিভ্রান্ত করতে পারে। DM মূল্যায়নের উপকরণ, ডেটা-স্নুপিং সংশোধন নয়।

স্পষ্ট প্রতিবেদনে লক্ষ্য ও একক, তথ্য কাট-অফ, পূর্বাভাস-সূচনা, দিগন্ত, পুনরায় অনুমানের সময়সূচি এবং সাধারণ মূল্যায়ন নমুনা থাকে। ক্ষতি ফাংশন ও $d_t$-এর চিহ্ন, প্রতিটি মডেলের গড় ক্ষতি ও গড় পার্থক্য, আগে বেছে নেওয়া এক বা দুই-পক্ষীয় অনুমান, ভ্যারিয়েন্স অনুমানকারী, কার্নেল, ব্যান্ডউইথ, পরীক্ষা পরিসংখ্যান, রেফারেন্স বণ্টন, p-value এবং প্রাসঙ্গিক ক্ষেত্রে আস্থার ব্যবধান বা অনিশ্চয়তার মান জানান।

মডেল নেস্টেড কি না, অনুপস্থিত ফল ও চরম মান কীভাবে সামলানো হয়েছে, কত বিকল্প বিন্যাস দেখা হয়েছে এবং মূল্যায়ন-পর্ব মডেল নির্বাচনে প্রভাব ফেলেছে কি না তাও প্রকাশ করুন। শুধু সীমা পেরিয়েছে কি না নয়, পার্থক্যের মাত্রা দেখান। $d_t$-এর সময়-সারি বা সঞ্চিত ক্ষতি-পার্থক্যের গ্রাফ সামগ্রিক গড়ে ঢাকা পড়া পরিস্থিতি-পরিবর্তন দেখাতে পারে, তবে নির্ভরতা-সচেতন অনুমানের বিকল্প নয়।

পরিমাণগত ট্রেডিংয়ে পূর্বাভাস থেকে কাজে যাওয়ার পথও বলুন: সংকেত সীমা, অবস্থানের আকার, পুনঃভারসাম্যের সময়, ঝুঁকি নিয়ন্ত্রণ, নির্বাহ মূল্য ও খরচের অনুমান। DM শুধু দেওয়া পূর্বাভাস-ক্ষতির সিরিজ তুলনা করে। এটি ডেটা-পাইপলাইন নিশ্চিত করে না, আলাদা মূল্যায়ন নমুনা তুলনাযোগ্য করে না, কার্যকারণ প্রমাণ করে না বা অতীতের র‌্যাঙ্কিং স্থায়ী হবে বলে নিশ্চয়তা দেয় না। সময়ের ক্রম মেনে পূর্বাভাস নকশা ও সিদ্ধান্ত-স্তরে স্পষ্ট মূল্যায়নের পাশাপাশি মডেল মূল্যায়নের স্বচ্ছ অংশ হিসেবে ব্যবহার করুন।