Diebold–Mariano परीक्षण: पूर्वानुमान सटीकता की तुलना

Diebold–Mariano परीक्षण एक ही लक्ष्य के दो पूर्वानुमानों की उन्हीं मूल्यांकन तारीखों पर तुलना करता है। हर पूर्वानुमान आरंभ पर दोनों तरीकों को वही वास्तविक नतीजा, क्षितिज और सूचना कटऑफ इस्तेमाल करना चाहिए। फिर परीक्षण देखता है कि क्या एक तरीके की औसत हानि दूसरे से व्यवस्थित रूप से अलग है, जबकि समय के साथ हानि-अंतर बदल सकता है।

Diebold और Mariano ने प्रश्न को सामान्य हानि फलन के लिए बनाया, केवल औसत वर्ग त्रुटि के लिए नहीं। उनका मूल शोध इस शून्य परिकल्पना के परीक्षण विकसित करता है कि प्रतिस्पर्धी पूर्वानुमानों की पूर्वानुमान सटीकता समान है (Diebold and Mariano, 1995)। यहाँ “सटीकता” का अर्थ चुने गए हानि फलन के तहत कम अपेक्षित हानि है। इसका अर्थ यह नहीं कि पूर्वानुमान सत्य है, कारण-परिणाम समझाता है, वितरण के हर हिस्से में अच्छी तरह कैलिब्रेट है या हर निर्णय के लिए उपयोगी है।

मान लें कि मॉडल A और B एक ही समय पर उसी भविष्य के प्रतिफल का पूर्वानुमान करते हैं। DM परीक्षण यह नहीं जांचता कि किसी मॉडल का गुणांक शून्य है या नहीं; यह भी नहीं जांचता कि अनुमान नमूने में दोनों मॉडल के फिट किए गए मान बराबर हैं। यह मूल्यांकन नमूने में देखता है कि उनकी पूर्वानुमान त्रुटियाँ चुनी गई हानि में कैसे बदलती हैं।

सांख्यिकी की व्याख्या से पहले डिज़ाइन तय करें: लक्ष्य, पूर्वानुमान आरंभ, क्षितिज, हानि फलन, अनुपलब्ध परिणामों का उपचार, पुनःअनुमान का समय और एक-पक्षीय या दो-पक्षीय वैकल्पिक परिकल्पना। ये चुनाव जांचे जाने वाले प्रश्न को तय करते हैं। यदि मॉडल के बीच चुनाव अलग हैं, तो हानि-अंतर समान शर्तों की तुलना नहीं रहेगा।

पूर्वानुमान आरंभ $t$ पर वास्तविक लक्ष्य $y_t$ हो तथा A और B के पूर्वानुमान क्रमशः $\hat y_{A,t}$ और $\hat y_{B,t}$ हों। त्रुटियाँ $e_{A,t}=y_t-\hat y_{A,t}$ और $e_{B,t}=y_t-\hat y_{B,t}$ हैं। हानि फलन $L$ के लिए तारीख-स्तर का हानि-अंतर है:

$$ d_t=L(e_{A,t})-L(e_{B,t}) $$

इस संकेत-परंपरा में $d_t$ का ऋणात्मक औसत बताता है कि A की देखी गई हानि कम थी; धनात्मक औसत B की कम हानि बताता है। जनसंख्या शून्य परिकल्पना $E[d_t]=0$ है। दो-पक्षीय विकल्प किसी भी दिशा में अंतर पूछता है; एक-पक्षीय विकल्प पहले से तय दिशा जांचता है। विजेता देखने के बाद दिशा न चुनें।

वर्ग हानि $L(e)=e^2$ में बड़ी चूकें असमान रूप से अधिक मायने रखती हैं। निरपेक्ष हानि $L(e)=|e|$ में एक बड़ी चूक रैंकिंग पर कम हावी होती है। क्वांटाइल हानि असममित लक्ष्य के अनुकूल हो सकती है। अलग हानि फलन मॉडल रैंकिंग पलट सकता है, इसलिए हानि बताए बिना “सबसे अच्छा पूर्वानुमान” का एक अर्थ नहीं है। Tashman की नमूने से बाहर पूर्वानुमान परीक्षणों की समीक्षा भी कहती है कि मूल्यांकन विधि पूर्वानुमान समस्या के अनुरूप होनी चाहिए (Tashman, 200000065-0))।

दोनों मॉडलों के लिए समान पूर्वानुमान आरंभ और वास्तविक नतीजे इस्तेमाल करें। यदि कठिन तारीख का पूर्वानुमान एक मॉडल में नहीं है, तो सिर्फ उसी मॉडल से उस तारीख को चुपचाप हटाने से तुलना का नमूना बदलता है। वास्तविक तैनाती में मॉडल हर महीने नए डेटा से दोबारा अनुमानित होगा तो मूल्यांकन पूर्वानुमान भी उसी नियम से बनाएं; स्थिर पैरामीटर वाला अभ्यास अलग प्रश्न का उत्तर देता है। Walk-forward सत्यापन बताता है कि भविष्य का डेटा इस्तेमाल किए बिना क्रमिक पूर्वानुमान कैसे बनते हैं।

चार काल्पनिक पूर्वानुमान आरंभ लें और लक्ष्य तथा त्रुटियों को प्रतिशत-बिंदु में मापें। A की त्रुटियाँ $[1,2,0,1]$ और B की $[2,1,1,1]$ हैं। हर जोड़ी एक ही वास्तविक प्रतिफल और पूर्वानुमान अंतराल को दर्शाती है। ये संख्याएँ केवल गणना दिखाने के लिए बनाई गई हैं।

वर्ग हानि में A की हानियाँ $[1,4,0,1]$ हैं और माध्य वर्ग त्रुटि $(1+4+0+1)/4=1.50$ वर्ग प्रतिशत-बिंदु है। B की हानियाँ $[4,1,1,1]$ हैं और उसकी माध्य वर्ग त्रुटि $(4+1+1+1)/4=1.75$ है। इन चार नतीजों में A का MSE 0.25 वर्ग प्रतिशत-बिंदु कम है।

तारीख-स्तर के अंतर $d_t=L(e_{A,t})-L(e_{B,t})$ हैं $[-3,3,-1,0]$। उनका औसत $(-3+3-1+0)/4=-0.25$ है, जो A के औसत MSE में से B का औसत MSE घटाने के बराबर है। ऋणात्मक संकेत इस परिभाषा में A के पक्ष में है, लेकिन यह नहीं बताता कि अंतर नमूना शोर से बड़ा है या नहीं। चार पूर्वानुमान जोड़ियाँ ठोस सांख्यिकीय प्रमाण के लिए पर्याप्त नहीं हैं।

हानि की परिभाषा “बेहतर” का अर्थ भी बदलती है। अलग काल्पनिक उदाहरण में C की निरपेक्ष त्रुटियाँ $[0,0,0,3]$ और D की $[1,1,1,1]$ हैं। निरपेक्ष हानि में औसत C के लिए 0.75 और D के लिए 1 है, इसलिए C बेहतर है। वर्ग हानि में C का औसत 2.25 और D का 1 है, इसलिए D बेहतर है। कौन सी गलती अधिक महत्वपूर्ण है, यह तय किए बिना परीक्षण असहमति नहीं सुलझा सकता।

<!-- Illustration placement: after this section; text-free conceptual scene showing two forecast paths against one realized path, with visibly different miss distances and no labels or numerical claims. -->

नमूना औसत हानि-अंतर $\bar d=T^{-1}\sum_{t=1}^{T}d_t$ है, जहाँ $T$ युग्मित पूर्वानुमान नतीजों की संख्या है। इसका मानक त्रुटि $d_t$ के दीर्घकालीन विचरण पर निर्भर करता है, केवल एक तारीख के विचरण पर नहीं। परीक्षण सांख्यिकी का सामान्य रूप है:

$$ DM=\frac{\bar d}{\sqrt{\widehat{\Omega}/T}} $$

$\widehat{\Omega}$ हानि-अंतर श्रृंखला के दीर्घकालीन विचरण का अनुमान है। यदि तारीखें स्वतंत्र हों, चुने गए आकलक के तहत यह $d_t$ के विचरण के करीब होगा। लेकिन पूर्वानुमान हानियाँ अक्सर समूहों में आती हैं: उच्च अस्थिरता में दोनों मॉडलों की त्रुटियाँ बढ़ सकती हैं; $h$ कदम आगे का लक्ष्य आस-पास की त्रुटि खिड़कियों में वास्तविक प्रतिफल साझा करा सकता है। धनात्मक निर्भरता अनदेखी करने से मानक त्रुटि कम अनुमानित और प्रमाण जरूरत से अधिक मजबूत दिख सकता है।

एक आम HAC निर्माण केंद्रित हानि-अंतर की स्वसहप्रसरण $\hat\gamma_k$ का अनुमान लगाकर उन्हें $\widehat{\Omega}=\hat\gamma_0+2\sum_{k=1}^{q}w_k\hat\gamma_k$ के रूप में जोड़ता है। Bartlett भार और बैंडविड्थ $q$ तक $w_k=1-k/(q+1)$ है। Newey और West ने विषम-विचरण और स्वसहसंबंध के प्रति सुसंगत, धनात्मक अर्ध-निश्चित सहप्रसरण आकलक विकसित किया (Newey and West)। कर्नेल और बैंडविड्थ कार्यान्वयन विकल्प हैं: उन्हें बताएं और पूर्वानुमान डिज़ाइन के अनुसार चुनें, मनचाहा p-value पाने के लिए नहीं। HAC मानक त्रुटि गाइड व्यापक सहप्रसरण अनुमान समस्या समझाती है।

नियमित शर्तों के तहत मानक DM सांख्यिकी की तुलना आसन्न मानक सामान्य वितरण से की जाती है। बड़ा निरपेक्ष मान बताता है कि देखी गई औसत हानि का अंतर अनुमानित अनिश्चितता के मुकाबले बड़ा है। संकेत बताता है कि तय क्रम में किस मॉडल की हानि कम थी; p-value अंतर का आकार या आर्थिक मूल्य नहीं मापता। यह शून्य परिकल्पना सही होने या भविष्य में पूर्वानुमान सफल होने की संभावना भी नहीं है।

जब हर अवधि पर कई अवधि आगे के लक्ष्य का पूर्वानुमान होता है, मूल्यांकन खिड़कियाँ ओवरलैप करती हैं। उदाहरण के लिए, अगले तीन महीनों के संचयी प्रतिफल का मासिक पूर्वानुमान एक महीने बाद जारी पूर्वानुमान के साथ तीन में से दो मासिक प्रतिफल साझा करता है। मासिक प्रतिफल स्वतंत्र हों तब भी ओवरलैप पूर्वानुमान त्रुटियों और हानि-अंतर में सीरियल सहसंबंध ला सकता है।

मूल $h$-कदम सेटअप में विचरण गणना में कम से कम lag $h-1$ तक निर्भरता शामिल करना उचित है। यह सार्वभौमिक बैंडविड्थ नियम नहीं: रोलिंग पुनःअनुमान, स्थायी लक्ष्य, अस्थिरता समूह और चुना हानि फलन अतिरिक्त निर्भरता बना सकते हैं। क्षितिज, पूर्वानुमान आरंभों के बीच अंतर और HAC कटऑफ या अन्य विचरण आकलक का कारण दर्ज करें। पूर्वानुमान पंक्तियों की संख्या स्वतः स्वतंत्र प्रमाणों की संख्या नहीं होती।

मूल आसन्न परीक्षण मध्यम आकार के नमूनों में वास्तविक महत्त्व-स्तर गलत रख सकता है। Harvey, Leybourne और Newbold ने औसत वर्ग पूर्वानुमान त्रुटियों की तुलना के लिए सीमित-नमूना संशोधन प्रस्तावित किया (HLN, 199700719-4))। क्षितिज $h$ और $T$ पूर्वानुमानों के लिए प्रचलित रूप DM सांख्यिकी को इस गुणक से स्केल करता है:

$$ DM_{HLN}=DM\sqrt{\frac{T+1-2h+h(h-1)/T}{T}} $$

संशोधित सांख्यिकी की तुलना आम तौर पर $T-1$ स्वतंत्रता-डिग्री वाले t-वितरण से होती है। $T=60$ और $h=5$ पर गुणक लगभग $0.925$ है। उदाहरण केवल गणना दिखाता है; यह नहीं बताता कि किसी खास मॉडल के लिए 60 अवलोकन पर्याप्त हैं या मान्यताएँ पूरी हैं। संशोधन एक विशिष्ट छोटे-नमूने की समस्या संभालता है, डेटा रिसाव, अमान्य लक्ष्य, बिना मॉडल की गई निर्भरता, बार-बार मॉडल चयन या गलत हानि विनिर्देशन को नहीं सुधारता।

मॉडल A, मॉडल B का सीमित रूप हो सकता है; जैसे B में A के अलावा अतिरिक्त भविष्यवक्ता हों। शून्य परिकल्पना के तहत अतिरिक्त चर का जनसंख्या पूर्वानुमान मूल्य न हो, तब भी उनके अनुमानित गुणांक B के पूर्वानुमानों में शोर जोड़ सकते हैं। इसलिए बड़े मॉडल का देखा गया MSE अधिक हो सकता है, भले अतिरिक्त चर अंतर्निहित पूर्वानुमान प्रक्रिया न सुधारें। गैर-नेस्टेड प्रतिस्पर्धियों की समान-सटीकता वाली दलील बिना बदलाव लागू नहीं होती।

Clark और West ने नेस्टेड मॉडल में समान पूर्वानुमान सटीकता के लिए लगभग सामान्य परीक्षण विकसित किए और बड़े मॉडल से आए अनुमान-शोर के लिए वर्ग त्रुटि तुलना समायोजित की (Clark and West, 2007)। यह हर DM परीक्षण का सार्वभौमिक विकल्प नहीं; यह खास नेस्टेड मॉडल प्रश्न, हानि और आसन्न विन्यास के लिए है। जांचें कि एक मॉडल दूसरे में नेस्टेड है या नहीं और उसी अनुरूप शून्य-वितरण वाला परीक्षण चुनें। यह न मानें कि सॉफ़्टवेयर का सामान्य DM p-value हर मॉडल संबंध को संभालता है।

अन्य अंतर भी अहम हैं। कम MSE वाला पूर्वानुमान अंतराल कवरेज, प्रायिकता कैलिब्रेशन, दिशा-सटीकता या अगले निर्णय को बेहतर न बनाए। नमूने से बाहर तुलना में भी अनुचित holdout हो सकता है यदि मॉडल-विकास के दौरान उसे बार-बार देखा गया हो। मॉडल संबंध, अनुमान पद्धति, क्षितिज और हर पूर्वानुमान बनाने में इस्तेमाल डेटा बताएं।

DM नतीजा पूर्वानुमान हानि का मूल्यांकन करता है; ट्रेडिंग निर्णय रिटर्न और जोखिम प्रक्रिया का। अगली अवधि के प्रतिफल का कम MSE यह गारंटी नहीं देता कि संकेत काफी बार सही दिशा चुनेगा, स्थिति का आकार उचित होगा या टर्नओवर, स्प्रेड, बाज़ार प्रभाव, शुल्क, उधार, फंडिंग और निष्पादन देरी सह पाएगा। उलट, थोड़ा अधिक औसत वर्ग त्रुटि वाला पूर्वानुमान भी निर्णय सुधार सकता है यदि रणनीति का जोखिम खुला होने के समय वह अधिक सटीक हो। ऐसे दावे के लिए हानि फलन को सुविधाजनक सामान्य मेट्रिक के बजाय वास्तविक निर्णय दर्शाना पड़ सकता है।

सांख्यिकीय रूप से महत्त्वपूर्ण अंतर आर्थिक रूप से छोटा हो सकता है। केवल p-value या विजेता लेबल नहीं, बल्कि समझने योग्य इकाइयों में औसत हानि-अंतर का आकार और उसकी अनिश्चितता बताएं। पोर्टफोलियो नतीजे का दावा हो तो पूरी स्थिर निर्णय-नियम को उपयुक्त बाद के डेटा पर यथार्थवादी ट्रेडिंग मान्यताओं के साथ फिर चलाएं और शुद्ध नतीजे अलग रिपोर्ट करें। DM इन नतीजों की गणना या लागत का हिसाब नहीं करता, जब तक हानि फलन खास तौर पर ऐसा न बनाया गया हो।

यह परीक्षण कई मॉडल, लक्ष्य, क्षितिज, हानि फलन, तारीख सीमाएँ या ट्रेडिंग नियम खोजकर केवल सबसे अनुकूल तुलना रिपोर्ट करने की समस्या भी नहीं सुधारता। बार-बार जोड़ी परीक्षण अलग चयन समस्या बनाते हैं। खोज का रिकॉर्ड रखें और दावों के समूह के अनुरूप बहु-परीक्षण विधि लगाएँ। बहु-परीक्षण और false-discovery rate गाइड बताती है कि व्यापक खोज के बाद सामान्य सीमाएँ क्यों भटका सकती हैं। DM मूल्यांकन का साधन है, डेटा-स्नूपिंग सुधार नहीं।

स्पष्ट रिपोर्ट में लक्ष्य और इकाइयाँ, सूचना कटऑफ, पूर्वानुमान आरंभ, क्षितिज, पुनःअनुमान समय-सारणी और साझा मूल्यांकन नमूना शामिल हों। हानि फलन और $d_t$ का संकेत, हर मॉडल की औसत हानि और औसत अंतर, पहले से चुनी गई एक या दो-पक्षीय परिकल्पना, विचरण आकलक, कर्नेल, बैंडविड्थ, परीक्षण सांख्यिकी, संदर्भ वितरण, p-value और उचित होने पर विश्वास अंतराल या अनिश्चितता माप दें।

यह भी बताएं कि मॉडल नेस्टेड हैं या नहीं, गायब नतीजे और चरम मान कैसे संभाले, कितने वैकल्पिक विनिर्देश देखे और मूल्यांकन अवधि ने मॉडल चयन को प्रभावित किया या नहीं। अंतर का आकार दिखाएँ, केवल सीमा पार हुई या नहीं यह नहीं। $d_t$ का समय-क्रम या संचयी हानि-अंतर का ग्राफ औसत में छिपे शासन-परिवर्तन दिखा सकता है, लेकिन निर्भरता-सचेत अनुमान की जगह नहीं लेता।

मात्रात्मक ट्रेडिंग में पूर्वानुमान से कार्रवाई तक का नक्शा भी दें: संकेत सीमा, स्थिति आकार, रीबैलेंस समय, जोखिम नियंत्रण, निष्पादन मूल्य और लागत मान्यताएँ। DM केवल दिए गए पूर्वानुमान-हानि क्रम की तुलना करता है। यह डेटा पाइपलाइन प्रमाणित नहीं करता, अलग मूल्यांकन नमूनों को तुलनीय नहीं बनाता, कारणता नहीं सिद्ध करता और ऐतिहासिक रैंकिंग कायम रहने की गारंटी नहीं देता। इसे समय-क्रम का पालन करने वाले पूर्वानुमान डिज़ाइन और निर्णय-स्तर के स्पष्ट मूल्यांकन के साथ मॉडल समीक्षा के एक पारदर्शी हिस्से के रूप में इस्तेमाल करें।