जियाकोमिनी–व्हाइट परीक्षण: सशर्त पूर्वानुमान सटीकता

मान लें कि परीक्षण नमूने में पूर्वानुमान A का औसत लॉस, B से कम है। इस औसत में एक उपयोगी पैटर्न छिपा हो सकता है: शांत बाज़ार में A बेहतर हो, जबकि ऊँची अस्थिरता के समय B बेहतर हो। अगर सवाल है कि औसतन कौन-सा पूर्वानुमान बेहतर रहा, तो अशर्त तुलना उपयुक्त है। अगर सवाल है कि पूर्वानुमान की तारीख पर ज्ञात जानकारी यह बताने में मदद करती है कि कौन बेहतर रहेगा, तो लक्ष्य सशर्त पूर्वानुमान क्षमता है।

जियाकोमिनी और व्हाइट इसे एक निर्दिष्ट लॉस फ़ंक्शन और सूचना-समुच्चय के तहत पूर्वानुमान विधियों की तुलना के रूप में प्रस्तुत करते हैं। लॉस पूर्वानुमान कार्य के अनुरूप हो तो यह ढाँचा बिंदु, अंतराल, प्रायिकता या घनत्व पूर्वानुमानों पर लागू हो सकता है। प्रत्येक पूर्वानुमान बनाने की अनुमान-विधि भी उस विधि का हिस्सा है। इसलिए चलती विंडो, निश्चित प्रशिक्षण नमूना या भार देने का नियम मूल्यांकित पद्धति का अंग है, न कि ऐसा मामूली विवरण जिसे नतीजे देखने के बाद बदल दें (Giacomini और White, 2006).

यह सवाल संरचनात्मक बदलाव के परीक्षणों से जुड़ा है, पर उनके समान नहीं है। सशर्त परीक्षण पूछता है कि क्या सापेक्ष पूर्वानुमान लॉस चुनी गई जानकारी से व्यवस्थित रूप से जुड़ा है। बदलाव परीक्षण पूछता है कि क्या पैरामीटर या कोई संबंध किसी अज्ञात या निर्दिष्ट समय पर बदल गया। Diebold–Mariano मार्गदर्शिका औसत लॉस की अशर्त तुलना पर है; सशर्त सवाल के लिए शर्तकारी जानकारी साफ़ तौर पर तय करनी होती है।

मान लें कि (Y_{t+1}) लक्ष्य है, जो पूर्वानुमान-मूल (t) के बाद देखा जाता है। पूर्वानुमान ŷA,t+1 और ŷB,t का लक्ष्य, अवधि, इकाई और सूचना कटऑफ़ एक जैसा होना चाहिए। ऐसे लॉस फ़ंक्शन (L) के लिए जिसमें कम मान बेहतर है, लॉस का अंतर इस तरह परिभाषित करें:

dₜ₊₁ = L(Yₜ₊₁, ŷA,ₜ₊₁) − L(Yₜ₊₁, ŷB,ₜ₊₁)

इस चिह्न परंपरा में धनात्मक मान का अर्थ है कि A का लॉस अधिक था और उस पूर्वानुमान-मूल पर B बेहतर था; ऋणात्मक मान A के पक्ष में है। हर पूर्वानुमान-मूल के लिए एक पंक्ति रखें और दोनों पूर्वानुमानों को उसी वास्तविक मान के सामने जाँचें। उस समय उपलब्ध पूर्वानुमान, डेटा संस्करण और मॉडल संस्करण सुरक्षित रखें। संशोधित इनपुट या बाद में मिली जानकारी से पुराने पूर्वानुमान दोबारा न बनाएँ।

शर्तकारी चर भी पूर्वानुमान-मूल पर ज्ञात होने चाहिए। उदाहरणों में पीछे के समय का अस्थिरता अनुमान, पहले घोषित घटना का संकेतक, पिछला लॉस-अंतर, या केवल पुराने अवलोकनों से निकाला गया बाज़ार-स्थिति चर शामिल हैं। (t) के बाद मापा गया चर बिना भविष्य की जानकारी के पक्षपात के यह नहीं समझा सकता कि (t+1) पर कौन-सा पूर्वानुमान बेहतर था।

स्कोर लक्ष्य के अनुरूप होना चाहिए। सशर्त-माध्य पूर्वानुमान के लिए वर्ग त्रुटि एक विकल्प है, पर यह अस्थिरता, क्वांटाइल या घनत्व पूर्वानुमान के लिए अपने-आप उपयुक्त नहीं होती। अगर एक मॉडल विचरण और दूसरा मानक विचलन का पूर्वानुमान देता है, तो पहले दोनों को एक ही मात्रा के पूर्वानुमान में बदलें। परीक्षण गलत ढंग से तय किए गए सवाल को ठीक नहीं कर सकता।

अस्थिरता पूर्वानुमानों के लिए दोनों को साकार विचरण की एक ही परिभाषा और एक ही नमूना-अंतराल पर जाँचें। अगर एक पूर्वानुमान केवल इंट्राडे कीमतों को शामिल करता है और दूसरा रात भर के रिटर्न भी शामिल करता है, तो लॉस का अंतर पूर्वानुमान कौशल के बजाय अलग लक्ष्य दिखा सकता है। बाज़ार बंद रहने के दौरान के उतार-चढ़ाव, नमूना आवृत्ति, अनुपलब्ध अवलोकन और साकार माप को कैसे संभालेंगे यह तय करें और दोनों पर समान नियम लगाएँ। साकार प्रॉक्सी में मापन शोर हो तो वह दोनों लॉस स्कोर को प्रभावित करता है और व्याख्या में शामिल होना चाहिए।

मान लें कि (mathcal{G}_t) वह सूचना-समुच्चय है जिस पर तुलना को सशर्त किया गया है। आदर्शीकृत शून्य परिकल्पना है:

H₀: E[dₜ₊₁ | 𝒢ₜ] = 0

इसका अर्थ है कि निर्दिष्ट जानकारी दिए जाने पर अपेक्षित लॉस-अंतर शून्य है। एक-अवधि GW परीक्षण इस सशर्त कथन को पहले से चुने गए परीक्षण फ़ंक्शन वेक्टर (h_t) के मोमेंट्स में बदलता है। हर फ़ंक्शन उस जानकारी से मापनीय होना चाहिए जो समय (t) पर उपलब्ध है:

H₀,ₕ: E[hₜ dₜ₊₁] = 0

(h_t) में स्थिरांक औसत लॉस-अंतर शामिल करता है। अन्य तत्व बाज़ार-स्थिति, पिछला सापेक्ष लॉस या नतीजे देखने से पहले चुना गया गैर-रैखिक रूपांतरण हो सकते हैं। उदाहरण के लिए, (h_t=(1,S_t)'), जहाँ (S_t) समय (t) पर ज्ञात ऊँची अस्थिरता का द्विआधारी संकेतक है, स्थिर मोमेंट और उस स्थिति से लॉस-अंतर के जुड़ाव—दोनों को जाँचता है।

सीमित परीक्षण फ़ंक्शन-समुच्चय केवल उन्हीं मोमेंट्स की जाँच करता है जिन्हें वह परिभाषित करता है। शून्य परिकल्पना अस्वीकार होने का अर्थ है कि चुने गए मोमेंट्स में कम-से-कम एक परीक्षण की धारणाओं के तहत शून्य से मेल नहीं खाता। इससे न तो हर स्थिति में सर्वश्रेष्ठ मॉडल मिलता है, न यह सिद्ध होता है कि हर संभावित स्थिति-चर मायने रखता है। अस्वीकार न होना समान सशर्त प्रदर्शन का प्रमाण नहीं है। केवल स्थिरांक वाला परीक्षण अशर्त मोमेंट की तुलना करता है, हर संभावित शर्त की व्यापक खोज नहीं।

कौन-सा मॉडल जीता यह देखने से पहले लॉस, इंस्ट्रूमेंट, रूपांतरण, नमूना और पूर्वानुमान अवधि चुनें। नतीजे देखने के बाद कई स्थिति-संकेतक, सीमाएँ और लैग जोड़ना नई खोज पैदा करता है। सशर्त परीक्षण अपने-आप इस चयन का सुधार नहीं करता।

हर स्थिति-चर बनाने का समय भी तय करें। अगर “ऊँची अस्थिरता” पूरे नमूने की अस्थिरता के ऊपरी 20 प्रतिशत को कहें, तो भविष्य के अवलोकन पुराने पूर्वानुमान-मूलों की सीमा तय करने में शामिल हो जाएँगे। हर मूल पर उपलब्ध जानकारी से ही सीमा का अनुमान लगाएँ या उस तारीख से पहले घोषित नियम अपनाएँ। सतत स्थिति-चर की इकाई और केंद्रित या मानकीकृत करने के नियम पहले तय करें। लगभग समान संकेतक मोमेंट शर्तों को दोहरा सकते हैं और सहप्रसरण मैट्रिक्स को उलटना कठिन बना सकते हैं; इसलिए स्पष्ट अर्थ वाला सबसे छोटा समुच्चय रखें।

(q) परीक्षण फ़ंक्शन के लिए मोमेंट वेक्टर (g_{t+1}=h_t d_{t+1}) बनाएँ। उसका नमूना माध्य है:

ḡ = (1/n) Σₜ gₜ₊₁

एक-अवधि GW सांख्यिकी वाल्ड रूप में है:

GW = n ḡ′ Ω̂⁻¹ ḡ

यहाँ (hatOmega) मोमेंट वेक्टर की सहप्रसरण मैट्रिक्स का अनुमान है। शून्य परिकल्पना और शोध-पत्र की नियमितता शर्तों के तहत यह सांख्यिकी (q) स्वतंत्रता-डिग्री वाले असिम्प्टोटिक काई-वर्ग संदर्भ वितरण का पालन करती है। इसलिए परीक्षण फ़ंक्शन की संख्या संदर्भ वितरण और परीक्षण शक्ति को प्रभावित कर सकती है। बहुत से कमज़ोर या दोहराए गए इंस्ट्रूमेंट उपयोगी जानकारी जोड़े बिना सहप्रसरण अनुमान को अस्थिर कर सकते हैं।

एक-अवधि व्यवस्था में शून्य परिकल्पना मोमेंट वेक्टर के लिए मार्टिंगेल-अंतर संरचना लागू करती है, जिससे मूल परीक्षण नमूना-द्वितीय-मोमेंट अनुमान का उपयोग कर सकता है। अन्य अवधियों, एक-दूसरे पर चढ़ते परिणामों या इस व्यवस्था से अलग स्थिति में, विचरण अनुमानक चुने गए परीक्षण की धारणाओं और निर्भरता-संरचना के अनुरूप होना चाहिए। किसी दूसरे परीक्षण का HAC बैंडविड्थ अपने-आप कॉपी करने के बजाय चुने गए कार्यान्वयन की विधि अपनाएँ। Newey और West (1987) का अनुमानक समेत सामान्य HAC सहप्रसरण विधियाँ उन परिस्थितियों के उपकरण हैं जिन्हें उनकी ज़रूरत है; GW के लिए सार्वभौमिक बैंडविड्थ निर्देश नहीं। नतीजे की विश्वसनीयता सहप्रसरण अनुमान और पूर्वानुमान डिज़ाइन पर भी निर्भर है।

यह भी जाँचें कि चुने गए मोमेंट्स के लिए (Ω̂) का अनुमान संभव है या नहीं। लगभग समान परीक्षण फ़ंक्शन, किसी स्थिति में बहुत कम अवलोकन वाला संकेतक या बहुत सारी अंतःक्रियाएँ मैट्रिक्स को एकवचन या अस्थिर बना सकती हैं। ऐसी स्थिति में छोटा डेटा संशोधन भी उसका व्युत्क्रम बहुत बदल सकता है और परीक्षण सांख्यिकी को बिगाड़ सकता है। हर फ़ंक्शन का संबंध किसी स्थिति या प्रदर्शन-अंतर से स्पष्ट होना चाहिए; उनकी संख्या और मोमेंट सहप्रसरण रिपोर्ट करें। नतीजा देखने के बाद अनुपयोगी लगी फ़ंक्शन हटाना भी चयन का चरण है और बताना चाहिए।

p-मान, संदर्भ वितरण के तहत बताई गई मोमेंट पाबंदियों के विरुद्ध साक्ष्य है। यह न तो A या B के सही मॉडल होने की प्रायिकता है, न किसी ट्रेडिंग नियम के लाभदायक होने की संभावना। अस्वीकृति का अर्थ स्पष्ट करने के लिए सांख्यिकी, स्वतंत्रता-डिग्री, p-मान और जाँचे गए सटीक मोमेंट रिपोर्ट करें।

<!-- learn:illustration -->

एक-अवधि के आठ काल्पनिक पूर्वानुमान-मूल मानें। (S_t=0) शांत स्थिति और (S_t=1) ऊँची अस्थिरता की स्थिति दर्शाए। मानें कि लॉस-अंतर (d_{t+1}=L_A-L_B) चार शांत मूलों पर −2, −2, −2, −2 और चार ऊँची अस्थिरता वाले मूलों पर +2, +2, +2, +2 है। ऋणात्मक अंतर A के पक्ष में और धनात्मक B के पक्ष में हैं।

आठों मूलों का औसत शून्य है, इसलिए इस छोटे उदाहरण में अशर्त लॉस-अंतर नहीं दिखता। शांत स्थिति का औसत −2 और ऊँची अस्थिरता का औसत +2 है। स्थिति बदलते ही सापेक्ष क्रम उलट जाता है। (h_t=(1,S_t)') वाला परीक्षण स्थिर मोमेंट और ऊँची अस्थिरता मोमेंट शामिल करता है, जो इस पैटर्न को पकड़ सकते हैं।

ये आठ मान गणना समझाने का उदाहरण हैं, विश्वसनीय सांख्यिकीय निष्कर्ष के लिए पर्याप्त अवलोकन नहीं। वास्तविक डेटा में पूर्वानुमान कैसे अनुमानित किए गए, स्थिति-चर पहले तय था या नहीं, कितने मूल उपलब्ध हैं और लॉस-अंतर मोमेंट समय के साथ कैसे बदलते हैं—इन सबको शामिल करना होगा। स्थिति के अनुसार ग्राफ़ में अंतर दिखना यह प्रमाण नहीं कि पैटर्न आगे भी बना रहेगा।

मूल GW असिम्प्टोटिक्स पूर्वानुमान-अनुमान की अनिश्चितता बनाए रखता है: बाहरी-नमूना पूर्वानुमानों की संख्या बढ़ने पर अनुमान-विंडो का अधिकतम आकार सीमित रहता है। चलती विंडो और निश्चित अनुमान नमूना इस मूल व्यवस्था में आते हैं। विंडो का आकार और डेटा पर निर्भर विंडो-चयन नियम हर पूर्वानुमान विधि का हिस्सा हैं; इन्हें पहले तय करके रिपोर्ट करना चाहिए।

जब पूर्वानुमान मॉडल दोबारा अनुमानित किए जाते हैं, यह बात महत्वपूर्ण है। पैरामीटर अनुमान को अनदेखा करने वाली तुलना उस अनिश्चितता को छोड़ सकती है जो अतीत के डेटा से सीखने में आती है। GW बताई गई शर्तों के तहत नेस्टेड और नॉन-नेस्टेड मॉडल से बने पूर्वानुमानों की तुलना कर सकता है, लेकिन हर बढ़ती-विंडो कार्यान्वयन या हर अनुमानक के लिए वही परिणाम सुनिश्चित नहीं करता। मूल एक-अवधि ढाँचे में सामान्य बढ़ती विंडो सीमित-विंडो धारणा के बाहर है। व्यवस्था अलग हो तो वास्तविक पूर्वानुमान निर्माण के लिए निकाला गया परिणाम इस्तेमाल करें।

यह परीक्षण उपयुक्त विंडो भी नहीं चुनता। छोटी विंडो हाल की स्थितियों के अनुसार ढल सकती है, लेकिन कम अवलोकन लेती है; लंबी या बढ़ती विंडो अनुमान स्थिर कर सकती है, पर पुराने संबंध बनाए रख सकती है। पहले से नियोजित मूल्यांकन में विकल्पों की तुलना करें और विंडो चयन प्रक्रिया भी दर्ज करें। Giacomini और Rossi (2010) अस्थिर वातावरण में सापेक्ष पूर्वानुमान प्रदर्शन के समय के साथ बदलने की अलग जाँच विकसित करते हैं। यह समय-पथ का सवाल संबंधित है, लेकिन मूल GW सशर्त परीक्षण वाली सांख्यिकी नहीं है।

सशर्त अस्वीकृति अपने-आप ऐसी ट्रेडिंग रणनीति नहीं देती जो रियल टाइम में सही पूर्वानुमान चुने। मूल्यांकन डेटा में इंस्ट्रूमेंट लॉस-अंतर से जुड़ा हो सकता है, फिर भी उससे स्थिर या लागू की जा सकने वाली स्विचिंग नियम न निकले। मौजूदा जानकारी से पूर्वानुमान चुनना हो तो केवल पुराने अवलोकनों से नियम तय करें और बाद की, पहले न इस्तेमाल की गई पूर्वानुमान-मूल श्रृंखला पर उसका मूल्यांकन करें; अनुमान और निर्णय की अनिश्चितता भी शामिल करें।

Diebold–Mariano परीक्षण पूछता है कि मूल्यांकन नमूने में दो पूर्वानुमानों का औसत लॉस समान है या नहीं। GW पूछता है कि चुनी गई जानकारी उनके सापेक्ष लॉस से जुड़ी है या नहीं; एक अशर्त तुलना को विशेष मोमेंट पाबंदी के रूप में शामिल किया जा सकता है। दो-स्थिति उदाहरण की तरह, औसत स्कोर समान हो सकता है जबकि स्थिति के अनुसार सापेक्ष प्रदर्शन अलग हो।

अगर पूर्वानुमान नेस्टेड मॉडल से हैं और सवाल खास तौर पर समान mean squared prediction error का है, तो Clark–West समायोजन जैसा नेस्टेड-मॉडल तरीका अलग शून्य परिकल्पना और अनुमान-शोर की समस्या देखता है। अगर कई ट्रेडिंग नियम या पूर्वानुमानों की खोज की गई और सवाल यह है कि क्या कोई भी उम्मीदवार बेहतर पूर्वानुमान क्षमता रखता है, तो पूरे उम्मीदवार-समूह के लिए White Reality Check या Hansen SPA परीक्षण जैसी प्रक्रिया चाहिए। चुनी गई एक जोड़ी पर सशर्त परीक्षण व्यापक खोज को मिटाता नहीं है।

सापेक्ष सटीकता समय के साथ बदलती दिखे तो इससे कोई खास बदलाव-तारीख साबित नहीं होती। अगर शोध का सवाल चुने गए इंस्ट्रूमेंट से जुड़ाव के बजाय सापेक्ष प्रदर्शन के समय-पथ के बारे में है, तो स्थानीय अस्थिरता या पलटाव परीक्षण अधिक उपयुक्त हो सकता है। Giacomini और Rossi (2010) ऐसी पूर्वानुमान तुलनाओं का अध्ययन करते हैं। सवाल के अनुरूप विधि चुनें; हर अस्वीकृति को व्यवस्था-आधारित ट्रेडिंग रणनीति का प्रमाण न मानें।

सशर्त परीक्षणों के लिए पर्याप्त डेटा चाहिए। नमूने को शांत और अस्थिर स्थितियों में बाँटने पर हर तुलना के लिए अवलोकन कम हो जाते हैं। अधिक फ़ंक्शन जोड़ने से मोमेंट और स्वतंत्रता-डिग्री बढ़ते हैं। यदि कई शर्तें सापेक्ष लॉस से कमज़ोर रूप से जुड़ी हों, तो वास्तविक सशर्त अंतर होने पर भी परीक्षण की शक्ति कम हो सकती है।

McCracken का सेंट लुईस फ़ेडरल रिज़र्व बैंक कार्यपत्र सरल वर्गाकार-लॉस उदाहरण में GW परीक्षण के अस्तित्व, आकार और शक्ति का अध्ययन करता है। सिमुलेशन में जाँची गई व्यवस्थाओं में परीक्षण का आकार ठीक रह सकता है जबकि शक्ति आम तौर पर कम थी (McCracken, 2020). यह व्याख्या के लिए चेतावनी है, हर अनुप्रयोग की शक्ति का सार्वभौमिक संख्यात्मक अनुमान नहीं। अस्वीकृति न होना सीमित जानकारी या कम शक्ति का नतीजा हो सकता है; इसे इस बात का प्रमाण न कहें कि पूर्वानुमान एक-दूसरे के बदले इस्तेमाल किए जा सकते हैं।

स्थिति-परिभाषा, सीमाएँ, अवधि, लॉस फ़ंक्शन और मूल्यांकन तारीखें बार-बार बदलकर आज़माने से संयोगवश नतीजा मिलने की संभावना बढ़ती है। सभी संभावित परीक्षण दर्ज करें और खोजपरक विश्लेषण को पहले से तय पुष्टिकरण नमूने से अलग रखें। अगर दावा है कि किसी रणनीति-समूह में एक रणनीति पूर्वानुमान देती है, तो उस पूरे समूह पर बहु-परीक्षण या डेटा-खोज के अनुरूप तरीका अपनाएँ। अधिक सशर्त इंस्ट्रूमेंट अपने-आप अधिक विश्वसनीय साक्ष्य नहीं बनाते।

कई पूर्वानुमान मॉडल की तुलना में समूह-स्तरीय प्रक्रिया, युग्म सशर्त परीक्षण से अलग सवाल का जवाब देती है। Model Confidence Set मार्गदर्शिका बताती है कि क्रमिक तुलना कैसे उन मॉडलों का समुच्चय बनाए रख सकती है जिन्हें चुने गए स्तर पर अलग नहीं माना जा सकता; यह GW विश्लेषण की शर्तें पहले तय करने की जगह नहीं लेती।

दोनों पूर्वानुमान विधियों के नाम, हर विधि का अनुमान कैसे किया गया, मॉडल नेस्टेड हैं या नहीं, लक्ष्य और अवधि तथा मूल्यांकन की तारीखें बताएँ। (d_{t+1}) का सटीक लॉस फ़ंक्शन और चिह्न परंपरा दें। (h_t) के हर तत्व, उसके निर्माण, उपलब्ध होने के समय और परिणाम देखने से पहले चुने जाने की जानकारी दें।

पूर्वानुमान-मूलों का क्रम, अनुमान-विंडो नियम, डेटा संस्करण, साझा नमूने का नियम, बाहरी-नमूना मूलों की संख्या, परीक्षण फ़ंक्शन की संख्या, सहप्रसरण अनुमानक, संदर्भ वितरण, परीक्षण सांख्यिकी, स्वतंत्रता-डिग्री और p-मान रिपोर्ट करें। बताएँ कि अवधियाँ एक-दूसरे पर चढ़ती हैं या नहीं और निर्भरता को कैसे संभाला। केवल परीक्षण नतीजा नहीं, औसत लॉस और लॉस-अंतर का सार भी दें।

आजमाए गए दूसरे इंस्ट्रूमेंट, सीमाएँ, विंडो, लॉस और पूर्वानुमान जोड़ियों की सूची दें। अगर उन्हीं अवलोकनों से मॉडल या शर्तकारी चर चुने गए और उन्हीं पर उनकी जाँच की गई, तो यह बताएँ। नतीजा पुष्टिकारी न होते हुए भी जानकारी दे सकता है; पारदर्शी रिपोर्ट से पाठक उसका दायरा समझकर अलग सत्यापन की योजना बना सकते हैं।