Pesaran–Timmermann परीक्षण: क्या दिशात्मक पूर्वानुमान अतिरिक्त जानकारी देता है?

मान लें कि मूल्यांकन नमूने की 60% तारीखों पर बाज़ार बढ़ता है। पूर्वानुमानकर्ता उन तारीखों में से 70% पर “ऊपर” कहता है। भले ही पूर्वानुमान और नतीजे असंबंधित हों, दोनों शृंखलाएँ अक्सर मेल खाएँगी: कुछ तारीखों पर दोनों ऊपर कहेंगी और कुछ पर दोनों नीचे। सही दिशा के अनुपात की 50% से सीधी तुलना इस असंतुलन को अनदेखा करेगी।

PT ढाँचा इस तुलना को स्पष्ट करता है। यह पूछता है कि क्या पूर्वानुमानित और वास्तविक दिशाएँ, स्वतंत्रता की स्थिति में उनकी अलग-अलग आवृत्तियों से अपेक्षित संख्या से अधिक बार मेल खाती हैं। यह दिशात्मक पूर्वानुमान-सूचना की जाँच है, रिटर्न के आकार, ट्रेड के समय या पूरी रणनीति के मूल्य का माप नहीं। Pesaran और Timmermann ने आकस्मिकता तालिकाओं पर आधारित पूर्वानुमान-प्रदर्शन परीक्षण प्रस्तुत किया; द्विआधारी 2×2 मामले में उनका परीक्षण स्वतंत्रता की जाँच के समतुल्य है {source:pesaranTimmermannDirectionalTests1992}।

मान लें कि वास्तविक नतीजे को ऊपर वर्गीकृत करने पर \(Y_t=1\), और नीचे वर्गीकृत करने पर \(Y_t=0\) है। पूर्वानुमान ऊपर कहे तो \(Z_t=1\), और नीचे कहे तो \(Z_t=0\) है। मूल्यांकन की हर पंक्ति में समय-बिंदु \(t\) पर किया गया पूर्वानुमान और उसी पूर्वानुमान की लक्षित अवधि का नतीजा जोड़ा जाना चाहिए।

चार खाने ऊपर/ऊपर, ऊपर/नीचे, नीचे/ऊपर और नीचे/नीचे जोड़ियों की गिनती करते हैं। यदि \(n_{11}\) और \(n_{00}\) मेल वाले दो खाने हैं और \(n\) उपयोग योग्य मेल खाती जोड़ियों की संख्या है, तो देखा गया दिशात्मक सही दर यह है:

\[ \widehat{P}=\frac{n_{11}+n_{00}}{n}. \]

यह द्विआधारी वर्गीकरण है। शून्य रिटर्न, शून्य पूर्वानुमान या तटस्थ सीमा को कैसे सँभालना है, यह पहले तय करें। उदाहरण के लिए, अध्ययन शून्य या उससे कम रिटर्न को “बढ़त नहीं” और सीमा के बराबर या उससे कम पूर्वानुमान को भी “बढ़त नहीं” कह सकता है। बराबरी वाले मामलों को हटाना भी एक विकल्प है, लेकिन इससे नमूना बदल जाता है और नियम लगातार एक जैसा लागू करना होगा। दो-श्रेणी वाला आधार सूत्र इस्तेमाल करते हुए शून्य/शून्य को मेल का तीसरा प्रकार न गिनें।

पूर्वानुमान का मूल समय और लक्ष्य अवधि भी एक-दूसरे से मेल खाने चाहिए। यदि \(Z_t\) अगले पाँच कारोबारी सत्रों के संचयी रिटर्न का चिह्न बताता है, तो \(Y_t\) को उसी मूल समय से शुरू होने वाले उसी पाँच-सत्रीय रिटर्न का चिह्न दिखाना चाहिए, न कि अगले एक दिन के रिटर्न का। अलग लक्ष्य रखने से तालिका में असमान घटनाएँ जुड़ जाएँगी। हर दिन किए गए पाँच-सत्रीय परिणामों के एक-दूसरे से ओवरलैप करने वाले पूर्वानुमान वर्णनात्मक तालिका में शामिल किए जा सकते हैं, लेकिन वे आगे बताई गई निर्भरता की समस्या पैदा करते हैं।

मान लें \(\hat p_y\) वास्तविक नतीजों में ऊपर वर्गीकृत हिस्से का नमूना अनुपात है और \(\hat p_z\) ऊपर कहने वाले पूर्वानुमानों का अनुपात है। यदि वास्तविक और अनुमानित श्रेणियाँ स्वतंत्र हों, तो अपेक्षित मेल का अनुपात होगा:

\[ \widehat{P}^{*}=\hat p_y\hat p_z+(1-\hat p_y)(1-\hat p_z). \]

पहला गुणनफल स्वतंत्रता के तहत ऊपर/ऊपर मेल की प्रायिकता है; दूसरा नीचे/नीचे मेल की। इसलिए आधार दोनों सीमांत अनुपातों के अनुसार बदलता है। यह 50% से अधिक या कम हो सकता है। हमेशा सबसे आम दिशा का पूर्वानुमान करने वाला मॉडल बिना नई जानकारी दिए भी अच्छा दिखने वाला सही दर हासिल कर सकता है।

एक चरम उदाहरण इसे स्पष्ट करता है। यदि वर्गीकारक हर तारीख पर “ऊपर” कहता है, तो \(\hat p_z=1\), देखा गया सही दर वास्तविक बढ़त के अनुपात \(\hat p_y\) के बराबर होता है और स्वतंत्रता का आधार भी \(\hat p_y\) होता है। इस तरह अतिरिक्त मेल शून्य है। जब बढ़त आम हो तो ऐसा स्थिर पूर्वानुमान सही दिख सकता है, लेकिन यह अलग-अलग तारीखों में यह नहीं पहचानता कि किन पर बाज़ार बढ़ेगा। इसका अनुमानित प्रसरण भी शून्य या अपरिभाषित हो सकता है, इसलिए सामान्य PT \(p\)-मान मौजूद न हो।

100 काल्पनिक मेल खाती तारीखों पर विचार करें। वास्तविक नतीजे 60 तारीखों पर ऊपर हैं और पूर्वानुमान 70 तारीखों पर ऊपर कहते हैं। तालिका इस प्रकार है:

64 मेल हैं, इसलिए \(\widehat P=0.64\)। स्वतंत्रता का आधार \(0.60\times0.70+0.40\times0.30=0.54\) है। देखा गया सही दर इस आधार से 10 प्रतिशत अंक ऊपर है। ये गढ़ी हुई संख्याएँ गणना समझाने के लिए हैं; यह अंतर अपने आप में अनिश्चितता का वैध अनुमान या ट्रेडिंग उपयोगिता का प्रमाण नहीं है।

मानक द्विआधारी PT सांख्यिकी के लिए परिभाषित करें:

\[ \widehat v=\frac{\widehat P^{*}(1-\widehat P^{*})}{n} \]

और

\[ \widehat w=\frac{(2\hat p_y-1)^2\hat p_z(1-\hat p_z)+(2\hat p_z-1)^2\hat p_y(1-\hat p_y)}{n}. \]

तब

\[ PT=\frac{\widehat P-\widehat P^{*}}{\sqrt{\widehat v-\widehat w}}. \]

शून्य परिकल्पना और मानक बड़े-नमूने की धारणाओं के तहत इस सांख्यिकी का संदर्भ-वितरण आसमित रूप से मानक सामान्य होता है। अंश स्वतंत्रता के आधार से अधिक मेल को मापता है। हर इस बात को ध्यान में रखता है कि उसी नमूने से आधार का अनुमान लगाया गया है; उसे 50% का स्थिर लक्ष्य नहीं माना जाता। सूत्र और संकेत-प्रणाली statsmodels के कार्यान्वयन दस्तावेज़ में दिए गए हैं {source:statsmodelsPesaranTimmermannAPI}।

ऊपर दिया गया व्यंजक statsmodels में दर्ज प्रसरण का पहला आसमित रूप है। मूल प्रस्तुति में अधिक पूर्ण सीमित-नमूना डेल्टा प्रसरण \(\widehat w\) में \(4\hat p_y\hat p_z(1-\hat p_y)(1-\hat p_z)/n^2\) जोड़ता है। यह छोटे क्रम का पद पहले क्रम के आसमित परिणाम नहीं बदलता, लेकिन सीमित नमूने की सांख्यिकी को बदल सकता है। यदि परिणाम कार्यान्वयन पर निर्भर हों, तो यह मानकर अलग-अलग \(p\)-मानों की तुलना न करें कि हर पैकेज सीमित-नमूने की गणना समान करता है; इस्तेमाल किया गया सूत्र और सॉफ़्टवेयर संस्करण बताएँ।

यह सूत्र कमज़ोर मूल्यांकन डिज़ाइन को ठीक नहीं करता। बहुत छोटा नमूना, लगभग स्थिर पूर्वानुमान, खाली खाने या शून्य अथवा अमान्य अनुमानित प्रसरण से सामान्य सन्निकटन अविश्वसनीय या अपरिभाषित हो सकता है। ऐसी स्थिति में सूत्र से जबरन \(p\)-मान न निकालें। सीमांत अनुपात और तालिका दें, फिर डेटा और नमूने के आकार के अनुरूप निष्कर्ष-विधि चुनें।

ऊपर की काल्पनिक तालिका के लिए पहले क्रम के सूत्र के घटक हैं: \(\widehat v=0.54(0.46)/100=0.002484\) और \(\widehat w=[0.2^2(0.7)(0.3)+0.4^2(0.6)(0.4)]/100=0.000468\)। मानक त्रुटि \(\sqrt{0.002484-0.000468}\approx0.0449\) है, जिससे \(PT\approx0.10/0.0449=2.23\) मिलता है। द्विपक्षीय मानक-सामान्य संदर्भ से \(p\)-मान लगभग 0.026 होगा। यह गढ़ी हुई गणनाओं और पहले क्रम के आसमित सूत्र पर आधारित है; अधिक पूर्ण सीमित-नमूना पद से संख्या थोड़ी बदलती है और क्रमिक निर्भरता सामान्य संदर्भ-वितरण को अमान्य कर सकती है। इसे अनुभवजन्य नतीजे के रूप में पेश न करें।

सकारात्मक अंश का अर्थ है कि वास्तविक दिशाएँ स्वतंत्रता के आधार से अधिक बार मेल खाती हैं; नकारात्मक अंश का अर्थ है कि वे कम बार मेल खाती हैं। पहले से तय एक-पक्षीय परीक्षण पूछ सकता है कि क्या मेल आधार से अधिक है। द्विपक्षीय परीक्षण पूछता है कि क्या दिशात्मक संबंध किसी भी ओर अलग है। वैकल्पिक परिकल्पना और महत्त्व स्तर नतीजे देखने से पहले चुनें।

छोटा \(p\)-मान परीक्षण की धारणाओं के तहत बताई गई शून्य परिकल्पना के विरुद्ध प्रमाण है। यह न तो शून्य परिकल्पना के सही होने की प्रायिकता है, न अगले समय-खंड में पूर्वानुमान के सफल होने की। इससे यह भी पता नहीं चलता कि रिटर्न bid–ask spread, शुल्क, बाज़ार प्रभाव, फंडिंग या उधार लागत चुकाने के लिए पर्याप्त थे। यह कई परिसंपत्तियों, अवधियों, सीमाओं, मॉडल रूपों या पूर्वानुमान के चिह्न आज़माकर केवल विजेता बताने को भी ठीक नहीं करता। यदि कई संभावित रणनीतियाँ खोजी गई हों, तो White Reality Check मार्गदर्शिका बताती है कि निष्कर्ष में इस चयन को क्यों शामिल करना चाहिए।

इसके विपरीत, शून्य परिकल्पना को अस्वीकार न कर पाना यह साबित नहीं करता कि दिशाएँ स्वतंत्र हैं। छोटा या असंतुलित नमूना संबंध पकड़ने की क्षमता में कमज़ोर हो सकता है। नकारात्मक PT अंश यह भी साबित नहीं करता कि पूर्वानुमान में कोई संरचना नहीं है; यह व्यवस्थित असहमति का संकेत हो सकता है। नतीजा देखने के बाद पूर्वानुमान का चिह्न उलटना मॉडल का नया चुनाव है। इसका मूल्यांकन नए डेटा पर करें या इसे मूल खोज प्रक्रिया में शामिल करें।

रिपोर्ट में वास्तविक-बढ़त अनुपात, अनुमानित-बढ़त अनुपात, देखा गया सही दर, स्वतंत्रता का आधार, प्रतिशत-अंक में बढ़त, वैकल्पिक परिकल्पना और अनिश्चितता की विधि साथ दें। तालिका के सीमांत अनुपात और प्रभाव के आकार के बिना केवल \(p\)-मान से छोटे लेकिन सटीक अनुमानित लाभ और बड़े मगर अनिश्चित लाभ में अंतर करना कठिन है।

सामान्य PT सांख्यिकी अक्सर इस धारणा के तहत प्रस्तुत की जाती है कि दिशात्मक अवलोकन समय के साथ स्वतंत्र हैं। वित्तीय लेबल लगातार एक जैसी दिशा में आ सकते हैं। दैनिक अवलोकनों में कई-दिवसीय लक्ष्य ओवरलैप कर सकते हैं, अस्थिरता के दौर बने रह सकते हैं और रोलिंग पूर्वानुमान लगभग वही अनुमान डेटा दोबारा इस्तेमाल कर सकते हैं। तब \(n\) जोड़ियाँ \(n\) स्वतंत्र सूचना-इकाइयों के बराबर नहीं होतीं। सामान्य मानक त्रुटि बहुत छोटी हो सकती है, जिससे अस्वीकृति बहुत बार होती है।

बाद के काम में Pesaran और Timmermann ने गतिशील रूप से विस्तारित प्रतिगमन और सीमित-क्रम Markov ढाँचे का उपयोग करके क्रमिक सहसंबंध वाले बहु-श्रेणी चरों के बीच निर्भरता की जाँचें विकसित कीं {source:pesaranTimmermannSerialCategories2009}। दिशात्मक पूर्वानुमानों पर केंद्रित शोध यह भी पाता है कि क्रमिक सहसंबंध मौजूद होने पर स्वतंत्रता पर आधारित पारंपरिक PT प्रक्रियाएँ बहुत अधिक अस्वीकार कर सकती हैं; यह निर्भरता-सहिष्णु विकल्पों, जिनमें bootstrap विधियाँ भी हैं, का अध्ययन करता है {source:blaskowitzHerwartzDirectionalSerialCorrelation2014}। उचित विधि इस बात पर निर्भर करती है कि पूर्वानुमान कैसे बनाए गए, उनका क्षितिज क्या है और निर्भरता की संरचना कैसी है; सामान्य पुनर्नमूनाकरण प्रक्रिया अपने आप वैध नहीं हो जाती।

बताएँ कि पूर्वानुमान के मूल समय एक-दूसरे से ओवरलैप करते हैं या नहीं, उनके बीच कितना अंतर है और अनिश्चितता का अनुमान लगाने के लिए निर्भरता की कौन-सी विधि अपनाई गई। यदि पाठ्यपुस्तक वाला सांख्यिकी-माप वर्णनात्मक आधार के रूप में दें, तो उसकी स्वतंत्रता की धारणा बताएँ। डिज़ाइन उस धारणा का उल्लंघन करता हो तो नाममात्र 5% नतीजे को ऐसा न मानें कि गलत अस्वीकृति दर भी 5% है।

हर मूल समय पर उस समय उपलब्ध पूर्वानुमान, उसका क्षितिज, जानकारी की कटऑफ़, वास्तविक नतीजा और ऊपर/नीचे लेबल में बदलने का नियम सुरक्षित रखें। तालिका बनाने से पहले समय-मुद्राओं, साधनों, मूल्य या रिटर्न की परिभाषा और अनुपलब्ध मानों के उपचार को एक जैसा करें। संशोधित व्यापक-आर्थिक डेटा या मूल्यांकन अवधि में समायोजित संकेत पर आधारित पूर्वानुमान अछूता out-of-sample पूर्वानुमान नहीं है।

Holdout नतीजे देखने से पहले वर्गीकरण सीमा चुनें। यदि मॉडल प्रायिकता देता है तो सीमा उसे द्विआधारी दिशा में बदलती है; उसी नमूने पर कई सीमाएँ खोजने से सवाल बदलता है और चयन पक्षपात पैदा होता है। प्रशिक्षण, सत्यापन और अंतिम मूल्यांकन की भूमिकाएँ अलग रखें। यदि पुनर्नमूनाकरण का उद्देश्य मॉडल खोज को ध्यान में रखना है, तो उसके भीतर पूरी चयन प्रक्रिया फिर से चलाएँ।

PT का सवाल पूर्वानुमान त्रुटियों के आकार की तुलना से अलग है। Diebold–Mariano मार्गदर्शिका जोड़ीदार loss अंतर की तुलना करती है, जबकि Giacomini–White मार्गदर्शिका पूछती है कि क्या पहले से तय जानकारी के अनुसार सापेक्ष पूर्वानुमान क्षमता बदलती है। परस्पर समाहित पूर्वानुमान मॉडल के लिए Clark–West समायोजन मार्गदर्शिका देखें। ये परीक्षण अलग सवालों के उत्तर देते हैं; केवल इसलिए इन्हें एक-दूसरे की जगह इस्तेमाल नहीं करना चाहिए कि इनके परीक्षण-सांख्यिकी परिचित लगते हैं।

PT परीक्षण हर नतीजे को एक दिशा-लेबल में घटा देता है। एक टिक की बढ़त और बड़ा उछाल, दोनों ऊपर गिने जाते हैं; छोटी चूक और भारी नुकसान, दोनों दिशात्मक गलती हैं। इसलिए सही दर बेहतर होने पर भी पैसा डूब सकता है, यदि गलतियों का नुकसान सही अनुमानों के लाभ से बड़ा हो, संकेत कीमत चलने के बाद आए या ट्रेडिंग लागत लाभ मिटा दे।

उदाहरण के लिए, समान आकार के 100 काल्पनिक ट्रेड मानें: 64 सही दिशाओं में हर एक से औसतन 0.10% लाभ हुआ और 36 गलत दिशाओं में हर एक से औसतन 0.25% नुकसान हुआ। सरल सकल जोड़ \(64(0.10\%)-36(0.25\%)=-2.6\) प्रतिशत अंक है, लागत से पहले, जबकि सही दर 64% है। यह जानबूझकर सरल गणना चक्रवृद्धि को अनदेखा करती है और बाज़ार का प्रमाण नहीं है; यह दिखाती है कि सही दर अकेले अपेक्षित लाभ तय नहीं करती।

ट्रेड का मूल्यांकन करने के लिए रिटर्न निकालने से पहले प्रवेश और निकास का समय, पोज़िशन आकार, जोखिम सीमाएँ और न भरे गए ऑर्डर का उपचार तय करें। जहाँ लागू हो, bid–ask spread, कमीशन, slippage, बाज़ार प्रभाव, वित्तपोषण और एक्सचेंज-विशिष्ट लागत शामिल करें। शुद्ध out-of-sample रिटर्न की उपयुक्त आधार से तुलना करें और नियम तक पहुँचने वाली बहु-परीक्षण खोज को भी ध्यान में रखें। PT नतीजा दिशात्मक संबंध का एक प्रमाण हो सकता है; यह लागत-सहित, लागू किए जा सकने वाले मूल्यांकन का विकल्प नहीं है।