مجموعة الثقة للنماذج (MCS): مقارنة التنبؤات من دون فرض فائز واحد

لنفترض أن لديك عدة إجراءات للتنبؤ بالتقلب في اليوم التالي. تختلف أخطاؤها، لكن قد تكون العينة قصيرة أو مشوشة إلى درجة لا تسمح بتحديد الإجراء ذي الخسارة المتوقعة الأصغر. اختيار الإجراء ذي متوسط الخسارة الأقل يفرض فائزاً حتى عندما يكون الفرق مجرد تقلب في العينة. تقدم MCS إجابة على شكل مجموعة: ما المرشحون الذين لا تستطيع البيانات الحالية تمييزهم إحصائياً على أنهم أدنى وفق معيار أداء محدد؟

تبدأ MCS بمجموعة مرشحين \(\mathcal M_0\)، ودالة خسارة أو معيار آخر، ومستوى ثقة. وتختبر بالتتابع ما إذا كانت المرشحات التي ما زالت قيد المقارنة متساوية في القدرة التنبؤية. إذا رُفض الفرض، تحذف قاعدة استبعاد مرشحاً اعتُبر ضعيفاً نسبياً؛ ثم يتكرر الاختبار على المجموعة الأصغر. والمرشحون الباقون يشكلون MCS. قدّم Hansen وLunde وNason هذا الإجراء بوصفه مجموعة ثقة للنموذج أو النماذج الأفضل ضمن المجموعة المحددة، على نحو يشبه احتفاظ فترة الثقة لمعامل بعدة قيم عندما تكون البيانات غير حاسمة (ورقة 2011).

كلمة «الأفضل» نسبية إلى المقارنة. فالنموذج الأفضل يتحدد بالمرشحين المدرجين والهدف وأفق التنبؤ والمعلومات المتاحة عند كل منشأ تنبؤ والمعيار المستخدم. لا تشترط MCS أن يكون أحد المرشحين هو عملية توليد البيانات الحقيقية، ويمكنها الإبقاء على عدة مرشحين لهم أفضل خسارة متوقعة متساوية. وهي لا تعطي احتمالاً بايزياً بأن النموذج المحتفَظ به صحيح.

حدّد مجموعة \(\mathcal M_0\) قبل حساب الخسائر. قد يكون المرشح نموذجاً مقدراً مع قاعدة تحديث المعلمات وإصدار التنبؤ، أو إجراء تنبؤ لا يوصف بنموذج إحصائي. فاسم «GARCH» وحده لا يحدد مرشحاً كاملاً إذا اختلف توزيع الأخطاء أو طول النافذة المتحركة أو وتيرة تحديث المعلمات أو أفق التنبؤ. كل مجموعة من هذه الاختيارات قد تنتج إجراءً مختلفاً.

يجب أن يتنبأ كل مرشح بالهدف نفسه، عند المناشئ الزمنية نفسها، وبالمعلومات التي كانت متاحة وقتها. لا تكون مقارنة خسارة تنبؤ بتباين شرطي ليوم واحد مع خسارة تنبؤ بتقلب خمسة أيام منصفة إذا اختلف الهدف أو الوحدات. استخدم عينة تقييم مشتركة، وبيّن كيف حاذيت المشاهدات المفقودة، وسجّل نسخة البيانات ونافذة التقدير الأولية وجدول إعادة التقدير، وكيف عالجت البيانات المنقحة. وإذا تداخلت آفاق التنبؤ، فقد تشترك خسائر مناشئ مختلفة في بعض القيم الفعلية نفسها.

اختر المعيار قبل الاطلاع على النتائج. فقد يغيّر الخطأ التربيعي أو المطلق أو خسارة مرتبطة بقرار معين ترتيب التنبؤات النقطية. وينبغي تقييم تنبؤ التباين بخسارة تراعي خصائص بديل التقلب المشوش، بينما يتطلب تنبؤ الكمية درجة ملائمة للكميات. لا تعني MCS جيدة تحت خسارة واحدة أنها جيدة تحت خسارة أخرى. وإذا قلّصت قائمة المرشحين بعد فحص نتائج فترة التقييم نفسها، تصبح المجموعة مشروطة بهذا الفرز غير المعلن ولا تمثل البحث الكامل.

لتكن \(y_{t+h}\) القيمة الفعلية لهدف تنبؤ صدر عند المنشأ \(t\)، ولتكن \(\hat y_{i,t+h|t}\) توقع المرشح \(i\). باستخدام دالة خسارة محددة مسبقاً \(L\)، احسب خسارة كل مرشح عند كل منشأ مشترك:

\[ L_{i,t}=L(y_{t+h},\hat y_{i,t+h|t}) \]

افترض أن الخسارة الأقل أفضل. يكون الفرق المقترن بين المرشحين \(i\) و\(j\):

\[ d_{ij,t}=L_{i,t}-L_{j,t}, \qquad \bar d_{ij}=\frac{1}{P}\sum_{t=1}^{P}d_{ij,t} \]

حيث \(P\) عدد مناشئ التنبؤ المشتركة. وفق هذا الاصطلاح، تعني \(\bar d_{ij}>0\) أن متوسط خسارة \(i\) كان أعلى من \(j\) في العينة، بينما تفضّل \(\bar d_{ij}<0\) المرشح \(i\). الاقتران مهم لأن المرشحين واجهوا النتائج الفعلية نفسها. وقد ترفع صدمة سوق مشتركة خسارة كليهما، فيما يعزل الفرق أداء أحدهما نسبة إلى الآخر في الأيام ذاتها.

يمكن كتابة فرض تساوي القدرة التنبؤية للمجموعة الحالية \(\mathcal M\) كما يلي:

\[ H_{0,\mathcal M}:\quad \mu_{ij}=E[d_{ij,t}]=0 \quad \text{for every } i,j\in\mathcal M \]

هذا فرض مشترك عن المجموعة الحالية، وليس مجموعة اختبارات زوجية منفصلة يُنتقى منها ما يناسب. يجمع إطار MCS بين اختبار تكافؤ للمجموعة وقاعدة استبعاد لمعالجة المقارنة بين المرشحين. ولا يعني الفرض أن تنبؤاتهم متطابقة في كل تاريخ.

يتناوب إجراء MCS بين اختبار على المجموعة وخطوة استبعاد. ابدأ بـ \(\mathcal M=\mathcal M_0\)، واختبر تساوي القدرة التنبؤية عند المستوى \(\alpha\) المختار. إذا لم يرفض الاختبار، فتوقف وأبلغ عن المجموعة الحالية. وإذا رفض، طبّق قاعدة استبعاد محددة مسبقاً لحذف مرشح واحد، ثم أعد الاختبار على المجموعة المصغرة. وتشكل المجموعة الباقية MCS عند مستوى \((1-\alpha)\)، رهناً بافتراضات الإجراء.

تتضمن الورقة إحصاءين شائعين. يبحث إحصاء المدى عن أكبر فرق خسارة زوجي مقيس بوحدات الانحراف المعياري:

\[ T_{R,\mathcal M}=\max_{i,j\in\mathcal M}|t_{ij}|, \qquad t_{ij}=\frac{\bar d_{ij}}{\widehat{\mathrm{se}}(\bar d_{ij})} \]

وقاعدة الاستبعاد المقترنة به تحذف المرشح ذي أكبر عيب معياري مقارنة بمرشح آخر. أما الإحصاء الثاني فيقارن كل مرشح بمتوسط أداء المجموعة الحالية:

\[ T_{\max,\mathcal M}=\max_{i\in\mathcal M}t_{i\cdot}, \qquad d_{i\cdot,t}=\frac{1}{|\mathcal M|}\sum_{j\in\mathcal M}d_{ij,t} \]

هنا يقيس \(t_{i\cdot}\) متوسط \(d_{i\cdot,t}\) بعد توحيده بخطئه المعياري؛ وتحذف القاعدة المقترنة المرشح ذي أكبر خسارة زائدة معيارية نسبة إلى متوسط المجموعة. الإحصاء وقاعدة الاستبعاد زوج واحد. حددهما وأبلغ عنهما كإجراء متكامل، لا تخلط بينهما بعد رؤية أيهما ينتج مجموعة أصغر. توضح ورقة MCS سبب ضرورة الاتساق بين الاختبار الذي يرفض المجموعة والقاعدة التي تحدد المرشح المحذوف (Hansen وLunde وNason).

يتوقف توزيع إحصاء القيمة العظمى على التباين المشترك لفروق خسائر المرشحين. وقد يؤدي التعامل مع كل نموذج أو تاريخ على أنه مشاهدة مستقلة إلى كسر نوعين من الاعتماد: قد ترتبط الخسائر في تواريخ متتالية، كما أن خسائر مرشحين في اليوم نفسه مقترنة. لذلك ينبغي أن تحافظ إعادة المعاينة في MCS على بنية السلاسل الزمنية المشتركة عند تقريب التوزيع الصفري لإحصاء المجموعة.

من الطرق إعادة معاينة كتل زمنية محاذاة لمتجه خسائر المرشحين أو فروقها. في إعادة المعاينة الساكنة تكون أطوال الكتل عشوائية، ويمكن بدء الكتلة التالية من تاريخ مختار عشوائياً؛ وقدّم Politis وRomano هذه الطريقة للمشاهدات الساكنة ضعيفة الاعتماد (ورقة 1994). ويصف ملحق تطبيق MCS إعادة المعاينة الكتلية ويذكر الإجراء الساكن بديلاً. أما إعادة معاينة سلسلة خسائر كل نموذج على حدة فتفسد الاقتران في التاريخ نفسه وقد تغيّر المقارنة.

يتأثر تقدير عدم اليقين بمتوسط طول الكتلة وطريقة إعادة المعاينة والتمركز تحت فرض تساوي القدرة التنبؤية وعدد التكرارات وأفق التنبؤ. وقد تطيل الآفاق المتداخلة الاعتماد في فروق الخسارة، لكن لا يوجد طول كتلة واحد صالح لكل الأهداف والعينات. اشرح التصميم وافحص ما إذا كانت النتيجة تتغير تحت اختيارات اعتماد معقولة. مخرجات bootstrap تقريب مشروط بالافتراضات؛ ولا تصلح استخدام معلومات مستقبلية أو إعادة فحص عينة الاختبار أو تغير درجات الأداء غير الساكن أو غياب بعض المرشحين.

لنفترض أن الإجراءات A وB وC وD تتنبأ بالهدف نفسه للتقلب عند 120 منشأ يومياً مشتركاً. يبلغ متوسط خسائر الخطأ التربيعي، بوحدات توضيحية مربعة لنقاط النسبة المئوية، 1.20 و1.23 و1.45 و1.90. ترتّب هذه المتوسطات A أولاً وD أخيراً، لكن الترتيب وحده لا يبيّن ما إذا كان الفرق أكبر من عدم اليقين العيني.

الفرق المتوسط المقترن بين A وB هو \(1.20-1.23=-0.03\). إذا كان خطؤه المعياري المراعي للاعتماد \(0.04\)، فإن إحصاء هذا الزوج هو \(-0.03/0.04=-0.75\). لا يثبت هذا الفرق وحده وجود اختلاف واضح إحصائياً بين A وB. ولا تتوقف MCS عند هذا الزوج؛ إذ يستخدم اختبار المجموعة الفروق المشتركة بين المرشحين الأربعة.

لشرح الخطوات فقط، افترض أن تطبيقاً افتراضياً لـ MCS على سلسلة الخسائر الكاملة ذات 120 منشأ يستخدم \(T_R\) و\(\alpha=0.05\) وقاعدة متسقة لاستبعاد أسوأ مرشح. لنفترض أن قيمة p للمجموعة الكاملة هي 0.018، فتحذف D؛ ثم تكون قيمة p للمجموعة \(\{A,B,C\}\) هي 0.11. بما أن 0.11 تتجاوز 0.05، يتوقف الإجراء ويكون MCS الافتراضي بمستوى 95% هو \(\{A,B,C\}\). يبقى C رغم أن متوسط خسارته أعلى من A، لأن هذا الاختبار المشترك الافتراضي لم يثبت دونيته.

قيم p هنا مخترعة لتوضيح المنطق؛ ولا يمكن إعادة حسابها من متوسطات الخسارة الأربع أو فرق A وB وحده. تتطلب النتيجة الفعلية سلسلة الخسائر الكاملة لكل منشأ، وتنبؤات المرشحين، وتصميم إعادة المعاينة، وتسلسل الاستبعاد. احفظ هذه المدخلات وأبلغ عن التسلسل كي يرى القارئ المرشح المستبعد في كل مرحلة. <!-- learn:illustration -->

صُممت MCS عند مستوى ثقة 95%، في ظل شروط الاختبار والانتظام الخاصة بها، لتضم أفضل مرشح ضمن المجموعة المحددة بتغطية تقاربية لا تقل عن المستوى المعلن. ولا يعني ذلك أن احتمال كون كل نموذج محتفَظ به هو الأفضل يساوي 95%. تتعلق عبارة الثقة بالتغطية عبر عينات متكررة، وليست توزيعاً بايزياً على أسماء النماذج.

عدم رفض تساوي القدرة التنبؤية لا يثبت أن الخسائر المتوقعة متطابقة تماماً. قد تكون قوة الاختبار محدودة عندما تكون فترة التقييم قصيرة، أو شديدة التقلب، أو تضم عدة مرشحين متقاربين. وقد تشير مجموعة كبيرة إلى أن البيانات لا تفصل البدائل. كما قد تضم المجموعة نماذج سيئة على نحو مطلق، لأن MCS تقارن المرشحين فيما بينهم ولا تشترط معياراً خارجياً.

تتقيد المجموعة أيضاً بما أُدخل في \(\mathcal M_0\). فإذا غاب مرشح أفضل فعلاً، لا تستطيع MCS اكتشافه. وإذا حُذف نموذج قبل التحليل بعد الاطلاع على نتائج فترة التقييم نفسها، فلا تعكس التغطية الاسمية هذا الفرز غير المسجل. اذكر كيف أنشئت المجموعة وأي تصفية سبقتها. وإذا تشارك عدة مرشحين أفضل خسارة متوقعة، فبقاء أكثر من واحد نتيجة متوافقة مع الطريقة، لا فشل في الاختيار.

يركز اختبار Diebold–Mariano على فرق خسارة مقترن بين إجراءي تنبؤ لنتائج متطابقة. أما MCS فتختبر مجموعة بالتتابع وتبلغ عن المرشحين الذين يبقون بعد إجراء الاستبعاد المشترك. ولا يعادل إجراء عدة اختبارات DM ثم الاحتفاظ بالأزواج غير الدالة MCS تلقائياً؛ فإعادة المعاينة المشتركة واتساق قاعدة الاستبعاد مهمان.

يعالج اختبار Clark–West مقارنة أضيق للخطأ التربيعي عندما يحتوي أحد النموذجين على نموذج معياري مقيّد، ويؤثر ضجيج التقدير في الفرق الخام. لا تشترط MCS أن يكون المرشحون متداخلين، ويمكنها استخدام خسارة يحددها الباحث، لكنها لا تزال تتطلب تصميم تنبؤ مشتركاً.

يسأل اختبار Reality Check لـ White واختبار Hansen SPA عما إذا كان أحد أفراد عائلة بحث محددة يتفوق على معيار معين. لا تحتاج MCS إلى معيار مرجعي، وتصف مجموعة المرشحين الأفضل نسبياً بدلاً من اختبار معيار واحد. تحتاج الطرق جميعاً إلى توثيق البحث ومعالجة الاعتماد، لكنها تختبر فرضيات مختلفة. راجع دليل Reality Check وSPA وورقتي White (2000) وHansen (2005).

يسمي تقرير MCS القابل لإعادة الإنتاج كل إجراء مرشح والهدف المشترك وأفق التنبؤ وقواعد المعلومات وجدول التقدير وتواريخ التقييم ومعالجة البيانات المفقودة وصيغة الخسارة والاتجاه الأفضل. واذكر مستوى الدلالة والإحصاء وقاعدة الاستبعاد ونوع bootstrap وطول الكتلة وطريقة التمركز وعدد التكرارات وقيم p في كل مرحلة والعضوية النهائية. اعرض متوسطات الخسارة والفروق للسياق، ولا تستبدل الاستدلال المشترك بجدول ترتيب.

عند تقييم التنبؤ بالتقلب، اشرح كيفية إنشاء بديل التقلب المرصود وما إذا كان مشوشاً أو منقحاً. وفي التنبؤات متعددة الخطوات، اكشف تداخل فترات الهدف وطريقة معالجة الاعتماد. قارن عضوية المجموعة عند تغييرات معقولة في الخسارة والفترة وطريقة bootstrap إذا كانت تلك الاختيارات تؤثر مادياً في النتيجة. لا تكفي قيمة p صغيرة وحدها من دون المرشحين المستبعدين وتسلسل الإجراء.

ترتب MCS إجراءات التنبؤ وفق معيار واحد. ولا تثبت بنية سببية أو تحدد نموذج توليد البيانات أو أن التنبؤ الباقي ينتج صفقة رابحة. يتطلب تحويل التنبؤ إلى مركز تداول تحديد عتبة وإدارة الحجم والدوران ووقت التنفيذ والسبريد والرسوم والانزلاق والتمويل والاقتراض وقيود المخاطر. قيّم إجراء القرار المثبت على بيانات لاحقة مناسبة، وأبلغ عن نتائج التداول بعد التكاليف على حدة. ولمقاييس تقلب تتأثر ببدائل مشوشة، راجع المقارنة بين QLIKE والخطأ التربيعي.