شرح احتمال فرط مواءمة الاختبار التاريخي (PBO) وCSCV

قد يجرّب فريق بحث نوافذ رجوع وعتبات دخول وفترات احتفاظ وأسواقاً وافتراضات تكلفة وقيود محافظ مختلفة، ثم يحتفظ بالنسخة ذات أفضل نتيجة اختبار تاريخي. وهكذا نالت النتيجة المختارة فرصاً عديدة للتوافق مع خصائص العينة. يلخص PBO نتيجة واحدة لهذه العملية: عبر تقسيمات IS/OOS المحددة، كم مرة يقع فائز IS دون وسيط المرشحين أنفسهم في OOS؟

قدّم Bailey وBorwein وLópez de Prado وZhu إطار PBO لدراسة مخاطر اختيار الاستراتيجية، واقترحوا CSCV كطريقة لتقديره. يتعلق التعريف بإجراء الاختيار بين الإعدادات المختبرة، وليس فقط بعدد معاملات معادلة تنبؤ واحدة. في كل تقسيم، IS هو الجزء المستخدم للاختيار بين المرشحين، وقد لا يكون هو الفترة التي قُدّرت فيها كل النماذج الأساسية. راجع ورقة PBO الأصلية للتعريف الرسمي.

قد تحقق استراتيجية واحدة نسبة شارب مرتفعة على العينة الكاملة وتظل الأكثر حظاً ضمن مجموعة بحث ضعيفة. وبالعكس، قد يختار إجراء ما مرشحاً أعلى من وسيط OOS غالباً حتى لو كانت عوائد المجموعة كلها سالبة. تقارن PBO الرتب النسبية داخل مجموعة المرشحين المقدمة؛ ولا تختبر وحدها إن كان العائد المتوقع موجباً.

يسأل الاختبار الزمني المحجوز أو اختبار walk-forward عن أداء إجراء بحث محدد على مشاهدات لاحقة لم تُستخدم في القرارات السابقة. يعالج التحقق المتقاطع المنقّى تداخل فترات تسميات التدريب مع نتائج الاختبار، وقد يضيف embargo فاصلاً مبرراً على نحو مستقل. لكن أياً من هذه الخطوات وحده لا يقيس مدى تكرار هبوط فائز بحث واسع للاستراتيجيات دون وسيط المرشحين خارج العينة. راجع دليل التحقق المتقاطع المنقّى وembargo.

كما يختلف PBO عن تصحيح تعدد الاختبارات. يستخدم اختبار White’s Reality Check أسلوب bootstrap لاختبار ما إذا كانت أفضل قاعدة في مجموعة تتجاوز معياراً مرجعياً بعد مراعاة التنقيب في البيانات. ويعدّل Deflated Sharpe Ratio حساب دلالة قائم على شارب لآثار الاختيار والعوائد غير الطبيعية. أما PBO فيلخص رتبة OOS للمرشح المختار في IS عبر تقسيمات متعددة. تختلف الإحصاءات والافتراضات، فلا يحل أحدها محل الآخر تلقائياً. انظر ورقة White الأصلية عن Reality Check وورقة Bailey وLópez de Prado عن Deflated Sharpe Ratio.

لنفترض أن M مصفوفة من T صفوف وN أعمدة. يمثل كل عمود من N استراتيجية أو إعداداً مرشحاً، ويمثل كل صف الفترة نفسها لجميع المرشحين. قد يحتوي الصف على عائد يومي بعد التكاليف ذات الصلة. إذا اختلف تواتر التداول، فحدّد أولاً فهرساً زمنياً مشتركاً واجمع الأداء باتساق. مقارنة العوائد اليومية لاستراتيجية بإجماليات شهرية لأخرى صفاً بصف لا تنتج مصفوفة ذات معنى.

ينبغي أن تعكس مجموعة المرشحين فرص الاختيار الفعلية: الإعدادات المرفوضة في البحث الشبكي، والتغييرات اليدوية بعد مراجعة النتائج، والأسواق البديلة، والقواعد التي أثرت في القرار النهائي. لا يقيّم PBO إلا المرشحين وسجلات الأداء المقدمة. إذا لم يُسجّل سوى المرشحين النهائيين بعد بحث أوسع، فسيقلل التقدير من حجم البحث الفعلي.

استخدم اصطلاح العائد والعملة ومعالجة الرافعة ومقياس الأداء نفسه للجميع. إذا كان الاختيار يعتمد على شارب بعد التكاليف، فأدرج الرسوم والفروق والتمويل وfunding والاقتراض وافتراضات التنفيذ المناسبة في كل عمود قبل حسابه. ويجب أن يكون المقياس قابلاً للحساب في كل عينة فرعية. تشترط الورقة الأصلية تزامن الصفوف وإمكان تقدير المقياس في العينات الفرعية، وتوصي بفهرس مشترك عند اختلاف تواتر التداول.

اختر عدداً زوجياً S من الكتل الزمنية المنفصلة والمتساوية الحجم، مع الحفاظ على الترتيب الزمني داخل كل كتلة. في كل اختيار ممكن لـ S/2 من الكتل، اجمعها لتكوين مجموعة IS، واستخدم الكتل S/2 الباقية كمجموعة OOS. وللمقاييس المعتمدة على المسار، احتفظ بالترتيب الأصلي للكتل المختارة ووثّق معنى وصلها للمقياس.

عدد توزيعات IS هو C(S,S/2). مع أربع كتل A وB وC وD، توجد ستة توزيعات: AB وAC وAD وBC وBD وCD؛ ويُحتسب كل مكمل كتوزيع مستقل أيضاً. عند S = 16، يكون C(16,8) = 12,870. هذه تركيبات حتمية للتاريخ نفسه، وليست 12,870 تجربة سوق مستقلة.

تعني «متماثل» إعادة استخدام المكمل كمجموعة اختيار في توليفة أخرى: في تقسيم تكون AB هي IS وCD هي OOS، وفي آخر بالعكس. وتعني «توافقي» تعداد كل اختيار لنصف الكتل بدلاً من سحب تقسيم عشوائي واحد. لا تحاكي الطريقة تسلسلاً زمنياً؛ فقد تضم المجموعة المختارة كتل البداية والنهاية، بينما تضم المجموعة المكملة كتل الوسط. لذلك لا تعني OOS هنا «المستقبل الذي يلي فترة التدريب».

في التقسيم c، طبّق قاعدة الاختيار البحثية على IS وحدد أفضل مرشح n*(c). ثم قيّم المرشحين N جميعاً في مجموعة OOS المكملة باستخدام مقياس الأداء نفسه. عرّف r(c) رتبة المرشح المختار: 1 للأسوأ وN للأفضل. حدّد معالجة التعادل مسبقاً وثبّتها في كل التقسيمات.

حوّل الرتبة إلى رتبة نسبية: ω(c) = r(c)/(N+1). يبقي المقام N+1 القيمة بين الصفر والواحد تماماً، حتى عند أدنى وأعلى رتبة. ويكون logit هو λ(c) = ln(ω(c)/(1−ω(c))). يكون سالباً عندما تقل رتبة المرشح عن وسيط OOS، وصفراً عند الوسيط وموجباً فوقه. تقدير PBO هو نسبة توزيعات CSCV التي تحقق λ(c) ≤ 0.

تلخص قيمة PBO الواحدة مدى تكرار وقوع فائز IS عند وسيط OOS أو دونه. ويبين توزيع logits كاملاً ما إذا كان المرشحون المختارون يبقون عادة قرب الوسط أو يهبطون كثيراً أو يتجاوزونه. logit تحويل لرتبة نسبية، وليس احتمالاً لصفقة حية واحدة أو توقعاً معايراً للعائد المستقبلي.

افترض وجود أربع كتل تاريخية متساوية وأربع قواعد مرشحة R1 إلى R4. يعرض الجدول توزيعات IS الستة. تمثل رتبة OOS ترتيب القاعدة المختارة في IS بين القواعد الأربع على الكتل المكملة. جميع القيم افتراضية لتوضيح الحساب فحسب.

سجّلت أربع قواعد مختارة من أصل ست رتبة نسبية OOS لا تتجاوز النصف. لذا فإن PBO التجريبي هو 4/6 ≈ 0.667، أي نحو 66.7%. مثلاً، الرتبة 2 تعطي ω = 2/(4+1) = 0.4 وλ = ln(0.4/0.6) ≈ −0.405. والرتبة 3 تعطي ω = 0.6 وlogit معاكساً يقارب +0.405.

لا يعني هذا احتمالاً قدره 66.7% لخسارة المال في الشهر المقبل. بل يعني أنه في هذه المصفوفة الافتراضية ووفق اصطلاح الرتب هذا، وقع فائز IS عند وسيط المرشحين OOS أو دونه في أربعة من ستة تقسيمات. وربما حقق الفائزان الآخران عوائد OOS مطلقة سالبة رغم تفوقهما على المنافسين.

يعتمد PBO على مجموعة المرشحين ومصفوفة الأداء المرصودة ومقياس الاختيار والكتل الزمنية وقاعدة التعادل. تبقى التجارب غير المسجلة خارج نطاقه. تعني عبارة «مستقل عن النموذج» إمكان حسابه من سجلات أداء المرشحين دون معرفة معادلات التنبؤ؛ ولا تعني التحرر من خيارات التصميم أو جودة البيانات أو الافتراضات.

يجمع CSCV الكتل في عينات فرعية متماثلة ومتساوية الحجم، لكن مجموعة OOS ليست عادة فترة زمنية لاحقة واحدة متصلة. قد يؤدي إعادة تركيب الكتل إلى إفساد الاعتماد طويل الأجل أو الموسمية أو ترتيب الأنظمة الاقتصادية. يحدد S عدد التركيبات ومدة كل كتلة؛ اختره ووثّقه بما يلائم آفاق الاستراتيجية وبنيتها. كثرة التركيبات لا تنشئ العدد نفسه من المشاهدات المستقلة، لأن الكتل ذاتها يعاد استخدامها.

يرث الإحصاء تحيزات العوائد المصدرية. فتحيز البقاء ومراجعة البيانات وخصائص لم تكن متاحة آنذاك والتنفيذ غير الواقعي والتكاليف المحذوفة والكون المختار بعد الاطلاع قد تجعل سجلات جميع المرشحين مضللة. لا يزيل CSCV تلقائياً تداخل فترات التسميات، ولا يعيد بالضرورة تقدير كل مسار نمذجة داخل كل تقسيم، ولا يمنع تسرب المعلومات في المعالجة المسبقة. يجب تنفيذ هذه الخطوات صراحة وفق سؤال البحث. للحماية الزمنية، راجع التوثيق الرسمي لـ TimeSeriesSplit ودليل التحقق المنقّى.

تحتاج المقاييس المعتمدة على المسار مثل أقصى تراجع إلى عناية إضافية: وصل كتل غير متجاورة يغيّر المسار وربما المقياس. وتشير ورقة PBO إلى أن ترتيب المشاهدات مهم لبعض المقاييس بخلاف شارب. اشرح معالجة الترتيب والفجوات والمشاهدات المفقودة والتركيب قبل تفسير الرتبة.

قبل الحساب، احتفظ بسجل المرشحين وكل تعديل أُجري بعد رؤية النتائج ومصفوفة الأداء ومقياس الاختيار وقاعدة التعادل. أبلغ عن T وN وS وبناء الكتل وC(S,S/2) واصطلاح رتبة OOS وتقدير PBO وتوزيع logits. أضف الأداء المطلق خارج العينة والتكاليف والدوران والتراجعات وعدد المرشحين الخاسرين؛ فالرتبة وحدها لا توضح إن كان الجميع ضعيفاً.

استخدم walk-forward أو اختباراً زمنياً محجوزاً حقيقياً لتقييم إجراء البحث المجمد على بيانات لاحقة. أبقِ الفترة النهائية مغلقة عند اختيار النموذج والعتبات؛ فمراجعتها مراراً تحولها إلى مجموعة اختيار أخرى. تنشئ أدوات مثل TimeSeriesSplit طيات زمنية وفق افتراضاتها الموثقة، بينما يقيس PBO خاصية ترتيب مختلفة لمجموعة المرشحين.

لذلك يكمل PBO ضوابط تداخل التسميات وتحليل تعدد الاختبارات ونمذجة التنفيذ الواقعية والتقييم الاستشرافي والمراقبة الحية، لكنه لا يحل محلها. تابع القراءة عن تعدد الاختبارات ومعدل الاكتشافات الكاذبة في التمويل وتعديلات شارب للارتباط الذاتي المتسلسل. لا يحوّل أي مقياس منفرد ترتيباً تاريخياً إلى إثبات لميزة تداول مستمرة.