Purged cross-validation والحاجز الزمني: منع تسرّب الوسوم في نماذج التداول

يخلط K-fold العشوائي الصفوف بين طيات التدريب والاختبار. وقد تكون هذه المشكلة مهمة في البيانات المالية عندما تعتمد الملاحظات على بعضها أو تتداخل فترات النتائج المستقبلية. فعينة التدريب قد تحمل وسم عائد يشمل تواريخ دخلت أيضاً في وسم عينة اختبار. تصبح النتيجة عندئذ أسهل مما ستكون عليه عند توقع فترة لم تُرَ من قبل.

لكن استخدام K-fold ليس خطأ دائماً. فملاءمته تعتمد على السؤال، وطريقة إنشاء العينات، واستقلالها أو اعتمادها الزمني، وتعريف الوسم. لا يكفي تقسيم صفوف عوائد يومية من دون فحص الفترات التي تمثلها تلك الصفوف.

لكل عينة، سجّل زمن القرار t، والمعلومات التي كانت متاحة فعلياً في ذلك الوقت، ونافذة الميزات، وفترة الهدف أو الوسم، ونقطة حسم الوسم t1. إذا كان الهدف عائداً إلى الأمام على خمسة جلسات، فإن فترة الوسم هي (t,t+5]: تبدأ بعد القرار وتمتد إلى نهاية الجلسة الخامسة.

يجب أن تستخدم كل ميزة بيانات كان يمكن معرفتها عند التنبؤ في الزمن t. لا يمثل اشتراك نافذتي ميزات في تاريخ سابق، بحد ذاته، تسرّباً؛ فالاستراتيجية قد تعيد استخدام تاريخ السوق المتاح بالفعل. لكن استخدام قيمة مستقبلية أو إصدار بيانات لم يكن منشوراً بعد القرار يسرّب المعلومات. احفظ الطوابع الزمنية التي تحدد بداية الحدث ونهايته الفعلية، خصوصاً عندما تختلف مدة الوسوم من عينة إلى أخرى.

تحذف purging عينة تدريب إذا تداخلت فترة نتيجتها أو وسمها الفعلية مع فترة نتيجة عينة اختبار. يتطلب ذلك مقارنة فترات الزمن، لا مجرد حذف عدد اعتباطي من الصفوف حول حد الطية. في وسوم الأحداث متغيرة المدة، استخدم وقت بداية كل حدث ووقت انتهائه الفعليين؛ لا تستبدلهما بعدد صفوف ثابت لا يطابق مدة الحدث.

اشرح فرانسيسكو لوبيز دي برادو في الفصل السابع من Advances in Financial Machine Learning طيات التحقق وpurging لمعالجة تداخل المعلومات. حذف الوسوم المتداخلة لا يجعل تقسيم التدريب والاختبار زمنياً تلقائياً: قد يظل التدريب يحتوي ملاحظات أحدث من كتلة الاختبار. حدّد السؤال الذي يجيب عنه التقسيم بدلاً من وصف كل طية على أنها محاكاة للمستقبل.

افترض قرارات يومية ووسم عائد إلى الأمام لخمس جلسات، أي (t,t+5]. تشمل كتلة الاختبار تواريخ القرار من 11 إلى 15؛ لذلك تمتد وسوم الاختبار حتى اليوم 20. افترض أن التواريخ أعداد جلسات متتابعة وأن حد النهاية داخل الفترة مشمول كما توضح الأقواس.

وسم تدريب (7,12] يتداخل مع نتائج الاختبار، مثل الوسم الذي يبدأ عند اليوم 11، لذلك يُحذف. ووسم تدريب (16,21] يتداخل أيضاً مع وسم اختبار يبدأ عند اليوم 15 ويمتد حتى 20؛ فيُحذف هو الآخر. هذا الفحص يعتمد على تداخل الفترات، لا على أن الفرق بين أرقام الصفوف يساوي طول ثابت.

قد يكون لوسم عينة لاحقة فترة لا تتداخل مع أي وسم اختبار، ومع ذلك يُستبعد بسبب embargo منفصل اختير بعد كتلة الاختبار. المثال يشرح القرار فقط؛ لا يقرر طول فجوة عامّاً يصلح لكل بيانات أو استراتيجية.

Embargo هو فترة عازلة محددة بعد كتلة اختبار، قبل السماح لعينات لاحقة بالدخول في التدريب في تقسيمات تستخدم بيانات قبل الاختبار وبعده معاً. قد تقلل هذه الفترة اعتماداً متبقياً ناتجاً من بناء الأحداث أو الميزات، حتى إن لم يتداخل وسم العينة اللاحقة مع وسم الاختبار مباشرة.

لا توجد نسبة أو مدة واحدة صالحة دائماً، ولا يحل الحاجز محل فحص فترات الوسوم الفعلية. اختره بالاستناد إلى تردد أخذ العينات، وأفق الوسم، وطريقة إنشاء الميزات، والاعتماد الزمني الذي تريد الحد منه، ثم وثّق السبب. قد يؤدي حاجز طويل جداً إلى التخلص من بيانات تدريب مفيدة؛ وقد لا يمنع حاجز قصير اعتماداً ذا صلة.

K-fold العشوائي يوزع المشاهدات عشوائياً بين الطيات، وقد لا يحاكي التنبؤ بفترة لاحقة إذا كانت الملاحظات معتمدة أو وسومها متداخلة. أما walk-forward أو التحقق بأصل متحرك فيدرّب على الماضي ويختبر على جزء زمني تالٍ، ثم يحرك الحد إلى الأمام. وهذا أقرب إلى محاكاة النشر التاريخي، لكنه لا يمنع وحده تسرّب الميزات أو اختيار النموذج على بيانات الاختبار.

تتيح TimeSeriesSplit في scikit-learn تقسيمات متتابعة مرتبة، وخيار gap يستبعد عدداً من الصفوف بين التدريب والاختبار. توضح الوثائق الرسمية أن مقارنة مدد الاختبار تفترض مشاهدات متباعدة بالتساوي؛ وgap عدد صفوف، لا محركاً لفحص فترات أحداث متغيرة. أما purged K-fold فيحذف تداخل الوسوم الفعلي، ويمكن أن يدرّب على صفوف تقع بعد كتلة الاختبار. ويستخدم CPCV مجموعات اختبار متعددة لإنتاج مسارات اختبار مركبة، لكنه لا يحولها تلقائياً إلى محاكاة تاريخية زمنية ولا يزيل تسربات أخرى.

يشرح الفصل 12 من Advances in Financial Machine Learning أساليب walk-forward وCPCV وسياق استخدامها.

قد تظل نتيجة الطية مضللة إذا بُنيت الميزات على بيانات مستقبلية أو طوابع زمنية غير صحيحة، أو استُخدمت قاعدة بيانات حالية تحتوي مراجعات لاحقة أو أسهماً باقية فقط. وقد يحدث تسرب أيضاً إذا عُيّرت المعالجة المسبقة أو انتقاء الميزات على كامل البيانات قبل التقسيم.

تكرار تجربة إعدادات واستراتيجيات كثيرة ثم الإبلاغ عن الأفضل يضيف تحيز اختيار حتى لو كانت فترات الوسوم منفصلة. كما أن تنفيذات افتراضية تتجاهل تكاليف التداول أو تفترض امتلاء الأوامر بأسعار غير واقعية قد تبالغ في الأداء. يناقش بحث Bailey وزملائه عن احتمال فرط مواءمة الاختبار الخلفي خطر اختيار أفضل نتيجة من تجارب متعددة. تقنيات التقسيم وحدها لا تعالج كل هذه المشكلات.

في كل طية، لائم التحويلات، وتحديد الميزات، واختيار المعلمات باستخدام بيانات التدريب فقط. قيّم الإعدادات ضمن تحقق زمني متداخل (nested time-aware validation)، كي لا تستخدم الطية الخارجية نفسها لاختيار النموذج وتقدير أدائه في الوقت نفسه.

بعد تثبيت المنهج، احتفظ بفترة زمنية أخيرة غير ممسوسة كاختبار نهائي بترتيب زمني. لا تعدّل النموذج مراراً استجابة لنتيجتها ثم تصفها بأنها اختبار مستقل. التحقق المتقاطع يقيس الأداء تحت التقسيم والبيانات المحددين؛ ولا يضمن أداء المستقبل.

سجّل تعريف العينة، وزمن القرار، ومصادر الميزات وتوقيت إتاحتها، ونافذة كل ميزة، وفترة الوسم الفعلية (t,t1]. وثّق طريقة التقسيم، والطيات، وقاعدة purging، ومدة embargo وأساس اختيارها، وأي إعداد gap إذا استخدمت TimeSeriesSplit.

اشرح إن كان التدريب زمنياً فقط أم شمل ملاحظات بعد الاختبار، وكيف عولجت الرسوم والتنفيذ واختيار المعلمات. للمزيد، راجع مقايضة الانحياز والتباين وفرط مواءمة النماذج المالية، والاختبارات المتعددة ومعدل الاكتشافات الكاذبة في التمويل، وسنونة نسبة شارب مع الارتباط التسلسلي.