ওয়াক-ফরোয়ার্ড মডেল যাচাইয়ে এক্সপ্যান্ডিং ও রোলিং উইন্ডো

পূর্বাভাসের সময়বিন্দুতে গবেষক অতীতের কিছু বৈশিষ্ট্য ও ফল জানেন, মডেল ফিট বা আপডেট করেন, তারপর পরের অংশে মূল্যায়ন করেন। সময়বিন্দু এগিয়ে নিলে পরপর নমুনার বাইরের সময়কাল তৈরি হয়। প্রতিটি পুনঃফিটে কোন যোগ্য অতীত সারি ব্যবহার হবে তা প্রশিক্ষণ-উইন্ডো ঠিক করে। পরে জানা কোন ফল দিয়ে বিকল্প তুলনা হবে, তা যাচাই ও পরীক্ষার নিয়ম ঠিক করে। সিদ্ধান্ত দুটি সম্পর্কিত, কিন্তু একই উইন্ডো নয়।

এক্সপ্যান্ডিং নিয়ম স্থির অতীত-সীমা থেকে শুরু করে এবং ফল জানা হলে বড় হয়। রোলিং নিয়ম দুই প্রান্ত সামনে সরায়, তবে প্রাথমিক পর্যায়ের পর নমুনার সংখ্যা স্থির রাখে। কোনো ক্ষেত্রেই পূর্বাভাসের সময়ে শেষ না-হওয়া লক্ষ্য ব্যবহার করা যাবে না। লেবেল কয়েকটি সেশন জুড়ে হলে সারির তারিখে ফল জানার সময় বোঝা নাও যেতে পারে; লেবেল শেষের সময় সংরক্ষণ করে সেটি মেনে চলুন।

বৈশিষ্ট্যের পেছনের-দেখা সময়কালকে প্রশিক্ষণ-উইন্ডো থেকে আলাদা রাখুন। প্রতিটি সারির অস্থিরতা স্বল্প পেছনের সময়ে হিসাব হতে পারে, অথচ ফিট করা মডেল বহু বছরের সারি ব্যবহার করতে পারে। বৈশিষ্ট্যের সময়কাল বদলালে ইনপুট বদলায়; প্রশিক্ষণ-উইন্ডো বদলালে অনুমানের পর্যবেক্ষণ বদলায়।

প্রথম যোগ্য পর্যবেক্ষণের সূচক \(s\), আর পুনঃফিটে সম্পূর্ণ লেবেল জানা সর্বশেষ পর্যবেক্ষণের সূচক \(t\) হলে প্রশিক্ষণ-সেট \(\{s,s+1,\ldots,t\}\)। পরের সময়বিন্দুতে এই সারিগুলো থাকে এবং নতুন যোগ্য সারি যুক্ত হয়। আলাদা কোনো ফিল্টার না থাকলে তাই নমুনা সময়ের সঙ্গে বড় হয়।

পুরোনো তথ্যও লক্ষ্য সম্পর্ক বর্ণনা করলে বেশি পর্যবেক্ষণ প্যারামিটারের নমুনাজনিত অনিশ্চয়তা কমাতে পারে, বিরল বাজার-পর্ব ধরে রাখতে পারে, এবং অতীত কাটার একটি নির্দিষ্ট তারিখ বেছে নেওয়া এড়ায়। কিন্তু পুরোনো সারি বয়সের কারণে নিজে থেকে কম প্রভাবশালী হয় না। সম্পর্ক বদলালে প্রথম দিকের তথ্য বর্তমান বাজারের সঙ্গে কম মেলে এমন অনুমানের দিকে টানতে পারে। বড় সেটে পুনঃফিট ধীরও হতে পারে; ইতিহাস ধরে রাখাই বেশি প্রতিনিধিত্বশীল হওয়ার নিশ্চয়তা নয়।

নির্দিষ্ট দৈর্ঘ্য \(W\) হলে সময়বিন্দু \(t\)-এ সেটটি \(\{t-W+1,\ldots,t\}\), তবে লেবেল-জট বা সীমার ফাঁক থাকলে তা আগে ধরতে হবে। পরের সময়বিন্দুতে শেষ প্রান্ত এগোয় এবং সবচেয়ে পুরোনো যোগ্য সারি বাদ যায়। দৈর্ঘ্য পর্যবেক্ষণসংখ্যা বা ক্যালেন্ডার সময়ে নির্ধারণ করা যায়; অনিয়মিত ডেটায় এ দুটো এক নয়।

রোলিং নিয়ম নির্বাচিত সময়সীমায় সাম্প্রতিকতা নির্দিষ্ট করে। পরিবর্তনশীল অবস্থায় মানিয়ে নেওয়া গবেষণার প্রশ্ন বা স্থির প্রশিক্ষণ-আকারের অপারেশনাল প্রয়োজন হলে এটি কাজে লাগতে পারে। তবে এটি নিজে থেকে অভিযোজিত নয়। পুনঃফিট কম হলে বা পরিবর্তন ধীরে ঘটলে সাড়া দেরি হতে পারে। ছোট উইন্ডো অনুমান অস্থির করতে, বিরল চাপের সময় বাদ দিতে বা জটিল মডেলের জন্য নমুনা কমাতে পারে; বড় উইন্ডো বৈচিত্র্যময় অতীত রাখে, তবে সাম্প্রতিক ধরন ম্লান করতে পারে।

উইন্ডোর এককও জরুরি। একই সারিসংখ্যা অনুপস্থিত ট্রেডিং দিন বা ভিন্ন পর্যবেক্ষণ-ঘনত্বে ভিন্ন ক্যালেন্ডার সময় বোঝায়। প্যানেল ডেটায় সারি নাকি তারিখভিত্তিক সম্পদ-গুচ্ছ বাদ যাবে তা নির্ধারণ করুন। চূড়ান্ত পরীক্ষার ফল দেখে \(W\) বাছলে নির্বাচন পরীক্ষায় চলে গেছে; সেটি আর স্বাধীন পরীক্ষা নয়।

শুধু উইন্ডোর নীতি তুলতে তথ্যের কাট-অফ, বৈশিষ্ট্য, মডেলের ধরন, প্রশিক্ষণ-উদ্দেশ্য, পুনঃফিটের তারিখ, পূর্বাভাসের মেয়াদ, পরীক্ষার ব্লক ও সম্পাদনের অনুমান একই রাখুন। রোলিং মডেল বেশি ঘন ঘন প্রশিক্ষিত হলে বা বৈশিষ্ট্য আলাদা হলে স্কোরের পার্থক্য শুধু উইন্ডোর ফল বলা যায় না।

এগুলো পূর্বাভাসের সময়বিন্দু বাছাইয়ের নিয়মও নয়। অতীত দিয়ে প্রশিক্ষণ, পরের ব্লক পূর্বাভাস, তারপর সামনে এগোনো—এমন একই রোলিং-অরিজিন মূল্যায়নে দু ধরনের প্রশিক্ষণ-উইন্ডো ব্যবহার করা যায়। Leonard Tashman-এর নমুনার বাইরের পূর্বাভাস পরীক্ষার পর্যালোচনা00065-0) রোলিং অরিজিন ও রোলিং অনুমান-উইন্ডো নিয়ে আলোচনা করে। একটি বলে মূল্যায়ন কখন হবে, অন্যটি বলে কোন প্রশিক্ষণ সারি থাকবে।

সংখ্যা ও তারিখগুলো কাল্পনিক। ধরা যাক, মডেল মাসে একবার পুনঃফিট হয়, লক্ষ্য পরের মাসের রিটার্ন এবং প্রথম ফিটে ১২০তম মাস পর্যন্ত শেষ হওয়া ৬০টি যোগ্য পর্যবেক্ষণ আছে। ফল শেষ হলে তবেই লেবেল ব্যবহারযোগ্য। প্রথম পূর্বাভাস সময়ে ৬০ সারির রোলিং ও এক্সপ্যান্ডিং সেট একই।

একটি নতুন মাসের ফল জানা গেলে এক্সপ্যান্ডিং সেটে ৬১ সারি হয়; রোলিং সেট নতুনটি যোগ করে সবচেয়ে পুরোনোটি বাদ দিয়ে ৬০ রাখে। ১২ বার আপডেটের পর এক্সপ্যান্ডিং সেটে প্রথম সীমা থেকে ৭২টি সারি থাকবে, রোলিংয়ে সর্বশেষ ৬০। উভয় মডেলের ব্যবহৃত সারি নিজ নিজ ফিটের সময় জানা থাকলেও আলাদা ইতিহাসের কারণে অনুমান বদলাতে পারে।

এই উদাহরণে শেষ ২৪ মাস বাইরের পরীক্ষা হিসেবে সংরক্ষণ করুন। উইন্ডো-নীতি, দৈর্ঘ্য, বৈশিষ্ট্য ও সেটিং আগের কালানুক্রমিক যাচাইয়ে নির্বাচন করে স্থির করুন, তারপর আগে থেকে ঠিক করা পুনঃফিট সূচি দিয়ে পরীক্ষা করুন। বাইরের পরীক্ষার ফল দেখে দৈর্ঘ্য পাল্টালে সেই সময় নির্বাচনেও ব্যবহৃত হবে এবং পরীক্ষার প্রমাণ অতিরঞ্জিত হবে।

তুলনার আগে প্রশ্ন ঠিক করুন: প্রতিটি পুনঃফিটে সব উপলভ্য ইতিহাস ব্যবহার করতে হবে, নাকি পুরোনো উদাহরণ বাদ দেওয়ার কারণ আছে? লক্ষ্য সম্পর্ক স্থিতিশীল, নাকি গুরুত্বপূর্ণ ইনপুট বদলাতে পারে? এগুলো প্রার্থী নিয়ম নির্ধারণে সাহায্য করে, কোনো বাজারে কোনটি জিতবে তা আগাম প্রমাণ করে না।

আগের উন্নয়ন ডেটায় এক্সপ্যান্ডিং এবং কয়েকটি যুক্তিসঙ্গত রোলিং দৈর্ঘ্যের মতো অল্প, আগে থেকে নির্ধারিত বিকল্প তুলনা করুন। একই কালানুক্রমিক যাচাই-ব্লক ও পুনঃফিট-ছন্দ ব্যবহার করুন। স্কোরের আগে উদ্দেশ্য নির্ধারণ করুন: পূর্বাভাস ক্ষতি, ক্যালিব্রেশন, টার্নওভার-সমন্বিত পোর্টফোলিও উপযোগিতা বা ড্রডাউন আলাদা প্রশ্নের উত্তর দেয়। খরচ ও সীমাবদ্ধতা একই রাখুন, ব্যর্থ ফিট ও অনুপস্থিত পূর্বাভাস নথিভুক্ত করুন। লক্ষ্য বা টেস্ট ব্লক মিললে পাশাপাশি স্কোরে একই রিটার্ন থাকতে পারে; প্রতিটি সারিকে স্বাধীন পরীক্ষা হিসেবে গণনা না করে নির্ভরতা জানান।

পরে আসা একটি কালানুক্রমিক সময়কাল চূড়ান্ত পরীক্ষার জন্য অক্ষত রাখুন। নেস্টেড নকশায় অভ্যন্তরীণ যাচাই প্রতিটি বাইরের টেস্ট ব্লকের আগের তথ্য দিয়ে উইন্ডো ও সেটিং বেছে নেয়; বাইরের ফল সম্পূর্ণ নির্বাচন-প্রক্রিয়া মূল্যায়ন করে। Purged CV নির্দেশিকা লেবেলের ওভারল্যাপ সীমা ব্যাখ্যা করে; আর্থিক মডেলের অতিরিক্ত ফিটিং ও বহু পরীক্ষা সংশ্লিষ্ট নির্বাচন-ঝুঁকি আলোচনা করে।

প্রতিটি সময়বিন্দুতে তখন জানা বৈশিষ্ট্য ও লেবেলই ব্যবহার করুন। বহু-সেশনের ফরোয়ার্ড রিটার্নের ফল যাচাই-সীমায় এখনও অসমাপ্ত থাকতে পারে, সিদ্ধান্তের তারিখ আগে হলেও। প্রকৃত লেবেল-সময় অনুযায়ী ফাঁক রাখুন বা সারি বাদ দিন; পর্যবেক্ষণ ও ফলের মেয়াদ ন্যায্যতা দিলেই শুধু স্থির সারি-সংখ্যা যথেষ্ট। ভবিষ্যৎ তথ্যসমৃদ্ধ বৈশিষ্ট্য কোনো উইন্ডো নিয়মে ঠিক হয় না।

ইম্পিউটেশন, স্কেলিং, বৈশিষ্ট্য নির্বাচন ও শেখা প্রিপ্রসেসিং প্রতিটি ফোল্ডের প্রশিক্ষণ অংশেই ফিট করুন। থ্রেশহোল্ড বা হাইপারপ্যারামিটার বাছতে হলে প্রশিক্ষণের ভেতরে কালানুক্রমিক যাচাই ব্যবহার করে পরের ব্লক স্কোরের সময় সিদ্ধান্ত স্থির রাখুন। scikit-learn-এর অফিসিয়াল TimeSeriesSplit নথি বলে ডিফল্টে প্রশিক্ষণ সেট বাড়ে, আর max_train_size সেটের আকার সীমিত করে। gap নমুনার সংখ্যা; সমান ফোল্ড-মেয়াদ তুলনা সমান ব্যবধানের পর্যবেক্ষণ ধরে। টাইমস্ট্যাম্পযুক্ত আর্থিক লেবেল ও ব্যবহৃত সংস্করণ আলাদাভাবে যাচাই করতে হবে।

উইন্ডো নিয়ম ও নির্দিষ্ট দৈর্ঘ্য, সবচেয়ে পুরোনো থাকা তারিখ, প্রতিটি ফিটে যোগ্য সারি-সংখ্যা, লেবেল জানার নিয়ম, যাচাই ও চূড়ান্ত পরীক্ষার তারিখ, পূর্বাভাস-মেয়াদ এবং পুনঃফিট সূচি জানান। সামগ্রিক ফলের পাশাপাশি টেস্ট-ব্লকভিত্তিক ফল দেখান। গড় কোনো একটি বাজার-পর্বের প্রভাব আড়াল করতে পারে; পাশাপাশি পূর্বাভাস একই ফল ভাগ করলে সেগুলো স্বাধীন প্রমাণ নয়।

পূর্বাভাসের নির্ভুলতা নেট ট্রেডিং ফল নয়। পজিশন, লিভারেজ, টার্নওভার, তারল্য, ফি, স্প্রেড, বাজার-প্রভাব, ধার, ফান্ডিং ও সম্পাদনের সময় বাস্তব ফল বদলায়। তুলনায় এগুলো স্থির রাখুন এবং বাদ পড়া উপাদান জানান। Cerqueira, Torgo ও Mozetič-এর টাইম-সিরিজ পারফরম্যান্স অনুমান গবেষণা স্থির ও অস্থির পরিস্থিতিতে অনুমান ভিন্ন হতে পারে বলে জানায়। এটি অর্থবাজারের উইন্ডো-নীতি সরাসরি তুলনা করে না, বা কোনো একটি নিয়ম সব সময় জেতে বলে না।

ব্যাকটেস্টকে নির্দিষ্ট ইতিহাস ও প্রক্রিয়ার প্রমাণ হিসেবে দেখুন। এক্সপ্যান্ডিং পুরোনো অপ্রাসঙ্গিক শাসন ধরে রাখতে পারে; রোলিং উপকারী তথ্য বাদ দিয়ে অস্থির হতে পারে। অন্য বাজার-পর্ব, সম্পদের তালিকা বা খরচে নির্বাচিত নিয়ম ব্যর্থ হতে পারে। যাচাই পরীক্ষিত পদ্ধতি নিয়ে অনিশ্চয়তা কমায়, ভবিষ্যৎ আয় নিশ্চিত করে না বা কোনো উইন্ডোকে সর্বোত্তম প্রমাণ করে না।