Model Confidence Set (MCS): เปรียบเทียบโมเดลพยากรณ์โดยไม่บังคับเลือกผู้ชนะ

สมมติว่ามีหลายวิธีพยากรณ์ความผันผวนของวันถัดไป ค่าคลาดเคลื่อนต่างกัน แต่ตัวอย่างอาจสั้นหรือมีสัญญาณรบกวนมากเกินกว่าจะบอกได้ว่าวิธีใดมี expected loss ต่ำที่สุด การเลือกวิธีที่มีความสูญเสียเฉลี่ยต่ำสุดจะบังคับให้มีผู้ชนะ แม้ความต่างอาจเกิดจากความผันผวนของตัวอย่าง MCS ให้คำตอบเป็นชุดว่า ผู้สมัครใดยังคงสอดคล้องทางสถิติกับการเป็นตัวเลือกที่ดีที่สุดภายใต้เกณฑ์ประสิทธิภาพที่กำหนด?

MCS เริ่มจากชุดผู้สมัคร \(\mathcal M_0\), ความสูญเสียหรือเกณฑ์อื่น และระดับความเชื่อมั่น จากนั้นทดสอบซ้ำว่าผู้สมัครที่ยังอยู่มีความสามารถในการพยากรณ์เท่าเทียมกันหรือไม่ หากปฏิเสธสมมติฐาน กฎคัดออกจะนำผู้สมัครที่ด้อยกว่าเมื่อเทียบกับรายอื่นออก แล้วทดสอบต่อในชุดที่เล็กลง ผู้สมัครที่เหลือคือ MCS Hansen, Lunde และ Nason เสนอวิธีนี้เป็นชุดความเชื่อมั่นสำหรับโมเดลที่ดีที่สุดในกลุ่มที่กำหนด คล้ายช่วงความเชื่อมั่นของพารามิเตอร์ที่อาจครอบคลุมหลายค่าเมื่อข้อมูลไม่แม่นยำ (บทความปี 2011)

คำว่า “ดีที่สุด” เป็นผลเฉพาะในการเปรียบเทียบนั้น โดยสัมพันธ์กับผู้สมัครที่รวมไว้ เป้าหมาย ระยะพยากรณ์ ข้อมูลที่มี ณ แต่ละจุดเริ่มพยากรณ์ และเกณฑ์ให้คะแนน MCS ไม่ได้กำหนดว่าผู้สมัครใดต้องเป็นกระบวนการสร้างข้อมูลจริง และอาจคงผู้สมัครหลายรายที่มี expected performance ดีที่สุดเท่ากันไว้ ผลนี้ไม่ใช่ posterior probability ว่าโมเดลที่เหลือถูกต้อง

กำหนด \(\mathcal M_0\) ก่อนคำนวณความสูญเสีย ผู้สมัครอาจเป็นโมเดลที่ประมาณแล้วพร้อมกฎประมาณค่าและอัปเดตการพยากรณ์ หรือเป็นวิธีพยากรณ์ที่ไม่ได้อธิบายด้วยโมเดลสถิติ ตัวอย่างเช่น คำว่า “GARCH” ยังไม่กำหนดครบ หากการกระจายตัวของความผันผวน rolling window การอัปเดตพารามิเตอร์ และระยะพยากรณ์เปลี่ยนได้ แต่ละแบบอาจนับเป็นผู้สมัครคนละราย

ผู้สมัครทุกตัวต้องพยากรณ์เป้าหมายเดียวกัน ที่จุดเริ่มและระยะเดียวกัน โดยใช้เฉพาะข้อมูลที่มีในเวลานั้น หากโมเดลหนึ่งพยากรณ์ variance หนึ่งวัน แต่อีกโมเดลพยากรณ์ volatility ห้าวัน ความสูญเสียดิบย่อมเทียบกันอย่างเป็นธรรมไม่ได้ ใช้ชุดประเมินเดียวกัน จัดแนวข้อมูลที่ขาดหายอย่างชัดเจน และบันทึกเวอร์ชันข้อมูล ช่วงประมาณค่าเริ่มต้น ตารางแบบ recursive หรือ rolling และการจัดการ input ที่แก้ไขแล้ว การพยากรณ์ที่ทับซ้อนกันตามเวลาอาจทำให้ความสูญเสียในจุดใกล้กันใช้ผลสังเกตร่วมกัน

เลือกเกณฑ์ก่อนดูผล squared error, absolute error หรือความสูญเสียเฉพาะการตัดสินใจอาจจัดอันดับ point forecast ต่างกัน การพยากรณ์ variance อาจต้องใช้ volatility loss ที่เหมาะกับ proxy ซึ่งมีสัญญาณรบกวน ส่วน quantile forecast ต้องใช้ quantile score ไม่ใช่ mean squared error MCS ที่ดีภายใต้ loss หนึ่งไม่ได้รับประกันว่าจะดีภายใต้อีก loss หากลดรายชื่อผู้สมัครหลังดูผลประเมินชุดเดิม เซตอย่างเป็นทางการจะมีเงื่อนไขจากการคัดเลือกที่ไม่ได้รายงาน และไม่ครอบคลุมการค้นหาทั้งหมด

ให้ \(y_{t+h}\) เป็นเป้าหมายที่เกิดขึ้นจริงของการพยากรณ์จากจุดเริ่ม \(t\) และ \(\hat y_{i,t+h|t}\) เป็นค่าพยากรณ์ของผู้สมัคร \(i\) สำหรับฟังก์ชันความสูญเสีย \(L\) ที่เลือกไว้ล่วงหน้า คำนวณความสูญเสียหนึ่งค่าต่อผู้สมัครและจุดเริ่มร่วมแต่ละจุด:

\[ L_{i,t}=L(y_{t+h},\hat y_{i,t+h|t}) \]

สมมติว่าความสูญเสียต่ำกว่าดีกว่า สำหรับผู้สมัคร \(i\) และ \(j\) กำหนดผลต่างแบบจับคู่ดังนี้:

\[ d_{ij,t}=L_{i,t}-L_{j,t}, \qquad \bar d_{ij}=\frac{1}{P}\sum_{t=1}^{P}d_{ij,t} \]

โดย \(P\) คือจำนวนจุดเริ่มพยากรณ์ร่วม ตามนิยามเครื่องหมายนี้ หาก \(\bar d_{ij}\) เป็นบวก ผู้สมัคร \(i\) มีความสูญเสียเฉลี่ยสูงกว่า \(j\) ในตัวอย่าง หากเป็นลบจะเป็นผลดีต่อ \(i\) การจับคู่สำคัญเพราะผู้สมัครทั้งสองเผชิญผลลัพธ์จริงชุดเดียวกัน แรงกระทบตลาดร่วมกันอาจเพิ่มความสูญเสียทั้งคู่ ขณะที่ผลต่างช่วยแยกประสิทธิภาพเชิงสัมพัทธ์

สมมติฐานศูนย์เรื่องความสามารถในการพยากรณ์เท่าเทียมกันของชุดปัจจุบัน \(\mathcal M\) เขียนได้ดังนี้:

\[ H_{0,\mathcal M}:\quad \mu_{ij}=E[d_{ij,t}]=0 \quad \text{สำหรับทุก } i,j\in\mathcal M \]

นี่เป็นข้อความร่วมเกี่ยวกับชุดปัจจุบัน ไม่ใช่ชุดการทดสอบรายคู่ที่ไม่เกี่ยวข้องกันและตรวจทีละคู่ กรอบ MCS ดั้งเดิมใช้การทดสอบ equivalence แบบร่วมและกฎคัดออกเพื่อจัดการการค้นหาระหว่างโมเดล ไม่ได้ถามว่าค่าพยากรณ์เหมือนกันอย่างแน่นอนในแต่ละวันหรือไม่

กระบวนการ MCS สลับระหว่างการทดสอบระดับชุดกับการคัดออก เริ่มจาก \(\mathcal M=\mathcal M_0\) และทดสอบความสามารถในการพยากรณ์เท่าเทียมกันที่ระดับ \(\alpha\) ที่เลือก หากไม่ปฏิเสธสมมติฐาน ให้หยุดและรายงานชุดปัจจุบัน หากปฏิเสธ ให้ใช้กฎคัดออกที่กำหนดไว้ล่วงหน้าเพื่อนำผู้สมัครหนึ่งรายออก แล้วทดสอบซ้ำกับชุดที่เล็กลง ภายใต้สมมติฐานของวิธีการ ชุดที่เหลือคือ MCS ระดับ \((1-\alpha)\)

บทความนำเสนอสถิติที่ใช้กันสองแบบ สถิติ range มองหาผลต่างความสูญเสียรายคู่ที่ปรับมาตรฐานแล้วมีค่าสูงสุด:

\[ T_{R,\mathcal M}=\max_{i,j\in\mathcal M}|t_{ij}|, \qquad t_{ij}=\frac{\bar d_{ij}}{\widehat{\mathrm{se}}(\bar d_{ij})} \]

กฎคัดออกที่จับคู่กันจะนำผู้สมัครที่เสียเปรียบเมื่อเทียบกับอีกรายมากที่สุดในหน่วยมาตรฐานออก สถิติอีกแบบเปรียบเทียบผู้สมัครแต่ละรายกับประสิทธิภาพเฉลี่ยของชุดปัจจุบัน:

\[ T_{\max,\mathcal M}=\max_{i\in\mathcal M}t_{i\cdot}, \qquad d_{i\cdot,t}=\frac{1}{|\mathcal M|}\sum_{j\in\mathcal M}d_{ij,t} \]

ในที่นี้ \(t_{i\cdot}\) ปรับค่าเฉลี่ยของ \(d_{i\cdot,t}\) ให้เป็นมาตรฐาน ส่วนกฎที่จับคู่จะนำผู้สมัครซึ่งมีความสูญเสียเกินค่าเฉลี่ยของชุดมากที่สุดในหน่วยมาตรฐานออก สถิติกับกฎคัดออกเป็นคู่กัน ควรเลือกและรายงานเป็นกระบวนการเดียว อย่าสลับหลังเห็นว่าวิธีใดให้ชุดที่เล็กกว่า บทความ MCS อธิบายว่าเหตุใดการทดสอบปฏิเสธต้องสอดคล้องกับกฎเลือกผู้สมัครที่จะนำออก (Hansen, Lunde และ Nason)

การแจกแจงของสถิติสูงสุดขึ้นกับความแปรปรวนร่วมของผลต่างความสูญเสียจากผู้สมัคร การถือว่าแต่ละโมเดลหรือแต่ละวันเป็นอิสระอาจทำลายการพึ่งพาสองแบบ ได้แก่ ความสูญเสียต่อเนื่องอาจสัมพันธ์กันตามลำดับเวลา และความสูญเสียของผู้สมัครสองรายในวันเดียวกันเป็นข้อมูลจับคู่ ดังนั้น bootstrap ของ MCS ต้องรักษาโครงสร้างอนุกรมเวลาร่วมที่เกี่ยวข้อง ขณะประมาณการแจกแจงภายใต้สมมติฐานศูนย์ของสถิติระดับชุด

แนวทางหนึ่งคือสุ่มซ้ำบล็อกเวลาที่จัดแนวกันของเวกเตอร์ความสูญเสียหรือผลต่างผู้สมัคร ใน stationary bootstrap ความยาวบล็อกเป็นแบบสุ่ม และอนุกรมที่สุ่มซ้ำอาจเริ่มใหม่จากวันที่สุ่มเลือก Politis และ Romano เสนอวิธีนี้สำหรับข้อมูล stationary ที่พึ่งพากันอย่างอ่อน (บทความปี 1994) ผู้เขียน MCS อธิบายการใช้ block bootstrap และกล่าวถึง stationary bootstrap เป็นอีกทางเลือก การสุ่มแยกอนุกรมความสูญเสียของแต่ละโมเดลจะทำลายการจับคู่ ณ วันเดียวกันและอาจเปลี่ยนผลเปรียบเทียบ

ความยาวบล็อกเฉลี่ย รูปแบบ bootstrap การจัดศูนย์ภายใต้สมมติฐานความสามารถเท่าเทียม จำนวนรอบสุ่มซ้ำ และระยะพยากรณ์ ล้วนมีผลต่อค่าความไม่แน่นอน ระยะพยากรณ์ยาวที่ทับซ้อนมักเพิ่มการพึ่งพาในผลต่างความสูญเสีย แต่ไม่มีความยาวบล็อกเดียวที่เหมาะกับทุกเป้าหมายและทุกตัวอย่าง อธิบายการออกแบบและตรวจว่าข้อสรุปเปลี่ยนภายใต้การตั้งค่าการพึ่งพาที่สมเหตุสมผลหรือไม่ ผล bootstrap เป็นเพียงค่าประมาณภายใต้สมมติฐาน ไม่ได้แก้ปัญหา look-ahead, holdout ที่นำกลับมาใช้, score ที่ไม่ stationary หรือตระกูลผู้สมัครที่ไม่ครบ

สมมติว่าวิธี A, B, C และ D พยากรณ์เป้าหมายความผันผวนเดียวกันจากจุดเริ่มรายวันร่วม 120 จุด ค่าเฉลี่ย squared-error loss ในหน่วยตัวอย่างเป็นกำลังสองของจุดเปอร์เซ็นต์ เท่ากับ 1.20, 1.23, 1.45 และ 1.90 ค่าเฉลี่ยจัด A ไว้อันดับแรกและ D ไว้อันดับสุดท้าย แต่อันดับอย่างเดียวไม่บอกความไม่แน่นอนจากตัวอย่าง

ผลต่างค่าเฉลี่ยความสูญเสียแบบจับคู่ระหว่าง A กับ B คือ \(1.20-1.23=-0.03\) หาก standard error ที่คำนึงถึงการพึ่งพาเท่ากับ \(0.04\) สถิติรายคู่จะเป็น \(-0.03/0.04=-0.75\) ผลต่างนี้เพียงค่าเดียวไม่ได้แสดงความแตกต่างทางสถิติอย่างชัดเจนระหว่าง A กับ B MCS ไม่หยุดแค่นั้น เพราะสถิติระดับชุดพิจารณาผลต่างร่วมระหว่างผู้สมัครทั้งสี่ราย

เพื่อแสดงขั้นตอน สมมติว่า MCS แบบ block bootstrap ใช้อนุกรมความสูญเสียครบ 120 จุด ใช้ \(T_R\), \(\alpha=0.05\) และกฎคัดออกผู้สมัครที่แย่ที่สุดอย่างสอดคล้อง สมมติว่า p-value ของชุดเต็มเป็น 0.018 จึงนำ D ออก แล้ว p-value ของ \(\{A,B,C\}\) เป็น 0.11 เนื่องจาก 0.11 มากกว่า 0.05 กระบวนการจึงหยุดที่ \(\{A,B,C\}\) ซึ่งเป็น MCS 95% ในตัวอย่างสมมตินี้ C ยังคงอยู่ทั้งที่มีความสูญเสียเฉลี่ยสูงกว่า A เพราะการทดสอบร่วมนี้ยังพิสูจน์ไม่ได้ว่า C ด้อยกว่า

p-value เหล่านี้แต่งขึ้นเพื่ออธิบายขั้นตอน ไม่สามารถคำนวณย้อนกลับจากค่าเฉลี่ยความสูญเสียทั้งสี่หรือผลต่าง A–B ได้ ผลจริงต้องมีอนุกรมความสูญเสียครบทุกจุดเริ่ม ค่าพยากรณ์ของผู้สมัคร การออกแบบ bootstrap และลำดับการคัดออก เก็บข้อมูลเหล่านั้นและรายงานทุกขั้นเพื่อให้เห็นว่าผู้สมัครใดถูกนำออกเมื่อใด <!-- learn:illustration -->

ที่ระดับความเชื่อมั่น 95% ภายใต้เงื่อนไข regularity และสมมติฐานการทดสอบ MCS ถูกออกแบบให้ครอบคลุมผู้สมัครที่ดีที่สุดในชุดที่ระบุ ด้วย asymptotic coverage อย่างน้อยตามระดับที่แจ้งไว้ ไม่ได้หมายความว่าแต่ละโมเดลที่เหลือมีโอกาส 95% ที่จะดีที่สุด ข้อความเรื่องความเชื่อมั่นหมายถึง coverage ของกระบวนการเมื่อสุ่มตัวอย่างซ้ำ ไม่ใช่ posterior distribution ของชื่อโมเดล

การไม่ปฏิเสธสมมติฐานความสามารถในการพยากรณ์เท่าเทียมกัน ไม่ได้พิสูจน์ว่าค่า expected loss เท่ากันทุกประการ การทดสอบอาจมี power ต่ำเมื่อช่วงประเมินสั้น ผลต่างความสูญเสียผันผวนสูง หรือมีผู้สมัครหลายรายที่ใกล้เคียงกัน ชุดที่เหลือขนาดใหญ่อาจสะท้อนอย่างตรงไปตรงมาว่าข้อมูลแยกทางเลือกไม่ได้ และอาจมีโมเดลที่แย่ทั้งหมดในเชิงสัมบูรณ์ เพราะ MCS เปรียบเทียบผู้สมัครกันเอง ไม่ได้เทียบกับเกณฑ์ภายนอกที่กำหนดไว้

ขอบเขตของชุดยังจำกัดอยู่กับผู้สมัครใน \(\mathcal M_0\) หากละวิธีพยากรณ์ที่ดีกว่าจริง MCS ก็หาไม่พบ หากนำโมเดลออกก่อนวิเคราะห์หลังจากดูช่วงประเมินเดียวกันแล้ว coverage ตามชื่อจะไม่คำนึงถึงการค้นหาที่ไม่ได้บันทึก ระบุประวัติการสร้างและคัดกรองผู้สมัคร หากหลายรายมี expected loss ที่ดีที่สุดเท่ากัน การคงหลายรายไว้สอดคล้องกับวิธีการ ไม่ใช่ความล้มเหลวในการเลือก

Diebold–Mariano test มุ่งที่ผลต่างความสูญเสียแบบจับคู่ของวิธีพยากรณ์สองวิธี ส่วน MCS ทดสอบชุดซ้ำและรายงานผู้สมัครที่รอดจากกระบวนการคัดออกร่วม การทดสอบ DM หลายคู่แล้วเก็บคู่ที่ไม่มีนัยสำคัญไม่ได้เท่ากับ MCS โดยอัตโนมัติ เพราะ bootstrap ร่วมและกฎคัดออกที่สอดคล้องกันมีความสำคัญ

Clark–West test ใช้กับการเปรียบเทียบ squared error ที่แคบกว่า เมื่อโมเดลหนึ่งครอบคลุม benchmark แบบจำกัดและ noise จากการประมาณค่ากระทบผลต่างดิบ MCS ไม่กำหนดว่าผู้สมัครต้องเป็นโมเดลซ้อนกันและใช้ loss ที่ผู้ใช้เลือกได้ แต่ยังต้องมีรูปแบบการพยากรณ์ร่วมกัน

White’s Reality Check และ Hansen’s Superior Predictive Ability test ถามว่ามีผู้สมัครอย่างน้อยหนึ่งรายในตระกูลที่ค้นหาชนะ benchmark ที่กำหนดหรือไม่ MCS ไม่ผูกกับ benchmark และอธิบายชุดผู้สมัครที่เหนือกว่าในเชิงเปรียบเทียบ ทุกวิธีต้องรายงานขอบเขตการค้นหาและการพึ่งพากันอย่างครบถ้วน แต่ทดสอบสมมติฐานศูนย์คนละข้อ ดู คู่มือ Reality Check และ SPA และบทความต้นฉบับ White (2000) กับ Hansen (2005)

รายงาน MCS ที่ทำซ้ำได้ต้องระบุวิธีผู้สมัครแต่ละแบบ เป้าหมายและระยะพยากรณ์ร่วม กฎของจุดเริ่มและข้อมูล ตารางการประมาณค่า วันที่ประเมิน การจัดการข้อมูลหาย สูตรความสูญเสีย และทิศทางที่ถือว่าดีกว่า ระบุระดับนัยสำคัญ สถิติและกฎคัดออก ชนิด bootstrap ความยาวบล็อก วิธีจัดศูนย์ จำนวนรอบสุ่มซ้ำ p-value ในแต่ละขั้น และสมาชิกสุดท้าย ค่าเฉลี่ยความสูญเสียใช้เป็นบริบทได้ แต่อย่าใช้ตารางอันดับแทนการอนุมานร่วม

สำหรับการประเมินความผันผวน ให้อธิบายการสร้าง proxy ที่สังเกตได้และระบุว่ามี noise หรือได้รับการปรับปรุงย้อนหลังหรือไม่ สำหรับการพยากรณ์หลายขั้น ให้เปิดเผยช่วงเป้าหมายที่ทับซ้อนและวิธีจัดการ dependence แสดงความไวต่อการเปลี่ยน loss ช่วงตัวอย่าง และการตั้งค่า bootstrap อย่างสมเหตุสมผลเมื่อสิ่งเหล่านี้กระทบสมาชิกในชุด p-value ที่เล็กเพียงค่าเดียวไม่พอให้ทำซ้ำผล หากไม่ระบุผู้สมัครที่ถูกนำออกและรายละเอียดวิธีการ

MCS จัดอันดับวิธีพยากรณ์ตามเกณฑ์เดียว ไม่ได้พิสูจน์โครงสร้างเชิงเหตุและผล ไม่ได้ระบุโมเดลกำเนิดข้อมูล และไม่ได้พิสูจน์ว่าพยากรณ์ที่เหลือทำกำไรได้ การแปลงค่าพยากรณ์เป็นสถานะลงทุนต้องเพิ่ม threshold, sizing, turnover, เวลา execution, spread, ค่าธรรมเนียม, slippage, funding, การยืม และข้อจำกัดความเสี่ยง ประเมินกฎตัดสินใจที่ตรึงไว้กับข้อมูลช่วงหลังที่เหมาะสมแยกต่างหากและรายงานผลสุทธิ สำหรับ volatility score ที่ใช้ proxy ไม่สมบูรณ์ ดูคู่มือ QLIKE เทียบกับ squared-error loss