การทดสอบ Giacomini–White: ความแม่นยำของการพยากรณ์แบบมีเงื่อนไข

สมมติว่าการพยากรณ์ A มีความสูญเสียเฉลี่ยต่ำกว่าการพยากรณ์ B ตลอดชุดทดสอบ ค่าเฉลี่ยนี้อาจซ่อนรูปแบบที่สำคัญ เช่น A ทำได้ดีกว่าเมื่อตลาดสงบ แต่ B ทำได้ดีกว่าเมื่อความผันผวนสูง หากคำถามคือการพยากรณ์ใดทำได้ดีกว่าโดยเฉลี่ย การเปรียบเทียบแบบไม่มีเงื่อนไขก็เหมาะสม หากถามว่าข้อมูลที่ทราบ ณ วันพยากรณ์ช่วยบอกได้หรือไม่ว่าแบบใดจะทำได้ดีกว่า สิ่งที่ต้องประเมินคือความสามารถในการพยากรณ์แบบมีเงื่อนไข

Giacomini และ White กำหนดกรอบนี้เพื่อเปรียบเทียบวิธีพยากรณ์ภายใต้ฟังก์ชันความสูญเสียและชุดข้อมูลที่ระบุไว้ สามารถใช้กับการพยากรณ์แบบจุด ช่วง ความน่าจะเป็น หรือความหนาแน่นได้ เมื่อกำหนดความสูญเสียให้ตรงกับงานแล้ว วิธีนี้รวมขั้นตอนประมาณค่าที่ใช้สร้างการพยากรณ์แต่ละแบบด้วย ดังนั้นหน้าต่างย้อนหลัง ตัวอย่างฝึกคงที่ หรือกฎกำหนดน้ำหนักจึงเป็นส่วนหนึ่งของวิธีที่กำลังประเมิน ไม่ใช่รายละเอียดเล็กน้อยที่ควรเปลี่ยนหลังเห็นผล (Giacomini และ White, 2006)

ประเด็นนี้เกี่ยวข้องกับการทดสอบการเปลี่ยนโครงสร้าง แต่ไม่ใช่เรื่องเดียวกัน การทดสอบแบบมีเงื่อนไขถามว่าความสูญเสียสัมพัทธ์สัมพันธ์อย่างเป็นระบบกับข้อมูลที่เลือกไว้หรือไม่ ส่วนการทดสอบการเปลี่ยนโครงสร้างถามว่าพารามิเตอร์หรือความสัมพันธ์เปลี่ยนเมื่อใด คู่มือ Diebold–Mariano กล่าวถึงการเปรียบเทียบความสูญเสียเฉลี่ยแบบไม่มีเงื่อนไข คำถามแบบมีเงื่อนไขต้องระบุข้อมูลที่ใช้กำหนดเงื่อนไขอย่างชัดเจน

ให้ \(Y_{t+1}\) เป็นเป้าหมายที่สังเกตได้หลังจุดกำเนิดการพยากรณ์ \(t\) การพยากรณ์ \(\hat y^A_{t+1}\) และ \(\hat y^B_{t+1}\) ต้องอ้างถึงเป้าหมาย ระยะพยากรณ์ หน่วย และจุดตัดข้อมูลเดียวกัน สำหรับฟังก์ชันความสูญเสีย \(L\) ที่ค่ายิ่งต่ำยิ่งดี กำหนดผลต่างความสูญเสียเป็น

dₜ₊₁ = L(Yₜ₊₁, ŷA,ₜ₊₁) − L(Yₜ₊₁, ŷB,ₜ₊₁)

ตามนิยามเครื่องหมายนี้ ค่าบวกหมายถึง A มีความสูญเสียมากกว่า จึงสนับสนุน B ในจุดกำเนิดนั้น ส่วนค่าลบสนับสนุน A บันทึกหนึ่งแถวต่อจุดกำเนิด และประเมินการพยากรณ์ทั้งสองกับค่าจริงเดียวกัน เก็บการพยากรณ์ตามที่มีอยู่ในเวลานั้น พร้อมรุ่นข้อมูลและรุ่นของแบบจำลอง อย่าสร้างการพยากรณ์ย้อนหลังใหม่ด้วยข้อมูลที่แก้ไขภายหลังหรือข้อมูลที่เพิ่งทราบทีหลัง

ตัวแปรเงื่อนไขต้องทราบได้ ณ จุดกำเนิดการพยากรณ์ ตัวอย่างเช่น ค่าประมาณความผันผวนที่ล่าช้า ตัวบ่งชี้เหตุการณ์ที่ประกาศไว้ล่วงหน้า ผลต่างความสูญเสียที่ล่าช้า หรือตัวแปรภาวะตลาดที่คำนวณจากข้อมูลอดีตเท่านั้น ตัวแปรที่วัดหลัง \(t\) ไม่อาจอธิบายได้อย่างไม่มีอคติว่าแบบใดควรดีกว่าที่ \(t+1\)

เลือกคะแนนให้ตรงกับเป้าหมาย ความคลาดเคลื่อนกำลังสองเป็นตัวเลือกหนึ่งสำหรับการพยากรณ์ค่าเฉลี่ยแบบมีเงื่อนไข แต่ไม่ได้เหมาะโดยอัตโนมัติกับการพยากรณ์ความผันผวน ควอนไทล์ หรือความหนาแน่น หากแบบหนึ่งพยากรณ์ความแปรปรวนและอีกแบบพยากรณ์ส่วนเบี่ยงเบนมาตรฐาน ให้แปลงเป็นการพยากรณ์ปริมาณเดียวกันก่อน การทดสอบไม่สามารถแก้คำถามที่ให้คะแนนไม่ตรงกันได้

สำหรับการพยากรณ์ความผันผวน ให้ประเมินทั้งสองแบบด้วยนิยามความแปรปรวนที่เกิดขึ้นจริงและช่วงการสุ่มตัวอย่างเดียวกัน หากการพยากรณ์หนึ่งครอบคลุมราคาในวันซื้อขาย แต่อีกแบบรวมผลตอบแทนช่วงข้ามคืนด้วย ผลต่างของความสูญเสียอาจเกิดจากเป้าหมายคนละตัว ไม่ใช่ความสามารถในการพยากรณ์ กำหนดล่วงหน้าว่าจะจัดการการเคลื่อนไหวในช่วงตลาดปิด ความถี่การสุ่มตัวอย่าง ค่าที่หายไป และตัววัดความแปรปรวนที่เกิดขึ้นจริงอย่างไร แล้วใช้กติกาเดียวกัน หากตัวแทนค่าจริงมีสัญญาณรบกวน ความคลาดเคลื่อนในการวัดนั้นกระทบคะแนนทั้งสองแบบและต้องนำไปประกอบการตีความ

ให้ \(\mathcal{G}_t\) แทนข้อมูลที่ใช้กำหนดเงื่อนไขในการเปรียบเทียบ สมมติฐานศูนย์ในอุดมคติคือ

H₀: E[dₜ₊₁ | 𝒢ₜ] = 0

กล่าวคือ เมื่อกำหนดข้อมูลที่ระบุไว้แล้ว ค่าคาดหมายของผลต่างความสูญเสียเป็นศูนย์ การทดสอบ GW แบบหนึ่งช่วงนำข้อความแบบมีเงื่อนไขนี้มาเขียนเป็นโมเมนต์หลายตัว โดยใช้เวกเตอร์ฟังก์ชันทดสอบ \(h_t\) ที่กำหนดไว้ล่วงหน้า และคำนวณได้จากข้อมูล ณ เวลา \(t\):

H₀,ₕ: E[hₜ dₜ₊₁] = 0

ค่าคงที่ใน \(h_t\) จะรวมโมเมนต์ของผลต่างความสูญเสียเฉลี่ย ส่วนองค์ประกอบอื่นอาจแทนภาวะตลาด ผลต่างความสูญเสียที่ล่าช้า หรือการแปลงแบบไม่เชิงเส้นที่เลือกก่อนตรวจผล ตัวอย่างเช่น \(h_t=(1,S_t)'\) โดย \(S_t\) เป็นตัวบ่งชี้ภาวะความผันผวนสูงแบบทวิภาคที่ทราบได้ ณ \(t\) จะทดสอบทั้งโมเมนต์ค่าคงที่และความสัมพันธ์ระหว่างผลต่างความสูญเสียกับภาวะดังกล่าว

ชุดฟังก์ชันทดสอบที่มีจำนวนจำกัดจะทดสอบเฉพาะโมเมนต์เหล่านั้น หากปฏิเสธสมมติฐาน แสดงว่าอย่างน้อยหนึ่งโมเมนต์ที่เลือกไม่สอดคล้องกับศูนย์ภายใต้สมมติฐานของการทดสอบ ไม่ได้ระบุแบบจำลองที่ดีที่สุดในทุกกรณี และไม่ได้พิสูจน์ว่าตัวแปรภาวะตลาดทุกชนิดมีผล การไม่ปฏิเสธก็ไม่ได้พิสูจน์ว่าความสามารถแบบมีเงื่อนไขเท่ากัน การใช้เฉพาะค่าคงที่เป็นการเปรียบเทียบโมเมนต์แบบไม่มีเงื่อนไข ไม่ใช่การค้นหาทุกเงื่อนไขที่เป็นไปได้

เลือกฟังก์ชันความสูญเสีย เครื่องมือ การแปลงตัวแปร ช่วงข้อมูล และระยะพยากรณ์ก่อนตรวจว่าแบบใดชนะ การเพิ่มตัวบ่งชี้ภาวะ เกณฑ์แบ่งระดับ และค่าล่าช้าหลังเห็นผลทำให้เกิดปัญหาการค้นหาอีกชั้นหนึ่ง การทดสอบแบบมีเงื่อนไขไม่ได้แก้ผลจากการคัดเลือกนั้นด้วยตัวเอง

กำหนดเวลาในการสร้างตัวแปรภาวะให้แน่นอน หาก “ความผันผวนสูง” หมายถึง 20 เปอร์เซ็นต์บนสุดของความผันผวนตลอดตัวอย่าง การใช้ข้อมูลอนาคตจะช่วยกำหนดเกณฑ์สำหรับจุดกำเนิดในอดีต ให้ประมาณเกณฑ์จากข้อมูลที่มีอยู่ในแต่ละจุดกำเนิด หรือใช้กฎที่ประกาศก่อนวันนั้น สำหรับตัวแปรภาวะแบบต่อเนื่อง ให้กำหนดหน่วย การปรับให้อยู่กึ่งกลาง และการปรับสเกลไว้ล่วงหน้า ตัวบ่งชี้ที่คล้ายกันมากหลายตัวอาจทำให้โมเมนต์ซ้ำซ้อนและเมทริกซ์ความแปรปรวนร่วมกลับด้านได้ยาก จึงควรใช้ชุดเล็กที่สุดที่ตีความได้ชัดเจน

สำหรับฟังก์ชันทดสอบ \(q\) ตัว ให้สร้างเวกเตอร์ \(g_{t+1}=h_t d_{t+1}\) ค่าเฉลี่ยตัวอย่างคือ

ḡ = (1/n) Σₜ gₜ₊₁

สถิติ GW แบบหนึ่งช่วงมีรูปแบบ Wald ดังนี้

GW = n ḡ′ Ω̂⁻¹ ḡ

โดย \(\hat\Omega\) ใช้ประมาณเมทริกซ์ความแปรปรวนร่วมของเวกเตอร์โมเมนต์ ภายใต้สมมติฐานศูนย์และเงื่อนไขความสม่ำเสมอในงานต้นฉบับ สถิตินี้มีการแจกแจงอ้างอิงไคสแควร์แบบลู่เข้าสู่ค่าจำกัด โดยมีองศาอิสระ \(q\) จำนวนฟังก์ชันทดสอบจึงส่งผลต่อการแจกแจงอ้างอิงและอาจส่งผลต่อกำลังการทดสอบ การเพิ่มเครื่องมือที่อ่อนหรือซ้ำซ้อนจำนวนมากอาจทำให้ค่าประมาณความแปรปรวนร่วมไม่เสถียรโดยไม่ได้เพิ่มข้อมูลที่มีประโยชน์

ในการตั้งค่าแบบหนึ่งช่วง สมมติฐานศูนย์ทำให้เวกเตอร์โมเมนต์มีโครงสร้างผลต่างมาร์ติงเกล ซึ่งเปิดทางให้การทดสอบดั้งเดิมใช้ค่าประมาณโมเมนต์อันดับสองจากตัวอย่างได้ สำหรับระยะพยากรณ์อื่น ผลลัพธ์ที่ทับซ้อนกัน หรือกรณีที่ต่างจากการตั้งค่านี้ ตัวประมาณความแปรปรวนต้องสอดคล้องกับสมมติฐานและโครงสร้างการพึ่งพาของการทดสอบ ใช้สูตรให้ตรงกับวิธีที่เลือก อย่าคัดลอกแบนด์วิดท์ HAC จากการทดสอบอื่นโดยอัตโนมัติ วิธีประมาณความแปรปรวนร่วม HAC ทั่วไป รวมถึงตัวประมาณของ Newey และ West (1987) เป็นเครื่องมือสำหรับกรณีที่จำเป็น ไม่ใช่ข้อกำหนดแบนด์วิดท์สากลของ GW ความน่าเชื่อถือของผลขึ้นกับตัวประมาณความแปรปรวนร่วมและการออกแบบการพยากรณ์เบื้องหลัง

ตรวจด้วยว่า \(\hat\Omega\) ประมาณได้จากโมเมนต์ที่เลือกหรือไม่ ฟังก์ชันทดสอบที่แทบซ้ำกัน ตัวบ่งชี้ที่มีข้อมูลในภาวะหนึ่งน้อยมาก หรือปฏิสัมพันธ์จำนวนมากอาจทำให้เมทริกซ์เอกฐานหรือไม่เสถียร การกลับเมทริกซ์เช่นนี้อาจเปลี่ยนมากแม้ข้อมูลปรับเพียงเล็กน้อย และบิดเบือนค่าสถิติ แต่ละฟังก์ชันควรมีเหตุผลเชื่อมกับเงื่อนไขหรือความแตกต่างของผลการพยากรณ์ รายงานจำนวนฟังก์ชันและเมทริกซ์ความแปรปรวนร่วมของโมเมนต์ การตัดฟังก์ชันที่ไม่ช่วยออกหลังเห็นผลถือเป็นการคัดเลือกอีกขั้นและควรเปิดเผย

ค่า p เป็นหลักฐานต่อต้านข้อจำกัดของโมเมนต์ที่ระบุไว้ภายใต้การแจกแจงอ้างอิง ไม่ใช่ความน่าจะเป็นที่ A หรือ B เป็นแบบจำลองจริง และไม่ใช่โอกาสที่กฎซื้อขายจะทำกำไร รายงานค่าสถิติ องศาอิสระ ค่า p และโมเมนต์ที่ทดสอบอย่างแม่นยำ เพื่อให้ผู้อ่านทราบว่าการปฏิเสธหมายถึงอะไร

<!-- learn:illustration -->

พิจารณาจุดกำเนิดการพยากรณ์หนึ่งช่วงล่วงหน้าสมมติ 8 จุด ให้ \(S_t=0\) แทนภาวะสงบ และ \(S_t=1\) แทนภาวะความผันผวนสูง สมมติว่าผลต่างความสูญเสีย \(d_{t+1}=L_A-L_B\) ในสี่จุดของภาวะสงบเท่ากับ −2, −2, −2 และ −2 ส่วนสี่จุดในภาวะความผันผวนสูงเท่ากับ +2, +2, +2 และ +2 ค่าลบสนับสนุน A ส่วนค่าบวกสนับสนุน B

ค่าเฉลี่ยทั้งแปดจุดเท่ากับศูนย์ ตัวอย่างเล็กนี้จึงไม่แสดงผลต่างของความสูญเสียแบบไม่มีเงื่อนไข ค่าเฉลี่ยในภาวะสงบเท่ากับ −2 และในภาวะผันผวนสูงเท่ากับ +2 อันดับของการพยากรณ์จึงกลับด้านตามภาวะ การทดสอบที่ใช้ \(h_t=(1,S_t)'\) รวมทั้งโมเมนต์ค่าคงที่และโมเมนต์ภาวะความผันผวนสูงที่สะท้อนรูปแบบนี้ได้

ตัวเลขทั้งแปดเป็นเพียงตัวอย่างเพื่ออธิบาย ไม่เพียงพอสำหรับข้อสรุปเชิงอนุมานที่น่าเชื่อถือ ในข้อมูลจริง การทดสอบต้องคำนึงถึงวิธีประมาณการพยากรณ์ การกำหนดตัวแปรภาวะไว้ล่วงหน้าหรือไม่ จำนวนจุดกำเนิด และการเปลี่ยนแปลงของโมเมนต์ผลต่างความสูญเสียตามเวลา การแบ่งภาวะจากกราฟเพียงอย่างเดียวไม่ได้เป็นหลักฐานว่ารูปแบบจะดำเนินต่อไป

ทฤษฎีลิมิตดั้งเดิมของ GW รักษาความไม่แน่นอนจากการประมาณการพยากรณ์ไว้ โดยกำหนดขนาดสูงสุดของหน้าต่างประมาณค่าให้มีค่าจำกัด ขณะที่จำนวนการพยากรณ์นอกตัวอย่างเพิ่มขึ้น หน้าต่างแบบเลื่อนและตัวอย่างฝึกแบบคงที่สอดคล้องกับการตั้งค่าหลักนี้ ขนาดหน้าต่างและกฎเลือกหน้าต่างจากข้อมูลจึงเป็นส่วนหนึ่งของวิธีพยากรณ์แต่ละแบบ และควรกำหนดพร้อมรายงาน

เรื่องนี้สำคัญเมื่อประมาณแบบจำลองการพยากรณ์ใหม่ การเปรียบเทียบที่ละเลยการประมาณพารามิเตอร์อาจพลาดความไม่แน่นอนจากวิธีที่แต่ละแบบเรียนรู้ข้อมูลในอดีต GW รองรับการพยากรณ์จากแบบจำลองซ้อนกันหรือไม่ซ้อนกันได้ภายใต้เงื่อนไขที่กำหนด แต่ไม่ได้รับประกันว่าจะใช้ได้กับหน้าต่างขยายหรือวิธีประมาณค่าทุกแบบ ในกรอบหนึ่งช่วงต้นฉบับ หน้าต่างขยายตามปกติอยู่นอกสมมติฐานหน้าต่างจำกัด หากการตั้งค่าต่างออกไป ให้ใช้ผลทฤษฎีที่ได้มาสำหรับกระบวนการพยากรณ์จริง

การทดสอบไม่ได้เลือกหน้าต่างที่เหมาะสมให้คุณ หน้าต่างสั้นอาจตอบสนองภาวะล่าสุดได้ไวกว่าแต่ใช้ข้อมูลน้อย หน้าต่างยาวหรือหน้าต่างขยายอาจทำให้ค่าประมาณมีเสถียรภาพขึ้นแต่ยังยึดความสัมพันธ์เก่าไว้ เปรียบเทียบทางเลือกเหล่านี้ด้วยแผนประเมินที่กำหนดไว้ก่อน และบันทึกการเลือกหน้าต่างด้วย Giacomini และ Rossi (2010) พัฒนาการทดสอบอีกแบบสำหรับเส้นทางผลการพยากรณ์สัมพัทธ์ในสภาพแวดล้อมที่ไม่เสถียร คำถามเรื่องเส้นทางตามเวลานี้เกี่ยวข้องกัน แต่ไม่ใช่สถิติเดียวกับการทดสอบ GW แบบมีเงื่อนไขพื้นฐาน

การปฏิเสธสมมติฐานแบบมีเงื่อนไขไม่ได้ให้กฎซื้อขายที่เลือกการพยากรณ์ถูกต้องแบบเรียลไทม์โดยอัตโนมัติ ตัวแปรเครื่องมืออาจสัมพันธ์กับผลต่างความสูญเสียในข้อมูลประเมิน โดยไม่ได้ให้กฎสลับแบบที่เสถียรหรือใช้ตัดสินใจได้จริง หากต้องการใช้ข้อมูลปัจจุบันเลือกการพยากรณ์ ให้กำหนดกฎจากข้อมูลอดีตแล้วประเมินกับลำดับจุดกำเนิดชุดใหม่ที่ไม่เคยใช้ รวมความไม่แน่นอนจากการประมาณและการตัดสินใจของกฎด้วย

การทดสอบ Diebold–Mariano ถามว่าการพยากรณ์สองแบบมีความสูญเสียเฉลี่ยเท่ากันตลอดช่วงประเมินหรือไม่ GW ถามว่าข้อมูลที่เลือกสัมพันธ์กับความสูญเสียสัมพัทธ์หรือไม่ และอาจรวมการเปรียบเทียบแบบไม่มีเงื่อนไขเป็นข้อจำกัดของโมเมนต์กรณีพิเศษได้ แบบจำลองอาจมีคะแนนเฉลี่ยเท่ากัน แต่ผลสัมพัทธ์ขึ้นกับภาวะตลาดดังตัวอย่างสองภาวะ

หากการพยากรณ์มาจากแบบจำลองซ้อนกันและโจทย์เฉพาะคือการเปรียบเทียบ MSPE ที่เท่ากัน วิธีสำหรับแบบจำลองซ้อน เช่น การปรับค่า Clark–West จะตอบสมมติฐานศูนย์และปัญหาเสียงรบกวนจากการประมาณอีกแบบหนึ่ง หากค้นหากฎซื้อขายหรือการพยากรณ์หลายชุด แล้วถามว่าผู้สมัครใดเหนือกว่า ให้ใช้วิธีระดับทั้งตระกูล เช่น White Reality Check หรือการทดสอบ SPA ของ Hansen การทดสอบแบบมีเงื่อนไขกับคู่ที่เลือกแล้วไม่ได้ลบผลจากการค้นหาที่กว้างกว่านั้น

สุดท้าย หลักฐานว่าความแม่นยำสัมพัทธ์เปลี่ยนไปตามเวลาไม่ได้ระบุวันที่เกิดจุดเปลี่ยนโดยเฉพาะ การทดสอบความไม่เสถียรเฉพาะพื้นที่หรือการกลับอันดับอาจเหมาะกว่า หากคำถามวิจัยเกี่ยวกับเส้นทางของผลสัมพัทธ์ ไม่ใช่ความสัมพันธ์กับเครื่องมือที่เลือก Giacomini และ Rossi (2010) ศึกษาการเปรียบเทียบลักษณะนี้ เลือกวิธีให้ตรงกับคำถาม แทนที่จะตีความทุกการปฏิเสธว่าเป็นหลักฐานสนับสนุนกลยุทธ์เปลี่ยนระบอบตลาด

การทดสอบแบบมีเงื่อนไขอาจต้องใช้ข้อมูลจำนวนมาก การแบ่งตัวอย่างเป็นภาวะสงบและผันผวนลดจำนวนข้อมูลที่สนับสนุนการเปรียบเทียบแต่ละด้าน การเพิ่มฟังก์ชันทำให้จำนวนโมเมนต์และองศาอิสระเพิ่มขึ้น หากเงื่อนไขหลายตัวสัมพันธ์กับความสูญเสียสัมพัทธ์เพียงเล็กน้อย การทดสอบอาจมีกำลังต่ำแม้ความแตกต่างแบบมีเงื่อนไขจะมีอยู่

เอกสารทำงานของธนาคารกลางสหรัฐสาขาเซนต์หลุยส์โดย McCracken ศึกษาการมีอยู่ ขนาด และกำลังของ GW ในตัวอย่างความสูญเสียกำลังสองอย่างง่าย การจำลองพบว่าการทดสอบควบคุมระดับนัยสำคัญได้ แต่โดยทั่วไปมีกำลังต่ำในกรณีที่ศึกษา (McCracken, 2020) ผลนี้เป็นคำเตือนเรื่องการตีความ ไม่ใช่ค่าพยากรณ์เชิงตัวเลขที่ใช้ได้กับทุกงาน การไม่ปฏิเสธอาจสะท้อนข้อมูลจำกัดหรือกำลังต่ำ จึงไม่ควรอธิบายว่าเป็นข้อพิสูจน์ว่าการพยากรณ์ทั้งสองใช้แทนกันได้

การลองนิยามภาวะ เกณฑ์แบ่ง ระยะพยากรณ์ ฟังก์ชันความสูญเสีย และวันประเมินหลายแบบซ้ำ ๆ เพิ่มโอกาสพบผลที่เกิดขึ้นโดยบังเอิญ บันทึกการทดสอบผู้สมัครทั้งหมดและแยกการสำรวจออกจากตัวอย่างยืนยันที่กำหนดไว้ล่วงหน้า หากต้องการอ้างว่ากลยุทธ์หนึ่งในหลายกลยุทธ์มีความสามารถในการพยากรณ์ ให้ใช้วิธีแก้ปัญหาการทดสอบหลายครั้งหรือการเลือกข้อมูลที่เหมาะกับกลุ่มนั้น การเพิ่มเครื่องมือแบบมีเงื่อนไขไม่ได้ทำให้หลักฐานน่าเชื่อถือขึ้นโดยอัตโนมัติ

เมื่อยังเปรียบเทียบแบบจำลองการพยากรณ์หลายแบบ วิธีระดับทั้งตระกูลตอบคำถามที่ต่างจากการทดสอบแบบมีเงื่อนไขรายคู่ คู่มือชุดความเชื่อมั่นของแบบจำลอง อธิบายการเปรียบเทียบแบบวนซ้ำที่คงชุดแบบจำลองซึ่งแยกความแตกต่างกันไม่ได้ ณ ระดับที่เลือกไว้ วิธีนี้ไม่ได้ทดแทนการกำหนดเงื่อนไขของการวิเคราะห์ GW ล่วงหน้า

ระบุวิธีพยากรณ์ทั้งสอง วิธีประมาณค่าแต่ละแบบ แบบจำลองซ้อนกันหรือไม่ เป้าหมายและระยะพยากรณ์ รวมทั้งวันประเมิน ระบุฟังก์ชันความสูญเสียและนิยามเครื่องหมายของ \(d_{t+1}\) อย่างครบถ้วน อธิบายแต่ละองค์ประกอบของ \(h_t\) วิธีสร้าง เวลาที่ตัวแปรนั้นสังเกตได้ และการเลือกเกิดขึ้นก่อนเห็นผลหรือไม่

รายงานตารางจุดกำเนิดการพยากรณ์ กฎหน้าต่างประมาณค่า รุ่นข้อมูล กฎเลือกตัวอย่างร่วม จำนวนจุดกำเนิดนอกตัวอย่าง จำนวนฟังก์ชันทดสอบ ตัวประมาณความแปรปรวนร่วม การแจกแจงอ้างอิง ค่าสถิติ องศาอิสระ และค่า p ระบุว่าระยะพยากรณ์ทับซ้อนกันหรือไม่และจัดการการพึ่งพาอย่างไร แสดงความสูญเสียเฉลี่ยและสรุปผลต่างความสูญเสียประกอบ ไม่ใช่รายงานเฉพาะผลทดสอบ

เปิดเผยเครื่องมือ เกณฑ์แบ่ง หน้าต่าง ฟังก์ชันความสูญเสีย และคู่การพยากรณ์อื่นที่เคยลอง หากใช้ข้อมูลเดียวกันเลือกแบบจำลองหรือตัวแปรเงื่อนไขและทดสอบผล ให้ระบุด้วย ผลยังมีประโยชน์ได้แม้ไม่ใช่ผลยืนยัน ความโปร่งใสช่วยให้ผู้อ่านประเมินขอบเขตและออกแบบการตรวจสอบแยกต่างหาก