การทดสอบย้อนหลัง VaR: อธิบายการทดสอบของ Kupiec และ Christoffersen

Value at Risk (VaR) คือเกณฑ์ขาดทุนที่สัมพันธ์กับระดับความเชื่อมั่นและช่วงเวลาที่กำหนด หาก VaR หนึ่งวันระดับ 99% เท่ากับ 10,000 ดอลลาร์ แบบจำลองระบุว่าภายใต้ข้อมูลและสมมติฐานของตน มีโอกาส 1% ที่ผลขาดทุนหนึ่งวันจะเกิน 10,000 ดอลลาร์ ตัวเลขนี้ไม่ใช่เพดานขาดทุน และไม่ได้บอกว่าขาดทุนอาจมากเพียงใดเมื่อทะลุเกณฑ์

การทดสอบย้อนหลังแปลงชุดการพยากรณ์และผลที่เกิดขึ้นให้เป็นลำดับตัวบ่งชี้เหตุการณ์ที่ขาดทุนเกิน VaR สำหรับแบบจำลอง VaR หนึ่งวันที่ปรับเทียบได้ดีที่ระดับ 99% สัดส่วนของเหตุการณ์ควรอยู่ใกล้ 1% เมื่อพิจารณาการสังเกตที่เทียบเคียงกันซ้ำ ๆ ข้อกำหนดมีสองด้าน: ความถี่ระยะยาวควรใกล้อัตราเป้าหมาย และลำดับเหตุการณ์ไม่ควรขัดกับการพยากรณ์ความเสี่ยงแบบมีเงื่อนไข การทดสอบ proportion-of-failures (POF) ของ Kupiec เน้นด้านแรก ส่วนการทดสอบ independence และ conditional coverage ของ Christoffersen นำลำดับเวลามาพิจารณาด้วย

ความแตกต่างนี้มีผลในทางปฏิบัติ แบบจำลองหนึ่งอาจมี VaR exception สี่ครั้งในหนึ่งปีและเกิดทั้งหมดในสัปดาห์ที่ตลาดผันผวน อีกแบบจำลองอาจมีสี่ครั้งเท่ากันแต่กระจายตลอดปี การทดสอบที่ดูเฉพาะจำนวนจะเห็นสี่ครั้งเหมือนกัน ส่วนการทดสอบที่ดูจังหวะเวลาจะเห็นลำดับที่ต่างกัน วิธีด้านล่างช่วยอธิบายคุณสมบัติเหล่านี้ แต่ไม่ได้แทนการตรวจสอบสถานะการลงทุน ข้อมูลตลาด สมมติฐาน หรือขนาดความเสียหายจริง หากต้องการดูว่า GARCH จำลองการกระจุกตัวของความผันผวนอย่างไร อ่าน คู่มือ GARCH และ volatility clustering ซึ่งอธิบายรูปแบบความผันผวน ส่วน backtest จะเปรียบเทียบการพยากรณ์ความเสี่ยงกับผลที่เกิดขึ้นจริง

ใช้ข้อตกลงเรื่องเครื่องหมายแบบเดียวตลอดการวิเคราะห์ ให้ Lₜ เป็นผลขาดทุนจริงในวันที่ t และ VaRₜ|ₜ₋₁ เป็นเกณฑ์ขาดทุนหนึ่งวันที่พยากรณ์ด้วยข้อมูลซึ่งมีอยู่ก่อนวันที่ t กำหนดตัวบ่งชี้ Iₜ = 1 เมื่อ Lₜ > VaRₜ|ₜ₋₁ และ Iₜ = 0 ในกรณีอื่น หากเป็น VaR 99% ความน่าจะเป็นเป้าหมายของการเกินเกณฑ์คือ α = 1 − 0.99 = 0.01 บางแหล่งนิยามตัวบ่งชี้ด้วยผลตอบแทนหรือใช้เหตุการณ์ที่อยู่ภายในช่วงแทน ซึ่งเทียบเท่ากันเมื่อปรับเครื่องหมายและความน่าจะเป็นให้สอดคล้อง ควรระบุให้ชัดว่าใช้แบบใด

การพยากรณ์และผลลัพธ์ต้องอ้างถึงพอร์ต ช่วงเวลา เวลาประเมิน และนิยามผลขาดทุนชุดเดียวกัน หากคำนวณ VaR หลังตลาดปิดเพื่อพยากรณ์วันซื้อขายถัดไป ให้เทียบกับผลขาดทุนของวันถัดไปตามกติกาประเมินที่กำหนดไว้ล่วงหน้า ตัดสินใจล่วงหน้าว่าจะจัดการกรณีผลขาดทุนเท่ากับค่า VaR วันหยุด ข้อมูลหาย ตลาดปิด การแก้ข้อมูลระหว่างวัน และการเปลี่ยนพอร์ตอย่างไร เมื่อเหตุการณ์เกิดไม่บ่อย ความแตกต่างในการจัดประเภทเพียงครั้งเดียวอาจทำให้ผลเปลี่ยนได้มาก

แยกช่วงเลือกแบบจำลองออกจากช่วงประเมินขั้นสุดท้าย หากเลือกพารามิเตอร์หรือเกณฑ์ความเสี่ยงหลังจากดูข้อมูลช่วงเดียวกับที่นำมาทดสอบ ค่า p จะไม่ใช่การตรวจสอบนอกตัวอย่างอย่างสะอาด สำหรับการพยากรณ์แบบ rolling ให้บันทึกเวลาที่ออกการพยากรณ์และข้อมูลที่มีอยู่ในขณะนั้น การพยากรณ์หลายวันที่มีช่วงซ้อนกันอาจทำให้ตัวบ่งชี้ exception พึ่งพากัน การทดสอบมาตรฐานต่อไปนี้ไม่ได้แก้ปัญหาช่วงเวลาไม่ตรงกัน การใช้ข้อมูลอนาคต ข้อมูลที่แก้ย้อนหลัง หรือกระบวนการเลือกแบบจำลองโดยอัตโนมัติ

สมมติมีคู่การพยากรณ์กับผลลัพธ์ที่เทียบเคียงได้ T คู่ และมี exception x ครั้ง สัดส่วนที่สังเกตได้คือ p̂ = x/T การทดสอบ proportion-of-failures ของ Kupiec (งานปี 1995) หรือ unconditional coverage เปรียบเทียบ likelihood แบบทวินามสองแบบ: แบบแรกตรึงความน่าจะเป็นของ exception ไว้ที่ค่าเป้าหมาย α ส่วนอีกแบบประมาณอย่างอิสระเป็น p̂ สถิติ likelihood-ratio คือ

LRᵤ꜀ = −2 ln [ (1−α)^(T−x) α^x / ((1−p̂)^(T−x) p̂^x) ]

ภายใต้สมมติฐานศูนย์ ตัวบ่งชี้ exception เป็นเหตุการณ์ Bernoulli ที่เป็นอิสระและมีความน่าจะเป็น α เมื่อมีตัวอย่างมากพอ สถิตินี้มีการแจกแจงโดยประมาณแบบไคสแควร์ที่มีองศาอิสระ 1 ค่าสถิติสูงเป็นหลักฐานให้ปฏิเสธความถี่ exception ที่ระบุไว้ เนื่องจากสมมติฐานทางเลือกประมาณอัตราที่สังเกตได้อย่างอิสระ การทดสอบจึงอาจปฏิเสธได้ทั้งกรณีที่เกิด exception มากเกินไปและน้อยเกินไป แบบจำลองที่แทบไม่ทะลุ VaR ไม่ได้แปลว่าปรับเทียบดีเสมอไป เพราะอาจอนุรักษนิยมเกินจนไม่เหมาะกับการใช้งาน

POF ใช้จำนวน x ไม่ได้ใช้วันที่เกิด exception การสลับลำดับตัวบ่งชี้เดิมไม่ทำให้ค่าสถิติเปลี่ยน ดังนั้นผล POF เพียงอย่างเดียวบอกไม่ได้ว่า exception สี่ครั้งกระจายห่างกันหรือเกิดติดกัน likelihood ทวินามยังอาศัยสมมติฐานว่าเหตุการณ์เป็นอิสระ หากต้องการตรวจการกระจุกตัว ให้เพิ่มการทดสอบที่ออกแบบมาสำหรับ dependence แทนการอนุมานรูปแบบจากผล POF

พิจารณาตัวอย่างสมมติของการพยากรณ์ VaR หนึ่งวันระดับ 99% จำนวน 250 วัน อัตราเป้าหมายคือ α = 0.01 ดังนั้นจำนวน exception ที่คาดภายใต้สมมติฐานศูนย์คือ Tα = 250 × 0.01 = 2.5 ครั้ง สมมติพบ exception สี่ครั้ง จะได้ p̂ = 4/250 = 0.016 หรือ 1.6% ซึ่งสูงกว่าเป้าหมาย 1% แต่ช่องว่างนี้เพียงอย่างเดียวยังบอกไม่ได้ว่าการทดสอบ likelihood-ratio จะปฏิเสธหรือไม่

แทน T = 250, x = 4 และ α = 0.01 ในสูตร จะได้ LRᵤ꜀ ≈ 0.769 เมื่อใช้การแจกแจงอ้างอิงไคสแควร์(1) แบบ asymptotic จะได้ p ≈ 0.38 และค่าวิกฤตระดับ 5% ประมาณ 3.84 ตามการประมาณนี้ ตัวอย่างไม่ปฏิเสธสมมติฐาน unconditional coverage ที่ระดับ 5% ตัวเลขนี้เป็นตัวอย่างคำนวณ ไม่ใช่ผลจากข้อมูลตลาดจริงหรือเกณฑ์ยอมรับที่ควรใช้ทั่วไป

ค่า log-likelihood สองค่าช่วยให้เห็นที่มาของสถิติ เมื่อตรึงอัตราไว้ที่เป้าหมาย ℓ₀ = 246 ln(0.99) + 4 ln(0.01) ≈ −20.893 ส่วนเมื่อประมาณอัตราจากข้อมูล ℓ₁ = 246 ln(0.984) + 4 ln(0.016) ≈ −20.508 ค่าแบบไม่ตรึงสูงกว่าประมาณ 0.385 หน่วย log-likelihood จึงได้ LRᵤ꜀ = −2(ℓ₀ − ℓ₁) ≈ 0.769 การทดสอบวัดการสูญเสียความพอดีเมื่อเทียบกับแบบจำลองที่ใช้อัตราเป้าหมาย ไม่ได้วัดความคลาดเคลื่อนเป็นจำนวนเงิน

การไม่ปฏิเสธไม่ได้พิสูจน์ว่าแบบจำลองปรับเทียบได้ดี เพราะคาด exception เพียง 2.5 ครั้ง การเพิ่มหรือลดหนึ่งหรือสองครั้งจึงเปลี่ยนอัตราที่สังเกตได้อย่างเห็นได้ชัด การคำนวณไคสแควร์เป็นการประมาณแบบ asymptotic และการทดสอบเหตุการณ์หายากอาจมีกำลังต่ำในตัวอย่างขนาดนี้ อ่านค่าสถิติควบคู่กับจำนวนที่คาด ช่วงพยากรณ์ การออกแบบการทดสอบ และขนาดตัวอย่าง ค่า p ไม่ใช่ความน่าจะเป็นที่แบบจำลอง VaR เป็นจริง

เปรียบเทียบลำดับสมมติสองชุดที่ยาว 250 วันและมี exception ชุดละสี่ครั้ง ในชุด A เกิดวันที่ 20, 80, 140 และ 220 ส่วนชุด B เกิดวันที่ 60, 61, 180 และ 181 ทั้งคู่มี x = 4 และ p̂ = 1.6% จึงได้สถิติ Kupiec เท่ากัน แต่ B มีคู่ exception ที่เกิดติดกันสองคู่ ส่วน A ไม่มีคู่เช่นนั้น

ภาพประกอบด้านล่างแสดงเชิงแนวคิดว่าทำไมควรเก็บลำดับ exception ไม่ใช่แค่ยอดรวม ภาพไม่ได้เป็นข้อมูลจริง 250 วันและไม่ได้แสดงผลการทดสอบ การเกิด exception ต่อเนื่องอาจเป็นเหตุให้ตรวจว่าแบบจำลองตอบสนองต่อความผันผวนที่เปลี่ยนไปทันหรือไม่ แต่ข้อมูลเพียงไม่กี่จุดระบุสาเหตุไม่ได้ อาจเกี่ยวข้องกับแบบจำลองผิดข้อกำหนด ตลาดช็อก การเปลี่ยนพอร์ต ช่วงเวลาที่ซ้อนกัน หรือกติกาเวลาและข้อมูล

ให้ nᵢⱼ เป็นจำนวนครั้งที่ตัวบ่งชี้ก่อนหน้าเป็น i และตัวปัจจุบันเป็น j โดย 0 หมายถึงไม่เกิด exception และ 1 หมายถึงเกิด exception เมื่อนับโดยไม่รวมขอบเขตลำดับ ตาราง transition ทั้งหมดคือ A: n₀₀ = 241, n₀₁ = 4, n₁₀ = 4, n₁₁ = 0 และ B: n₀₀ = 243, n₀₁ = 2, n₁₀ = 2, n₁₁ = 2 ทั้งคู่มีสี่ครั้ง แต่ใน B มีสองครั้งที่ตามหลัง exception ของวันก่อน นี่คือข้อมูลที่การทดสอบ independence ลำดับหนึ่งใช้

ความน่าจะเป็นที่ประมาณได้ของ exception หลังวันที่ไม่เกิด exception คือ n₀₁/(n₀₀+n₀₁) และหลังวันที่เกิด exception คือ n₁₁/(n₁₀+n₁₁) สำหรับ A ได้ 4/245 ≈ 1.63% และ 0/4; สำหรับ B ได้ 2/245 ≈ 0.82% และ 2/4 = 50% ค่า 50% มาจาก transition หลัง exception เพียงสี่ครั้ง จึงเป็นคุณสมบัติของตัวอย่างสมมติขนาดเล็ก ไม่ใช่ค่าประมาณความเสี่ยงวันถัดไปของแบบจำลองจริงที่น่าเชื่อถือ

การทดสอบ independence ของ Christoffersen (บทความปี 1998) เปรียบเทียบอัตรา exception หลังวันที่ไม่มี exception กับหลังวันที่มี exception ให้ π₀ = Pr(Iₜ = 1 | Iₜ₋₁ = 0) และ π₁ = Pr(Iₜ = 1 | Iₜ₋₁ = 1) สมมติฐานศูนย์ของ independence คือ π₀ = π₁ กล่าวคือสถานะ exception เมื่อวานไม่เปลี่ยนโอกาสเกิดวันนี้ ภายใต้สมมติฐานทางเลือกจะประมาณความน่าจะเป็นทั้งสองแยกจาก n₀₀, n₀₁, n₁₀ และ n₁₁

สถิติ likelihood-ratio สำหรับ independence เปรียบเทียบแบบจำลองทั้งสอง และมักเทียบกับการแจกแจงไคสแควร์ที่มีองศาอิสระ 1 ต่างจาก POF ตรงที่ขึ้นกับลำดับตัวบ่งชี้ หาก exception มักเกิดตามหลัง exception อีกครั้ง π₁ อาจสูงกว่า π₀ การทดสอบนี้ตรวจ dependence ลำดับหนึ่งในลำดับข้อมูลสองสถานะ ไม่ได้ตรวจทุกวิธีที่ข้อมูลอดีต ความผันผวน หรือสถานะพอร์ตจะทำนายผลขาดทุนในอนาคตได้

เมื่อมี exception เพียงไม่กี่ครั้ง ค่าประมาณ transition จะไม่เสถียรเป็นพิเศษ หากไม่มี exception ต่อเนื่องเลย ค่าประมาณ π₁ อาจติดขอบที่ศูนย์ แต่นั่นไม่ได้แสดงว่า exception ครั้งที่สองเป็นไปไม่ได้ เพียงแต่ไม่พบในตัวอย่างนี้ ตรวจจำนวน transition และขนาดตัวอย่างควบคู่กับค่าสถิติ อย่าตีความตารางที่มีข้อมูลน้อยราวกับเป็นค่าประมาณความเสี่ยงหางในวันถัดไปที่แม่นยำ

การทดสอบ conditional coverage รวมสถิติความถี่ของ Kupiec กับสถิติ independence ของ Christoffersen: LR꜀꜀ = LRᵤ꜀ + LRᵢₙd สมมติฐานศูนย์ร่วมระบุว่าความน่าจะเป็น exception เท่ากับ α และเหตุการณ์เป็นอิสระตามเวลา ภายใต้กรอบ asymptotic มาตรฐาน จะเปรียบเทียบผลรวมกับการแจกแจงไคสแควร์ที่มีองศาอิสระ 2

ควรรายงานผลแยกแต่ละองค์ประกอบพร้อมผลรวม การปฏิเสธ conditional coverage หมายความว่าข้อกำหนดร่วมไม่สอดคล้องกับลำดับที่สังเกตได้ภายใต้สมมติฐานของการทดสอบ แต่ไม่ได้ระบุสาเหตุ หาก POF ปฏิเสธแต่ independence ไม่ปฏิเสธ จำนวน exception อาจเป็นสัญญาณที่ชัดกว่า หาก independence ปฏิเสธ ควรตรวจการกระจุกตัวของเวลาแม้จำนวนรวมใกล้เป้าหมาย หากไม่ปฏิเสธทั้งคู่ ตัวอย่างก็อาจสั้นเกินกว่าจะเผยข้อผิดพลาด

การตีความมีขอบเขตแคบ การทดสอบย่อผลขาดทุนรายวันเป็นตัวแปร 0/1 จึงไม่แยกว่าขาดทุนเกิน VaR หนึ่งดอลลาร์หรือหนึ่งล้านดอลลาร์ และไม่ได้ตรวจสอบการแจกแจงผลขาดทุนทั้งหมดหรือยืนยัน Expected Shortfall หากต้องการเข้าใจคำถามที่ VaR กับ Expected Shortfall ตอบต่างกัน อ่าน เปรียบเทียบ VaR กับ Expected Shortfall

VaR 99% ในตัวอย่าง 250 วันมีจำนวน exception ที่คาดเพียง 2.5 ครั้ง หาก exception 1% เป็นอิสระ จำนวน transition จาก exception ไปยัง exception ในคู่วันติดกัน 249 คู่จะคาดได้ประมาณ 249 × 0.01² = 0.025 ครั้ง ตัวอย่างส่วนใหญ่จะไม่มีคู่ต่อเนื่องแม้แบบจำลองจะปรับเทียบถูกต้อง ความขาดแคลนนี้ทำให้ประมาณ transition ได้ไม่แม่นและกำลังของการทดสอบ dependence ต่ำ

Christoffersen และ Pelletier รายงานว่าการทดสอบ VaR ที่มีอยู่บางวิธีอาจมีกำลังต่ำในตัวอย่างสั้นที่สมจริง และศึกษาการทดสอบแบบ duration ซึ่งจำลองเวลาระหว่าง exception ผลนี้เป็นเหตุผลให้พิจารณาการวินิจฉัยเพิ่ม ไม่ได้แสดงว่าการทดสอบ duration เหนือกว่าทุกกรณีหรือไม่ต้องจับคู่การทดสอบกับการพยากรณ์และแบบแผนข้อมูล เมื่อมีข้อมูลน้อย ให้ระบุข้อจำกัดแทนการตีความการไม่ปฏิเสธว่าเป็นการรับรองความถูกต้อง

อัตราหางเป้าหมายก็สำคัญ ที่ VaR 95% ตัวอย่าง 250 วันคาด exception 12.5 ครั้ง ส่วน VaR 99.9% คาดเพียง 0.25 ครั้ง ชื่อการทดสอบเหมือนกันไม่ได้ทำให้หลักฐานเทียบเคียงกันได้ ควรรายงานระดับความเชื่อมั่น ช่วงพยากรณ์ จำนวนข้อมูล จำนวน exception ที่คาดและเกิดจริง จำนวน transition และระบุว่าใช้ค่าประมาณ asymptotic หรือวิธีสำหรับตัวอย่างจำกัด

เลือกวิธีถัดไปโดยถามว่าการทดสอบสองแบบแรกทิ้งข้อมูลอะไร หากต้องการตรวจว่า exception คาดการณ์ได้จาก exception ก่อนหน้า ค่า VaR หรือปัจจัยอื่นที่ทราบ ณ เวลาพยากรณ์หรือไม่ การทดสอบ dynamic quantile (DQ) ของ Engle และ Manganelli (บทความ CAViaR ปี 2004) ตรวจข้อจำกัดของตัวบ่งชี้ exception ที่ปรับให้อยู่รอบศูนย์และชุดตัวแปรที่เลือก ผลขึ้นกับเครื่องมือที่เลือกและเวลาที่ตัวแปรนั้นพร้อมใช้งาน จึงไม่ใช่การทดสอบความล้มเหลวแบบมีเงื่อนไขได้ทุกชนิด ส่วนการทดสอบ duration พิจารณาระยะเวลารอระหว่าง exception ซึ่งขยายข้อมูลคนละด้าน

ถ้าสนใจขนาดผลขาดทุนที่เกิน VaR ความถี่และ independence ยังไม่พอ ให้ตรวจขนาดส่วนเกินและเลือกวิธีประเมิน Expected Shortfall ที่เหมาะกับการพยากรณ์และสมมติฐาน หากกังวลว่าคัดเลือกผลที่ดีที่สุดหลังลองแบบจำลองหลายแบบ การทดสอบย้อนหลัง VaR ไม่ได้แก้ปัญหาการเลือกกลยุทธ์ อ่าน PBO และ CSCV สำหรับการวินิจฉัยอันดับของตัวเลือกที่แตกต่างกัน

รายงานที่ตรวจสอบซ้ำได้ควรระบุพอร์ตและนิยามผลขาดทุน ช่วงพยากรณ์ ระดับความเชื่อมั่น วันที่ประเมิน วิธีสร้างการพยากรณ์ กฎ exception จำนวนจริงและคาด สถิติ POF จำนวน transition ผล independence และ conditional coverage ตลอดจนข้อจำกัดจากตัวอย่างสั้นหรือช่วงเวลาซ้อนกัน ควรแสดงกราฟเกณฑ์พยากรณ์เทียบกับผลขาดทุนจริงตามเวลา และกันข้อมูลประเมินอนาคตไว้ระหว่างเลือกแบบจำลอง ขั้นตอนเหล่านี้ช่วยให้อ่านหลักฐานในอดีตได้ แต่ไม่ได้รับประกันว่าจะควบคุมความเสี่ยงในอนาคต