White’s Reality Check เพื่อตรวจ data snooping ใน backtest กลยุทธ์

นักวิจัยอาจลองหน้าต่างค่าเฉลี่ยเคลื่อนที่ กฎ breakout ระยะเวลาถือครอง ตลาด และตัวกรองหลายสิบแบบ แล้วรายงานกลยุทธ์ที่ได้คะแนน backtest สูงสุด ผู้ชนะรายนี้ไม่ใช่ผู้สมัครเดี่ยวทั่วไป เพราะการค้นหาเปิดโอกาสให้ดูโดดเด่นหลายครั้ง หากทดสอบผู้ชนะราวกับกำหนดไว้ก่อนเห็นข้อมูล ก็เท่ากับละเลยขั้นตอนการคัดเลือก

White’s Reality Check นำการคัดเลือกมาเป็นส่วนหนึ่งของการทดสอบ โดยถามว่ามีผู้สมัครรายใดในกลุ่มที่ตรวจสอบซึ่งมีผลตอบแทนคาดหวังเหนือกว่า benchmark ที่กำหนดหรือไม่ White เขียนสมมติฐานศูนย์เป็นจุดตัดของการเปรียบเทียบทางเดียว: ผลตอบแทนคาดหวังของผู้สมัครแต่ละรายเมื่อเทียบกับ benchmark ไม่เกินศูนย์ สมมติฐานทางเลือกคือมีอย่างน้อยหนึ่งรายที่ได้เปรียบคาดหวังเป็นบวก Benchmark อาจเป็นการซื้อแล้วถือ กฎพยากรณ์แบบง่าย หรือเกณฑ์เปรียบเทียบอื่น แต่ต้องตรงกับคำถามวิจัยและกำหนดก่อนดูผลการทดสอบ ดูกรอบอย่างเป็นทางการในบทความต้นฉบับของ White

นี่เป็นคำถามเกี่ยวกับผู้สมัครทั้งกลุ่ม ไม่ใช่คำรับรองกลยุทธ์ที่บังเอิญชนะ การปฏิเสธสมมติฐานศูนย์บอกว่ากลุ่มที่บันทึกไว้มีหลักฐานด้านความเหนือกว่าภายใต้สถิติและสมมติฐานที่เลือก ไม่ได้พิสูจน์ว่าผู้สมัครทุกรายมีประโยชน์ ผู้ชนะจะยังดีที่สุด หรือความได้เปรียบจะอยู่รอดในระบอบตลาดใหม่

กำหนด d[k,t] เป็นผลตอบแทนของผู้สมัคร k ลบผลตอบแทน benchmark ในช่วงเวลาเดียวกัน t; ค่าที่สูงขึ้นต้องเป็นผลดีต่อผู้สมัครเสมอ หากเปรียบเทียบผลตอบแทน อาจใช้ผลตอบแทนสุทธิของผู้สมัครลบผลตอบแทนสุทธิของ benchmark แต่ถ้าเปรียบเทียบความสูญเสียจากการพยากรณ์ ให้ใช้ความสูญเสียของ benchmark ลบของผู้สมัคร ข้อตกลงเรื่องเครื่องหมายต้องทำให้ค่าบวกหมายถึงผู้สมัครได้เปรียบ

แต่ละแถวต้องแทนช่วงเวลาเดียวกันสำหรับผู้สมัครทุกคน ใช้สกุลเงิน นิยามผลตอบแทน วิธีคิดต้นทุนเงินทุน และนโยบายค่าใช้จ่ายแบบเดียวกัน หากข้ออ้างเกี่ยวกับผลตอบแทนที่สามารถดำเนินการได้จริง ให้หักค่าคอมมิชชัน spread, slippage, funding และต้นทุนการยืมที่เกี่ยวข้องก่อนคำนวณ d[k,t] การทดสอบผลตอบแทนขั้นต้นแล้วกล่าวถึงต้นทุนเพียงในเชิงอรรถเป็นการตอบคนละคำถาม

ค่าเฉลี่ยตัวอย่างของผู้สมัคร k คือ d̄[k] = (1/T) Σ_t d[k,t] สมมติฐานศูนย์ร่วมคือ H0: max_k E[d[k,t]] ≤ 0 และสมมติฐานทางเลือกคือ H1: max_k E[d[k,t]] > 0 ผู้สมัครทุกคนใช้ benchmark ร่วมกันและเกณฑ์เดียวกัน หากวันที่ขาดหายหรือความถี่การสังเกตต่างกัน ให้กำหนดช่วงข้อมูลร่วมที่สมเหตุผลก่อนคำนวณส่วนต่าง อย่าให้ผู้สมัครรายหนึ่งได้ช่วงเวลาที่เอื้อกว่าโดยไม่เปิดเผย

กลุ่มนี้รวมกฎที่อาจมีผลต่อการเลือกผู้ชนะที่รายงาน เช่น lookback ที่ทดสอบ เกณฑ์เข้า สัญญาณผสม จักรวาลสินทรัพย์ ระยะเวลาถือครอง ข้อจำกัดพอร์ต และสมมติฐานการส่งคำสั่ง รวมถึงการปรับด้วยมือที่ลองแล้วทิ้งหลังเห็นผล ในบทความปี 2000 White ใช้คำว่า “specification search” ในความหมายกว้าง: กระบวนการเลือก ไม่ใช่แค่ตารางสุดท้าย ที่สร้างปัญหาการคัดเลือก

มีข้อผิดพลาดสองแบบที่สวนทางกัน การตัดการทดลองที่ช่วยเลือกกลยุทธ์ออกทำให้การปรับผลมองโลกดีเกินไป เพราะ bootstrap เห็นการค้นหาที่เล็กกว่าที่เกิดขึ้นจริง ส่วนการเพิ่มกฎที่ไม่เกี่ยวข้องและเลือกตามใจจำนวนมากภายหลังอาจทำให้การทดสอบอนุรักษนิยมเกินจำเป็นและลดโอกาสพบผู้สมัครที่มีประโยชน์ กำหนดกลุ่มตามกระบวนการคัดเลือกจริงและเก็บบันทึกงานวิจัยที่ตรวจสอบขอบเขตได้

การทดสอบไม่สามารถเดาการทดลองที่ไม่เคยบันทึกได้ สมุดที่มีเฉพาะชุดพารามิเตอร์ชนะไม่พอสำหรับสร้างกระบวนการค้นหาขึ้นใหม่ เก็บทะเบียนผู้สมัคร รุ่นข้อมูล ช่วงประเมิน เป้าหมาย สมมติฐานต้นทุน และการตัดสินใจเลือกไว้ด้วยกัน หากกลุ่มเปลี่ยนหลังตรวจผล ให้ระบุว่าเปลี่ยนอะไรและเพราะเหตุใด อย่านำกลุ่มที่สร้างย้อนหลังมาเสนอราวกับกำหนดไว้ล่วงหน้า

คำนวณผลตอบแทนสัมพัทธ์เฉลี่ยของผู้สมัครแต่ละราย แล้วเลือกค่าที่มากที่สุด สถิติที่ไม่ studentize ซึ่งใช้กันคือ Vobs = √T × max_k d̄[k] ค่าสูงสุดสำคัญเพราะแทนขั้นตอน “เลือกตัวที่ดีที่สุด” ซึ่งทำให้เกิดผู้ชนะที่เห็นในข้อมูล การทดสอบเฉพาะคอลัมน์ผู้ชนะจะตัดขั้นตอนนี้ออกจาก distribution อ้างอิง

Bootstrap ประมาณว่าค่าสูงสุดอาจโตได้เพียงใดจากความผันผวนของตัวอย่าง หากสมมติฐานศูนย์ร่วมเรื่องไม่มีความเหนือกว่าเป็นจริง ในการสุ่ม bootstrap ครั้งที่ b ให้สุ่มเวกเตอร์ส่วนต่างตามเวลาของผู้สมัครทั้งหมดใหม่ แล้วคำนวณสถิติที่จัดศูนย์ เช่น V*b = √T × max_k(d̄*[k,b] − d̄[k]) การจัดศูนย์ทำให้ค่าเฉลี่ยผู้สมัครอยู่ที่ขอบสมมติฐานศูนย์ซึ่งเสียเปรียบที่สุดและมีความได้เปรียบคาดหวังเป็นศูนย์ ส่วนค่าสูงสุดยังรักษาการเลือกจากผู้สมัครทั้งกลุ่มไว้ บทความของ White พัฒนา distribution bootstrap ของค่าสูงสุดและเปรียบเทียบกับสถิติที่สังเกตได้

ทำขั้นตอนนี้ซ้ำหลายครั้ง ค่า p ที่ปรับแล้วคือสัดส่วนของค่าสูงสุดจาก bootstrap ที่ไม่น้อยกว่า Vobs เมื่อมี B ครั้ง ค่าประมาณ Monte Carlo ที่ใช้กันคือ (1 + count{V*b ≥ Vobs})/(B + 1) วิธีนำไปใช้ต่างกันได้ในเรื่อง studentization หรือรายละเอียดโมเดลที่ประมาณ จึงควรบันทึกสถิติและวิธีจัดศูนย์ภายใต้สมมติฐานศูนย์ ประเด็นสำคัญคือคำนวณค่าสูงสุดของทั้งกลุ่มใหม่ในทุกครั้ง ไม่ใช่ประเมินผู้ชนะที่สังเกตได้เพียงรายเดียว

ข้อมูลการเงินเรียงตามเวลา การสลับลำดับอย่างเป็นอิสระอาจลบ serial dependence, volatility clustering และช่วงที่กำไรหรือขาดทุนสัมพันธ์กัน นอกจากนี้ยังอาจบิดเบือนความสัมพันธ์ระหว่างกลยุทธ์ที่ตอบสนองต่อวันตลาดเดียวกัน ลักษณะเหล่านี้มีผลต่อหางของสถิติค่าสูงสุด การสุ่มผู้สมัครแยกกันหรือสุ่มวันเดี่ยวแบบใส่คืนจึงอาจสร้าง distribution อ้างอิงที่ผิด

White อธิบายวิธีสำหรับข้อมูลที่มี dependence เช่น moving-block bootstrap และวิเคราะห์ stationary bootstrap ของ Politis กับ Romano ในวิธีนี้ บล็อกที่สุ่มมามักต่อไปยังการสังเกตเวลาถัดไป และเมื่อเริ่มใหม่แบบสุ่มจะเริ่มจากวันสุ่มอีกวันหนึ่ง ความยาวบล็อกจึงมีการแจกแจงแบบเรขาคณิตและมีค่าเฉลี่ยที่กำหนด ภายใต้สมมติฐานและการปรับวิธีอย่างเหมาะสม จะรักษาลำดับระยะสั้นได้ดีกว่าการสุ่ม i.i.d. ดูบทความ stationary bootstrap ของ Politis และ Romano

สำหรับกลุ่มกลยุทธ์ ให้สุ่มลำดับดัชนีเวลาร่วมหนึ่งชุด แล้วนำไปใช้กับเวกเตอร์ทั้งแถว (d[1,t], …, d[K,t]) วิธีนี้รักษาทั้งลำดับเวลาในบล็อกและ dependence ระหว่างผู้สมัคร ณ เวลาเดียวกัน เลือกความยาวบล็อกตาม horizon ของกลยุทธ์และการวินิจฉัย dependence พร้อมรายงานความไวต่อทางเลือกที่สมเหตุผล หากกระบวนการวิจัยประมาณพารามิเตอร์ใหม่ ให้พิจารณาว่าขั้นตอนนั้นอยู่ในเป้าหมายการอนุมานหรือไม่ และทำซ้ำภายในแต่ละตัวอย่างเมื่อจำเป็น การสุ่มเฉพาะผลตอบแทนที่ fit และตรึงไว้แล้วอาจกำหนดเงื่อนไขและตัดบางส่วนของกระบวนการออก

สมมติว่านักวิจัยเปรียบเทียบสามกลยุทธ์กับ benchmark ตลอด T = 252 วันซื้อขาย ส่วนต่างผลตอบแทนรายวันเฉลี่ยหลังต้นทุนคือ +2.0, +1.0 และ −0.5 basis point ค่าเฉลี่ยของผู้ชนะจึงเป็น 2.0 basis point และสถิติที่สังเกตได้คือ √252 × 2.0 bp ≈ 31.75 bp·√วันซื้อขาย การคูณสเกลนี้เป็นส่วนหนึ่งของสถิติทดสอบ ไม่ใช่ t-statistic เพราะไม่ได้หารด้วย standard error ที่ประมาณได้

ต่อมาสมมติว่าทำ stationary bootstrap 9,999 ครั้ง โดยใช้วันที่ที่สุ่มได้ชุดเดียวกันสำหรับผู้สมัครทั้งสาม ในผลสมมตินี้ มีค่าสูงสุดจากการสุ่ม 1,199 ครั้งที่เท่ากับหรือมากกว่า 31.75 ค่าประมาณ Monte Carlo ที่ปรับบวกหนึ่งคือ (1 + 1,199)/(9,999 + 1) = 0.12 การทดสอบเฉพาะผู้ชนะอาจได้ 0.03 ในสมมติฐาน แต่จะละเลยการค้นหาระหว่างผู้สมัครสามราย ค่า p ของ Reality Check ใช้การเปรียบเทียบทั้งกลุ่ม จึงไม่ปฏิเสธสมมติฐานศูนย์ร่วมที่ระดับ 5% ในตัวอย่างนี้

ตัวเลขนี้สร้างขึ้นเพื่ออธิบายการคำนวณ ไม่ใช่ผลตอบแทนตลาดที่วัดได้หรือผลจากบทความของ White ค่า p 0.12 ไม่ได้หมายความว่ากลยุทธ์มีโอกาสขาดทุน 12% แต่หมายถึง ภายใต้ bootstrap และการสร้างสมมติฐานศูนย์ที่กำหนด ค่าสูงสุดระดับนี้หรือมากกว่าไม่ได้หายากพอให้ปฏิเสธที่ระดับซึ่งเลือกไว้ ค่าเฉลี่ยตัวอย่างยังไม่บอกด้วยว่าผลตอบแทนคุ้มค่าทางเศรษฐกิจหลังคำนึงถึงความเสี่ยง ความจุ และการดำเนินการหรือไม่

ค่า p ของ Reality Check ที่ต่ำเป็นหลักฐานโต้แย้งข้อกล่าวอ้างว่าไม่มีสมาชิกใดในกลุ่มที่รวมไว้เหนือกว่า benchmark ที่เลือกในด้านผลตอบแทนคาดหวัง ภายใต้สมมติฐานของการทดสอบ เนื่องจากสมมติฐานศูนย์เป็นสมมติฐานร่วม การปฏิเสธจึงไม่ได้ระบุโดยอัตโนมัติว่าผู้สมัครใดมีความได้เปรียบที่ยั่งยืน ตัวผู้ชนะอาจเปลี่ยนในตัวอย่างอื่น และหลักฐานของกลยุทธ์หนึ่งอาจอ่อนแม้ปฏิเสธสมมติฐานระดับกลุ่มได้

ค่า p สูงหมายถึงยังปฏิเสธสมมติฐานศูนย์ไม่ได้ ไม่ใช่หลักฐานว่าทุกกลยุทธ์เทียบเท่า benchmark ตัวอย่างสั้น ผลงานผันผวน กลุ่มใหญ่เกินไป การวัดไม่ดี หรือกำลังทดสอบต่ำอาจทำให้ได้ผลแบบนั้น ค่า p ก็ไม่ใช่ความน่าจะเป็นที่สมมติฐานศูนย์เป็นจริง แต่เป็นความน่าจะเป็นส่วนหางของ distribution อ้างอิงซึ่งขึ้นกับชุดผู้สมัคร ตัววัดผลงาน benchmark การออกแบบ bootstrap และข้อมูลที่สังเกตได้

คำถามของ White เป็นการเปรียบเทียบเชิงสัมพัทธ์ กฎหนึ่งอาจชนะ benchmark ที่อ่อนแต่ยังขาดทุน หรือไม่ชนะ benchmark ที่แข็งแต่ยังสร้างผลตอบแทนบวกได้ รายงานทั้งผลตอบแทนสัมบูรณ์และเทียบ benchmark พร้อมความไม่แน่นอน turnover, drawdown, capacity และต้นทุนที่สมจริง หลักฐานทางสถิติของความเหนือกว่าเชิงพยากรณ์แบบสัมพัทธ์กับความคุ้มค่าทางเศรษฐกิจของการลงทุนเป็นคนละข้อสรุป

ทฤษฎีต้นฉบับอาศัยเงื่อนไข regularity สำหรับกระบวนการส่วนต่างผลตอบแทนและ limit distribution กรอบของ White รวมอนุกรมเวลาที่ stationary และ strongly mixing; bootstrap ที่มี dependence ก็ต้องใช้ลำดับความยาวบล็อกที่เหมาะสมเช่นกัน ในตัวอย่างขนาดจำกัด การเปลี่ยนระบอบตลาด structural break, long memory, jump ที่พบไม่บ่อย และ volatility ที่ไม่เสถียรอาจทำให้การประมาณแบบ stationary น่าสงสัย Block bootstrap รักษา dependence ในพื้นที่ไว้บางส่วน แต่ไม่ได้สร้างระบอบอนาคตที่ไม่รู้จักขึ้นมาใหม่

การทดสอบยังรับช่วงข้อผิดพลาดจากข้อมูลและการประเมินกลยุทธ์ด้วย look-ahead leakage, survivorship bias, ข้อมูลที่แก้ไขย้อนหลัง, fill ที่ไม่สมจริง, ต้นทุนที่ตกหล่น, การจัดการ corporate action ผิด และ benchmark ที่เลือกหลังเห็นผล ล้วนทำให้ส่วนต่างผลตอบแทนใช้ไม่ได้ หากระยะเวลาถือครองทับซ้อน ผลตอบแทนอาจมี dependence จากโครงสร้างเอง หน่วย resampling และความยาวบล็อกต้องแทน dependence นี้ หาก metric สุดท้ายไม่เป็นเชิงเส้น เช่น Sharpe ratio ให้คำนวณใหม่ในแต่ละรอบ แทนที่จะคิดว่า bootstrap ของผลตอบแทนเฉลี่ยทดสอบ metric นั้นโดยอัตโนมัติ

การนำ Reality Check ไปใช้อาจ conservative โดยเฉพาะเมื่อกลุ่มใหญ่มีทางเลือกที่ด้อยชัดเจนจำนวนมาก distribution ของค่าสูงสุดที่กว้างอาจทำให้ปฏิเสธได้ยากแม้มีผู้สมัครที่ดี การทดสอบ Superior Predictive Ability ของ Hansen เป็นวิธี bootstrap ที่เกี่ยวข้องและจัดการทางเลือกที่อ่อนต่างออกไป แต่ไม่ใช่สิ่งทดแทนทั่วไป และยังต้องตรวจสมมติฐาน เปรียบเทียบวิธีตามคำถามวิจัยและรายงาน sensitivity อย่าเลือกวิธีเพียงเพราะให้ผลที่ต้องการ

White’s Reality Check ถามว่าหลังปรับผลจากการคัดเลือกแล้ว ครอบครัวการค้นหาที่บันทึกไว้มีผู้สมัครซึ่งเหนือกว่า benchmark หรือไม่ แต่ไม่ได้แทน chronological holdout หรือการประเมิน walk-forward ของกลยุทธ์ที่ตรึงไว้ และไม่ได้แก้ label overlap หรือ leakage ด้วยตัวเอง PBO ต่างออกไป: สรุปว่าผู้ชนะ in-sample อยู่ต่ำกว่า median ของผู้สมัครบ่อยเพียงใดใน combinatorial split; บทความ PBO ต้นฉบับ นิยามการวินิจฉัยความเสี่ยงการเลือกนี้ ส่วนขั้นตอน false discovery พิจารณาสัดส่วนผลผิดที่คาดหมายในบรรดาการปฏิเสธหลายครั้ง Deflated Sharpe Ratio ปรับการประเมินนัยสำคัญที่ใช้ Sharpe เพื่อคำนึงถึงการคัดเลือกและผลตอบแทนที่ไม่เป็นปกติ อ่านต่อในคู่มือ multiple testing และ false discovery rate ในการเงิน, PBO และ CSCV, การตรวจสอบ walk-forward และ purged cross-validation กับ embargo

ในการทบทวนเชิงปฏิบัติ ให้ตรึง benchmark และนิยามผลตอบแทน สร้างกลุ่มผู้สมัครที่ใช้จริงขึ้นใหม่ คำนวณส่วนต่างแบบจับคู่ในแต่ละช่วง เลือกและอธิบายการออกแบบ resampling ที่รักษา dependence แล้วรายงาน maximum statistic และ bootstrap tail probability จากนั้นทดสอบกระบวนการคัดเลือกที่ตรึงไว้กับข้อมูลตามลำดับเวลาช่วงหลัง และประเมินต้นทุนกับความเป็นไปได้ในการดำเนินการแยกต่างหาก งานประยุกต์ของ Sullivan, Timmermann และ White กับกฎเทคนิคการซื้อขายแสดงว่าทำไม universe ของกฎทั้งหมดจึงสำคัญ: ข้อสรุปอาจเปลี่ยนเมื่อรวมการค้นหาทั้งหมดในการอนุมาน แทนที่จะดูเฉพาะผู้ชนะที่รายงาน Reality Check แก้ปัญหาการเลือกอย่างเฉพาะเจาะจง ไม่ได้รับรองว่า backtest จะผ่านการซื้อขายจริง