การทดสอบ Pesaran–Timmermann: การพยากรณ์เพิ่มข้อมูลเกี่ยวกับทิศทางหรือไม่?

สมมติว่าตลาดปรับขึ้นใน 60% ของวันที่อยู่ในตัวอย่างประเมิน ผู้พยากรณ์ระบุว่า “ขึ้น” ใน 70% ของวันเหล่านั้น แม้การพยากรณ์กับผลลัพธ์จะไม่เกี่ยวข้องกัน ทั้งสองชุดก็ยังตรงกันค่อนข้างบ่อย เพราะบางวันต่างก็ระบุว่าขึ้น และบางวันต่างก็ระบุว่าลง การนำอัตราทายถูกไปเทียบกับ 50% โดยตรงจะมองข้ามความไม่สมดุลนี้

กรอบ PT ทำให้การเปรียบเทียบนี้ชัดเจน โดยถามว่าทิศทางที่พยากรณ์กับทิศทางที่เกิดขึ้นจริงตรงกันบ่อยกว่าที่คาดจากความถี่ของแต่ละชุดภายใต้ความเป็นอิสระหรือไม่ นี่คือการทดสอบข้อมูลเชิงพยากรณ์ด้านทิศทาง ไม่ใช่คะแนนวัดขนาดผลตอบแทน จังหวะการซื้อขาย หรือมูลค่าของกลยุทธ์ทั้งหมด Pesaran และ Timmermann เสนอการทดสอบสมรรถนะการพยากรณ์โดยใช้ตารางแจกแจงความถี่ร่วม และในกรณีสองกลุ่มแบบ 2×2 การทดสอบของทั้งคู่เทียบเท่ากับการทดสอบความเป็นอิสระในเชิงอสมมาตร {source:pesaranTimmermannDirectionalTests1992}

กำหนดให้ \(Y_t=1\) เมื่อจัดผลลัพธ์ที่เกิดขึ้นจริงว่าเป็นการปรับขึ้น และ \(Y_t=0\) เมื่อจัดว่าเป็นการปรับลง ให้ \(Z_t=1\) เมื่อการพยากรณ์ระบุว่าขึ้น และ \(Z_t=0\) เมื่อระบุว่าลง แต่ละแถวในการประเมินควรจับคู่การพยากรณ์ที่ทำ ณ จุดเริ่ม \(t\) กับผลลัพธ์ในช่วงเวลาที่การพยากรณ์นั้นตั้งใจจะทำนาย

สี่ช่องนับคู่ขึ้น/ขึ้น ขึ้น/ลง ลง/ขึ้น และลง/ลง หาก \(n_{11}\) กับ \(n_{00}\) เป็นสองช่องที่ตรงกัน และ \(n\) คือจำนวนคู่ที่จับคู่กันและนำมาใช้ได้ อัตราทายทิศทางถูกที่สังเกตได้คือ

\[ \widehat{P}=\frac{n_{11}+n_{00}}{n}. \]

การตั้งค่านี้แบ่งผลลัพธ์เป็นสองกลุ่ม ตัดสินใจล่วงหน้าว่าจะจัดการผลตอบแทนศูนย์ การพยากรณ์ศูนย์ หรือช่วงเป็นกลางอย่างไร ตัวอย่างเช่น งานวิจัยอาจจัดผลตอบแทนที่ไม่เกินศูนย์เป็น “ไม่ปรับขึ้น” และจัดการพยากรณ์ที่ไม่เกินเกณฑ์เป็น “ไม่ปรับขึ้น” การตัดค่าที่เสมอกันออกก็ทำได้อีกแบบ แต่จะทำให้ตัวอย่างเปลี่ยนและต้องใช้กฎอย่างสม่ำเสมอ อย่านับกรณีศูนย์-ศูนย์เป็นการตรงกันประเภทที่สาม พร้อมกับใช้สูตรเกณฑ์พื้นฐานแบบสองกลุ่ม

จุดเริ่มพยากรณ์และช่วงเป้าหมายต้องตรงกันด้วย หาก \(Z_t\) พยากรณ์เครื่องหมายของผลตอบแทนในห้าวันทำการถัดไป \(Y_t\) ก็ต้องระบุผลตอบแทนห้าวันเดียวกันจากจุดเริ่มเดียวกัน ไม่ใช่ผลตอบแทนหนึ่งวันของวันถัดไป เพราะจะทำให้ตารางรวมเหตุการณ์คนละแบบ การพยากรณ์รายวันที่มีช่วงเป้าหมายห้าวันทับซ้อนกันยังนำมาจับคู่เพื่อทำตารางเชิงพรรณนาได้ แต่จะก่อให้เกิดปัญหาการพึ่งพากันที่จะกล่าวถึงด้านล่าง

ให้ \(\hat p_y\) เป็นสัดส่วนตัวอย่างของผลลัพธ์จริงที่จัดว่าเป็นการปรับขึ้น และให้ \(\hat p_z\) เป็นสัดส่วนตัวอย่างของการพยากรณ์ว่าปรับขึ้น หากป้ายกำกับจริงกับที่พยากรณ์เป็นอิสระต่อกัน สัดส่วนการตรงกันที่คาดหวังคือ

\[ \widehat{P}^{*}=\hat p_y\hat p_z+(1-\hat p_y)(1-\hat p_z). \]

ผลคูณแรกคือความน่าจะเป็นของคู่ขึ้น/ขึ้นภายใต้ความเป็นอิสระ ส่วนผลคูณที่สองคือคู่ลง/ลง ดังนั้นเกณฑ์พื้นฐานจึงเปลี่ยนไปตามสัดส่วนส่วนเพิ่มทั้งสอง อาจสูงหรือต่ำกว่า 50% ก็ได้ การพยากรณ์ที่เลือกทิศทางซึ่งเกิดบ่อยที่สุดเสมออาจมีอัตราทายถูกที่ดูดี โดยไม่ได้เพิ่มข้อมูลที่เป็นประโยชน์

กรณีสุดขั้วทำให้เห็นชัดขึ้น หากตัวจำแนกระบุว่า “ขึ้น” ทุกวัน \(\hat p_z=1\) อัตราทายทิศทางถูกที่สังเกตได้จะเท่ากับสัดส่วนผลลัพธ์ที่ปรับขึ้นจริง \(\hat p_y\) และเกณฑ์พื้นฐานภายใต้ความเป็นอิสระก็เท่ากับ \(\hat p_y\) เช่นกัน ส่วนเกินของการตรงกันจึงเป็นศูนย์ตามนิยาม การพยากรณ์แบบค่าคงที่เช่นนี้อาจดูแม่นยำเมื่อผลลัพธ์ขึ้นบ่อย แต่แยกไม่ได้ว่าวันใดจะปรับขึ้น และความแปรปรวนที่ประมาณได้อาจเสื่อมลงจนไม่มีค่า p ของ PT ตามปกติ

ลองพิจารณาวันที่จับคู่กัน 100 วันซึ่งสมมติขึ้น ผลลัพธ์จริงปรับขึ้น 60 วัน และการพยากรณ์ระบุว่าขึ้น 70 วัน ตารางมีดังนี้:

มีผลลัพธ์ตรงกัน 64 ครั้ง จึงได้ \(\widehat P=0.64\) เกณฑ์พื้นฐานภายใต้ความเป็นอิสระคือ \(0.60\times0.70+0.40\times0.30=0.54\) อัตราทายถูกที่สังเกตได้จึงสูงกว่าเกณฑ์นี้ 10 จุดเปอร์เซ็นต์ จำนวนเหล่านี้เป็นตัวอย่างสมมติเพื่อแสดงการคำนวณ ส่วนต่างเพียงอย่างเดียวไม่ใช่ค่าประมาณความไม่แน่นอนที่ถูกต้องหรือหลักฐานว่าซื้อขายได้ผล

สำหรับสถิติ PT แบบสองกลุ่มมาตรฐาน ให้กำหนด

\[ \widehat v=\frac{\widehat P^{*}(1-\widehat P^{*})}{n} \]

และ

\[ \widehat w=\frac{(2\hat p_y-1)^2\hat p_z(1-\hat p_z)+(2\hat p_z-1)^2\hat p_y(1-\hat p_y)}{n}. \]

ดังนั้น

\[ PT=\frac{\widehat P-\widehat P^{*}}{\sqrt{\widehat v-\widehat w}}. \]

ภายใต้สมมติฐานหลักและเงื่อนไขตัวอย่างขนาดใหญ่ตามปกติ จะเทียบสถิตินี้กับการแจกแจงปกติมาตรฐานแบบอสมมาตร ตัวเศษคือส่วนที่การตรงกันเกินเกณฑ์พื้นฐานภายใต้ความเป็นอิสระ ส่วนตัวส่วนคำนึงถึงการประมาณเกณฑ์ดังกล่าวจากตัวอย่างเดียวกัน แทนที่จะถือว่าเกณฑ์ 50% เป็นค่าคงที่ เอกสารของการใช้งาน statsmodels อธิบายสูตรและสัญลักษณ์นี้ {source:statsmodelsPesaranTimmermannAPI}

นิพจน์ข้างต้นคือรูปความแปรปรวนอสมมาตรอันดับนำที่ statsmodels บันทึกไว้ สูตรเดลตาสำหรับตัวอย่างจำกัดที่สมบูรณ์กว่าในงานต้นฉบับเพิ่มพจน์ \(4\hat p_y\hat p_z(1-\hat p_y)(1-\hat p_z)/n^2\) เข้าใน \(\widehat w\) พจน์อันดับสูงกว่านี้ไม่เปลี่ยนผลอสมมาตรอันดับหนึ่ง แต่อาจทำให้ค่าสถิติจากตัวอย่างจำกัดเปลี่ยนได้ หากผลขึ้นอยู่กับการใช้งาน ควรระบุว่าสูตรใดและซอฟต์แวร์รุ่นใดที่ใช้ แทนที่จะเปรียบเทียบค่า p ราวกับทุกแพ็กเกจคำนวณตัวอย่างจำกัดเหมือนกันหมด

สูตรนี้ไม่สามารถแก้การออกแบบที่อ่อนแอได้ ตัวอย่างขนาดเล็กมาก การพยากรณ์ที่แทบไม่เปลี่ยน ช่องตารางที่ว่าง หรือความแปรปรวนที่ประมาณได้เป็นศูนย์หรือไม่ถูกต้อง อาจทำให้การประมาณตามปกติไม่น่าเชื่อถือหรือไม่สามารถนิยามได้ ในกรณีเหล่านี้อย่าฝืนคำนวณค่า p จากสูตร ให้รายงานสัดส่วนส่วนเพิ่มและตาราง แล้วเลือกวิธีอนุมานที่เหมาะกับข้อมูลและขนาดตัวอย่าง

สำหรับตารางสมมติข้างต้น องค์ประกอบของสูตรอันดับนำคือ \(\widehat v=0.54(0.46)/100=0.002484\) และ \(\widehat w=[0.2^2(0.7)(0.3)+0.4^2(0.6)(0.4)]/100=0.000468\) ค่าคลาดเคลื่อนมาตรฐานคือ \(\sqrt{0.002484-0.000468}\approx0.0449\) จึงได้ \(PT\approx0.10/0.0449=2.23\) การอ้างอิงกับการแจกแจงปกติมาตรฐานแบบสองด้านให้ค่า p โดยประมาณ 0.026 นี่เป็นการคำนวณจากจำนวนสมมติภายใต้สูตรอสมมาตรอันดับนำ พจน์สำหรับตัวอย่างจำกัดที่สมบูรณ์กว่าจะเปลี่ยนค่าเล็กน้อย และการพึ่งพากันตามเวลาอาจทำให้การอ้างอิงแบบปกติใช้ไม่ได้ อย่านำเสนอเป็นผลเชิงประจักษ์

ตัวเศษที่เป็นบวกหมายถึงทิศทางจริงตรงกันบ่อยกว่าเกณฑ์พื้นฐานภายใต้ความเป็นอิสระ ส่วนค่าลบหมายถึงตรงกันน้อยกว่า การทดสอบทางเดียวที่กำหนดไว้ล่วงหน้าถามได้ว่าการตรงกันสูงกว่าเกณฑ์หรือไม่ ส่วนการทดสอบสองทางถามว่าความสัมพันธ์ด้านทิศทางแตกต่างไปทางใดทางหนึ่งหรือไม่ ควรกำหนดสมมติฐานทางเลือกและระดับนัยสำคัญก่อนดูผล

ค่า p ที่ต่ำเป็นหลักฐานคัดค้านสมมติฐานหลักที่ระบุไว้ภายใต้ข้อสมมติของการทดสอบ ไม่ใช่ความน่าจะเป็นที่สมมติฐานหลักเป็นจริง และไม่ใช่ความน่าจะเป็นที่การพยากรณ์จะใช้ได้ในงวดหน้า ค่านี้ไม่ได้บอกว่าผลตอบแทนมากพอจะชดเชยส่วนต่างราคา ค่าธรรมเนียม ผลกระทบต่อตลาด ค่า funding หรือค่ากู้ยืมหรือไม่ และไม่ได้ปรับแก้การทดลองสินทรัพย์ ช่วงเวลา เกณฑ์ ตัวแปรแบบจำลอง หรือเครื่องหมายการพยากรณ์จำนวนมากแล้วรายงานเฉพาะผู้ชนะ หากค้นหากลยุทธ์ที่เป็นไปได้ คู่มือ White Reality Check อธิบายว่าทำไมการอนุมานต้องคำนึงถึงการคัดเลือก

ในทางกลับกัน การไม่ปฏิเสธสมมติฐานหลักไม่ได้พิสูจน์ว่าทิศทางเป็นอิสระต่อกัน ตัวอย่างที่สั้นหรือไม่สมดุลอาจมีพลังไม่พอจะตรวจพบความสัมพันธ์ ค่า PT ที่เป็นลบก็ไม่ได้พิสูจน์ว่าการพยากรณ์ไม่มีโครงสร้างใดเลย แต่อาจบ่งชี้ว่าทิศทางไม่ตรงกันอย่างเป็นระบบ การกลับเครื่องหมายการพยากรณ์หลังเห็นผลดังกล่าวถือเป็นการเลือกโมเดลใหม่ ต้องประเมินกับข้อมูลใหม่หรือรวมไว้ในกระบวนการค้นหาที่กำหนดไว้แต่แรก

รายงานสัดส่วนการปรับขึ้นจริง สัดส่วนการพยากรณ์ขึ้น อัตราทายถูกที่สังเกตได้ เกณฑ์พื้นฐานภายใต้ความเป็นอิสระ ส่วนเพิ่มเป็นจุดเปอร์เซ็นต์ สมมติฐานทางเลือก และวิธีประเมินความไม่แน่นอนร่วมกัน หากรายงานเพียงค่า p โดยไม่มีผลรวมตามขอบตารางและขนาดผล ก็ยากที่จะแยกว่าส่วนเพิ่มเล็กแต่ประมาณได้แม่นยำ หรือใหญ่กว่าแต่มีความผันผวนมาก

โดยทั่วไปจะนำเสนอสถิติ PT ธรรมดาภายใต้สมมติฐานว่าการสังเกตทิศทางตามเวลาเป็นอิสระต่อกัน แต่ป้ายกำกับทางการเงินอาจเกิดเป็นช่วงต่อเนื่อง ข้อมูลรายวันอาจมีเป้าหมายหลายวันที่ซ้อนทับกัน ระบอบความผันผวนอาจคงอยู่ และการพยากรณ์แบบหน้าต่างเลื่อนอาจนำข้อมูลประมาณค่าส่วนใหญ่ชุดเดิมกลับมาใช้ซ้ำ ดังนั้นคู่ข้อมูล \(n\) คู่จึงไม่ใช่ข้อมูลอิสระ \(n\) ชุด ความคลาดเคลื่อนมาตรฐานตามปกติอาจเล็กเกินไปจนปฏิเสธสมมติฐานบ่อยเกินควร

ต่อมา Pesaran และ Timmermann พัฒนาการทดสอบความพึ่งพาระหว่างตัวแปรหลายหมวดหมู่ที่มีสหสัมพันธ์ตามเวลา โดยใช้การถดถอยที่เพิ่มตัวแปรตามพลวัตและกรอบมาร์คอฟอันดับจำกัด {source:pesaranTimmermannSerialCategories2009} งานที่เน้นการพยากรณ์ทิศทางยังพบว่ากระบวนการ PT แบบเดิมที่อาศัยความเป็นอิสระอาจปฏิเสธสมมติฐานบ่อยเกินไปเมื่อมีสหสัมพันธ์ตามเวลา และศึกษาทางเลือกที่ทนต่อความพึ่งพา รวมถึงวิธีบูตสแตรป {source:blaskowitzHerwartzDirectionalSerialCorrelation2014} วิธีที่เหมาะสมขึ้นอยู่กับวิธีสร้างการพยากรณ์ ช่วงเวลาที่พยากรณ์ และโครงสร้างความพึ่งพา การสุ่มตัวอย่างซ้ำแบบทั่วไปไม่ได้ถูกต้องโดยอัตโนมัติ

ระบุว่าจุดเริ่มพยากรณ์ซ้อนทับกันหรือไม่ ห่างกันเท่าใด และใช้วิธีใดคำนวณความไม่แน่นอน หากรายงานสถิติตามตำราเป็นเกณฑ์เชิงพรรณนา ให้ระบุสมมติฐานความเป็นอิสระ อย่าตีความผลที่ระดับนัยสำคัญตามชื่อ 5% ว่ามีอัตราปฏิเสธผิดจริง 5% หากการออกแบบละเมิดสมมติฐานนั้น

สำหรับแต่ละจุดเริ่ม ให้เก็บการพยากรณ์ตามที่ทราบได้ในเวลานั้น ช่วงเวลาที่พยากรณ์ จุดตัดของข้อมูล ผลลัพธ์จริง และกฎแปลงแต่ละค่าเป็นป้ายขึ้น/ลง จัดเวลา ตราสาร นิยามราคา หรือผลตอบแทน และวิธีจัดการข้อมูลหายให้ตรงกันก่อนสร้างตาราง การพยากรณ์ที่ใช้ข้อมูลเศรษฐกิจมหภาคฉบับแก้ไขภายหลัง หรือสัญญาณที่ปรับตามช่วงประเมินแล้ว ไม่ใช่การพยากรณ์นอกตัวอย่างที่ยังไม่ถูกแตะต้อง

เลือกเกณฑ์การจัดกลุ่มก่อนดูผลของชุดทดสอบ หากโมเดลส่งออกความน่าจะเป็น เกณฑ์จะเปลี่ยนค่านั้นเป็นทิศทางแบบสองกลุ่ม การค้นหาเกณฑ์จากตัวอย่างเดียวกันเปลี่ยนคำถามและทำให้เกิดอคติจากการคัดเลือก แยกบทบาทของชุดฝึก ชุดตรวจสอบ และชุดประเมินขั้นสุดท้ายออกจากกัน และทำกระบวนการเลือกทั้งหมดซ้ำภายในทุกครั้งของการสุ่มตัวอย่างซ้ำที่ใช้คำนึงถึงการค้นหาโมเดล

คำถามของ PT ต่างจากการเปรียบเทียบขนาดความคลาดเคลื่อนของการพยากรณ์ คู่มือ Diebold–Mariano เปรียบเทียบผลต่างของการสูญเสียแบบจับคู่ ขณะที่ คู่มือ Giacomini–White ถามว่าความสามารถเชิงพยากรณ์สัมพัทธ์เปลี่ยนไปตามข้อมูลที่กำหนดไว้ก่อนหรือไม่ สำหรับโมเดลพยากรณ์ที่ซ้อนกัน ดู คู่มือการปรับ Clark–West การทดสอบเหล่านี้ตอบคนละคำถามและไม่ควรสลับใช้เพียงเพราะให้ค่าสถิติที่คุ้นเคย

การทดสอบ PT ย่อผลลัพธ์แต่ละค่าให้เหลือป้ายทิศทาง การขึ้นหนึ่ง tick และการพุ่งขึ้นแรงนับเป็นผลขึ้นเหมือนกัน ส่วนการพลาดเล็กน้อยกับการขาดทุนหนักก็นับเป็นความผิดพลาดด้านทิศทางเท่ากัน ดังนั้นอัตราทายถูกอาจดีขึ้นแต่ยังขาดทุน หากครั้งที่พลาดเสียหายมากกว่าครั้งที่ได้กำไร สัญญาณมาหลังราคาขยับ หรือค่าใช้จ่ายในการซื้อขายกินส่วนได้เปรียบจนหมด

ตัวอย่างเช่น สมมติการซื้อขาย 100 ครั้งที่มีขนาดเท่ากัน โดยทิศทางถูก 64 ครั้งและได้กำไรเฉลี่ยครั้งละ 0.10% ส่วนที่ผิด 36 ครั้งและขาดทุนเฉลี่ยครั้งละ 0.25% เมื่อนำมาบวกอย่างง่ายโดยยังไม่รวมผลทบต้นและต้นทุน จะได้ยอดรวมขั้นต้น \(64(0.10\%)-36(0.25\%)=-2.6\) จุดเปอร์เซ็นต์ แม้อัตราทายถูกจะอยู่ที่ 64% การคำนวณที่ตั้งใจทำให้ง่ายนี้ไม่รวมผลทบต้นและไม่ใช่หลักฐานจากตลาด แต่แสดงให้เห็นว่าอัตราทายถูกเพียงอย่างเดียวไม่ได้กำหนดผลตอบแทนคาดหวัง

หากจะประเมินการซื้อขาย ให้กำหนดเวลาเข้าและออก ขนาดสถานะ ขีดจำกัดความเสี่ยง และวิธีจัดการคำสั่งที่ไม่ถูกจับคู่ก่อนคำนวณผลตอบแทน รวมส่วนต่างราคา ค่านายหน้า slippage ผลกระทบต่อตลาด ค่าเงินทุน และค่าใช้จ่ายเฉพาะแพลตฟอร์มตามที่เกี่ยวข้อง เปรียบเทียบผลตอบแทนสุทธินอกตัวอย่างกับเกณฑ์ที่เหมาะสม และคำนึงถึงการทดสอบหลายแบบแบบเดียวกับที่ใช้ค้นหากฎ ผล PT เป็นหลักฐานเรื่องความสัมพันธ์ด้านทิศทางได้ส่วนหนึ่ง แต่ใช้แทนการประเมินที่ทำได้จริงและคำนึงถึงต้นทุนไม่ได้