P-Value และนัยสำคัญทางสถิติในภาคการเงิน
ทำความเข้าใจ p-value สมมติฐานศูนย์ สถิติทดสอบ ระดับนัยสำคัญ ความผิดพลาดประเภท I และ II power ขนาดผล การหยุดเลือกเวลา การสอดส่องข้อมูล และการตีความทางการเงิน
คำตอบโดยตรง
p-value คือความน่าจะเป็นภายใต้แบบจำลองศูนย์และแผนการวิเคราะห์ที่ระบุไว้ ที่จะได้สถิติทดสอบซึ่งไม่สอดคล้องกับแบบจำลองอย่างน้อยเท่ากับค่าที่สังเกตได้ ไม่ใช่ความน่าจะเป็นที่สมมติฐานศูนย์เป็นจริง ความน่าจะเป็นที่ผลลัพธ์เกิดขึ้นโดยบังเอิญ หรือขนาดและความสำคัญทางเศรษฐกิจของผลลัพธ์ นัยสำคัญทางสถิติคือกฎการตัดสินใจ ไม่ใช่หลักฐานพิสูจน์
การทดสอบเริ่มก่อน p-value
ระบุสมมติฐานศูนย์และสมมติฐานทางเลือก สถิติทดสอบ แบบจำลองการสุ่มตัวอย่าง กฎการหยุด ทิศทางของหาง และระดับนัยสำคัญก่อนตรวจผลลัพธ์
ศูนย์มักแทนการไม่มีผลหรือค่ามาตรฐาน แต่ก็อาจเป็นแบบประกอบและมีพารามิเตอร์กวนที่ต้องประมาณค่า
การเปลี่ยนจักรวาล ช่วงเวลา ตัวแปรควบคุม กฎจัดการค่าผิดปกติ หรือการทดสอบหลังเห็นข้อมูล คือการเปลี่ยนการทดลองที่ p-value นั้นกำลังถูกตีความ
p-value มีเงื่อนไขอยู่บนแบบจำลอง
ภายใต้ศูนย์ สถิติทดสอบมีการแจกแจงอ้างอิง p-value วัดว่าสถิติที่สังเกตได้เข้าไปในหางที่เกี่ยวข้องลึกเพียงใด
ค่าขนาดเล็กบ่งชี้ความไม่สอดคล้องระหว่างข้อมูลกับชุดการตั้งค่าแบบจำลองศูนย์ทั้งหมด ไม่ได้บอกว่าสมมติฐานใดผิดหรือสมมติฐานทางเลือกเป็นจริงหรือไม่
การพึ่งพาที่กำหนดแบบจำลองผิด หางหนา ความแปรปรวนไม่คงที่ ข้อมูลผิดพลาด หรือการคัดเลือก อาจทำให้การแจกแจงอ้างอิงและ p-value ใช้ไม่ได้
เกณฑ์นัยสำคัญกำหนดกฎความผิดพลาด
ระดับ α ที่กำหนดไว้ล่วงหน้าจำกัดความน่าจะเป็นที่จะปฏิเสธศูนย์ที่เป็นจริงภายใต้สมมติฐานของการทดสอบ ไม่ใช่สัดส่วนของข้ออ้างที่เผยแพร่แล้วเป็นเท็จ
ความผิดพลาดประเภท I คือการปฏิเสธเท็จ ความผิดพลาดประเภท II คือการไม่ปฏิเสธศูนย์ที่เป็นเท็จ และ power คือความน่าจะเป็นของการปฏิเสธภายใต้สมมติฐานทางเลือกที่ระบุไว้
การไม่ปฏิเสธไม่ได้พิสูจน์ว่าไม่มีผล โดยเฉพาะเมื่อกลุ่มตัวอย่างมี power ต่ำต่อสมมติฐานทางเลือกที่มีความหมายทางเศรษฐกิจ
ขนาดผลและความไม่แน่นอนตอบคำถามคนละอย่าง
กลุ่มตัวอย่างขนาดใหญ่ทำให้ผลเล็กมากมีนัยสำคัญทางสถิติได้ ขณะที่กลุ่มตัวอย่างขนาดเล็กที่มีสัญญาณรบกวนอาจพลาดผลที่ใหญ่พอจะสำคัญ
รายงานค่าประมาณผล ช่วงความไม่แน่นอน หน่วย ต้นทุนธุรกรรม ความจุ และเกณฑ์เชิงปฏิบัติควบคู่กับ p-value
ผลที่อยู่เหนือหรือต่ำกว่า 0.05 เล็กน้อยมักให้หลักฐานคล้ายกัน การเปลี่ยนขอบเขตนั้นให้เป็นสวิตช์ความจริงแบบคมชัดทิ้งข้อมูลไป
ความยืดหยุ่นของงานวิจัยบิดเบือนนัยสำคัญ
การหยุดเลือกเวลา ทดลองสเปกหลายแบบ ลบข้อสังเกต เปลี่ยนผลลัพธ์ และเผยแพร่เฉพาะการทดสอบที่สำเร็จ ล้วนเปลี่ยนพฤติกรรมผลบวกลวง
p-value ตามนามใช้ได้เฉพาะกับเส้นทางการวิเคราะห์ที่สร้างมันขึ้นมา รวมถึงกฎแบบลำดับที่ถูกต้องหรือการปรับค่าที่ประกาศไว้ล่วงหน้า
การลงทะเบียนล่วงหน้า บันทึกงานวิจัยครบถ้วน การวิเคราะห์หลายจักรวาล ชุด holdout ที่ไม่แตะต้อง และการทำซ้ำช่วยเปิดเผยความไว แต่ไม่ซ่อมแบบจำลองที่ผิด
การพึ่งพาทางการเงินทำให้การทดสอบตามตำราอ่อนลง
ผลตอบแทนอาจมีสหสัมพันธ์ตามเวลา พึ่งพากันภาคตัดขวาง มีความแปรปรวนไม่คงที่ ซ้อนทับกัน และถูกกำหนดเงื่อนไขโดยจักรวาลที่คัดเลือกให้รอด
standard error แบบ iid อย่างไม่ระวังอาจขยายค่า t-statistic ขณะที่การค้นพบปัจจัยและการ backtest ซ้ำ ๆ สร้างชุดการทดสอบโดยนัยที่ใหญ่กว่ามาก
ใช้ standard error และการสุ่มซ้ำที่เหมาะสมกับโครงสร้างอนุกรมเวลา แล้วทดสอบเสถียรภาพข้าม regime สินทรัพย์ ต้นทุน ความล่าช้า และข้อมูลไลฟ์
หลักฐานควรสนับสนุนการตัดสินใจ
มอง p-value เป็นตัววินิจฉัยต่อเนื่องหนึ่งรายการท่ามกลางขนาดผล ความไม่แน่นอน หลักฐานก่อนหน้า กลไก ประสิทธิภาพการพยากรณ์ และต้นทุนการตัดสินใจ
กำหนดล่วงหน้าว่าความผิดพลาดใดสำคัญ: สัญญาณเทรดเท็จ การพลาดการรับความเสี่ยง เฮดจ์ที่ไม่เสถียร หรือการนำแบบจำลองที่ไม่มีคุณค่าทางเศรษฐกิจไปใช้
รายงานตระกูลการวิเคราะห์ทั้งหมดและการทำซ้ำที่ล้มเหลว เพื่อไม่ให้ผลลัพธ์ที่มีนัยสำคัญเพียงรายการเดียวถูกเข้าใจผิดว่าเป็นความแข็งแกร่งของโครงการวิจัย
คำถามที่พบบ่อย
p-value เท่ากับ 0.05 หมายความว่าอย่างไร?
ภายใต้แบบจำลองศูนย์ที่ระบุไว้ ผลลัพธ์ที่ไม่สอดคล้องกับสถิติทดสอบที่สังเกตได้อย่างน้อยเท่ากันเกิดขึ้นด้วยความน่าจะเป็น 0.05
p ต่ำกว่า 0.05 พิสูจน์สมมติฐานทางเลือกหรือไม่?
ไม่ มันไม่ได้กำหนดความน่าจะเป็นให้สมมติฐาน และไม่ได้ตัดความเป็นไปได้ของการกำหนดแบบจำลองผิด การคัดเลือก ข้อมูลผิดพลาด หรือผลที่เล็กเกินกว่าจะมีความหมายทางเศรษฐกิจ
p สูงกว่า 0.05 พิสูจน์ว่าไม่มีผลหรือไม่?
ไม่ หมายความว่าการทดสอบไม่ปฏิเสธที่เกณฑ์นั้น และอาจสะท้อน power ต่ำ สัญญาณรบกวน แบบจำลองไม่เหมาะสม หรือผลที่เล็กจริง
ทำไม p-value ทางการเงินมักถูกกล่าวเกินจริง?
การพึ่งพา การค้นหากลยุทธ์ซ้ำ สเปกที่ยืดหยุ่น กลุ่มตัวอย่างที่คัดเลือก และต้นทุนที่ไม่สมจริง อาจทำให้หลักฐานตามนามดูแข็งแกร่งกว่าความเป็นจริง