Censoring และ Truncation ในข้อมูล Survival
เรียนรู้ right, left และ interval censoring วิธีที่ truncation เปลี่ยนกลุ่มตัวอย่างที่สังเกตได้ เหตุใด independent censoring จึงสำคัญ และเมื่อใด IPCW อาจลด bias ได้
คำตอบโดยตรง
Censoring หมายถึงหน่วยข้อมูลถูกสังเกต แต่รู้เวลาที่เกิดเหตุการณ์ที่แน่นอนได้เพียงบางส่วน เช่น หลังการติดตามครั้งสุดท้าย ก่อนการสังเกตครั้งแรก หรือภายในช่วงเวลา ส่วน truncation แตกต่างกัน เพราะหน่วยข้อมูลจะเข้าสู่ชุดข้อมูลก็ต่อเมื่อเวลาที่เกิดเหตุการณ์ตรงตามกฎการสุ่มตัวอย่าง ดังนั้นบางหน่วยจึงไม่ถูกสังเกตเลย ตัวประมาณ survival มาตรฐานต้องการให้ censoring เป็นอิสระจากเวลาที่เกิดเหตุการณ์ในอนาคต อาจหลังจากปรับตามประวัติที่วัดได้แล้ว เมื่อการหลุดออกมีข้อมูลบ่งชี้ inverse-probability-of-censoring weighting อาจช่วยได้ก็ต่อเมื่อโมเดล censoring, covariates และ positivity น่าเชื่อถือ
เวลาที่ไม่สมบูรณ์ก็ยังเป็นข้อมูล
หากสินเชื่อที่ยังชำระได้ถึง cutoff ของข้อมูล เวลาผิดนัดจะยังไม่ทราบ แต่ทราบว่าเกินระยะเวลาที่สังเกตได้ การทิ้งข้อมูลนี้ทำให้เสียข้อมูล exposure ที่ใช้ได้
วิธี survival เข้ารหัสทั้งระยะเวลาที่สังเกตและสิ่งที่รู้เกี่ยวกับเหตุการณ์ แถวที่ถูก censor ไม่ใช่แถวที่หายไป และไม่ใช่การยืนยันว่าจะไม่มีเหตุการณ์ตลอดไป
ควรบันทึกเหตุผลของ censoring แยกกัน การจบการศึกษาโดยฝ่ายบริหาร การหายไปของลูกค้า ความล้มเหลวของข้อมูล และการออกจากสัญญา ล้วนบ่งชี้สมมติฐานที่ต่างกัน
Censoring มีหลายทิศทาง
Right censoring หมายถึงเหตุการณ์เกิดหลังเวลาสุดท้ายที่ทราบ พบได้เมื่อการติดตามจบก่อนการผิดนัด การเลิกใช้บริการ หรือการปิดบัญชี
Left censoring หมายถึงเหตุการณ์เกิดขึ้นแล้วก่อนเวลาที่ตรวจพบ ส่วน interval censoring ระบุตำแหน่งเหตุการณ์ไว้ระหว่างการตรวจสองครั้งโดยไม่มี timestamp ที่แน่นอน
การแทนช่วงเวลานั้นด้วยจุดกึ่งกลางคือการสร้างความแม่นยำขึ้นมาเองและอาจทำให้การแจกแจงมี bias ตัวประมาณประเภท Turnbull เก็บข้อมูลช่วงเวลาไว้โดยตรง
Truncation เปลี่ยนว่าใครปรากฏในกลุ่มตัวอย่าง
เมื่อมี left truncation จะสังเกตหน่วยได้ก็ต่อเมื่อหน่วยนั้นอยู่รอดนานพอที่จะเข้ามา ความล้มเหลวก่อนหน้านั้นหายไป ไม่ใช่ข้อมูลที่มีเวลาไม่สมบูรณ์
ฐานข้อมูลกองทุนที่รวมเฉพาะกองทุนซึ่งยังอยู่เมื่อเริ่ม coverage ทำให้เกิด survivorship selection risk set แบบปกติจึงให้น้ำหนักกองทุนที่อยู่รอดมากเกินไป
วิธี delayed-entry จะเพิ่มหน่วยเข้าสู่ risk set เมื่อเข้ามาเท่านั้น ความถูกต้องยังต้องอาศัยให้การเข้ามาและเวลาที่เกิดเหตุการณ์ในอนาคตเป็นอิสระอย่างเหมาะสมเมื่อกำหนดตาม covariates แล้ว
Independent censoring คือสะพานที่ซ่อนอยู่
Kaplan–Meier รองรับ censoring ที่สัมพันธ์กับข้อมูลในอดีตที่สังเกตได้ หากเมื่อพิจารณาโครงสร้างการวิเคราะห์แล้ว censoring ไม่เปิดเผยข้อมูลเพิ่มเติมเกี่ยวกับเวลาที่เกิดเหตุการณ์ในอนาคต
การ censor โดยฝ่ายบริหาร ณ วันที่กำหนดคงที่มักน่าเชื่อถือกว่าการหลุดออกเพราะคุณภาพเครดิตแย่ลงหรือกำลังจะออกจากแพลตฟอร์ม
สมมติฐานนี้ไม่ได้พิสูจน์ได้จากเปอร์เซ็นต์ censoring ที่คล้ายกัน ให้เปรียบเทียบเหตุผล เวลา ประวัติ covariate และอัตราเหตุการณ์ก่อนสูญเสียการติดตามเพื่อทำความเข้าใจกระบวนการ
วิธีแก้แบบง่ายอาจสร้าง bias ใหม่
Complete-case analysis เก็บเฉพาะเหตุการณ์ที่สังเกตได้และสุ่มตัวอย่างระยะเวลาสั้นมากเกินไป การถือว่า censoring เป็นเหตุการณ์จะเปลี่ยนนิยามผลลัพธ์
การถือว่าหน่วยที่ถูก censor ทุกหน่วยไม่มีเหตุการณ์ตลอด horizon เต็มจะทำให้ survival สูงเกินจริง Last observation carried forward มีปัญหาเชิงโครงสร้างเดียวกัน
เหตุการณ์แข่งขัน เช่น การ refinance ไม่ใช่ censoring โดยอัตโนมัติ หากเหตุการณ์นั้นป้องกันการผิดนัด ควรอยู่ใน estimand แบบ competing-risk หรือการวิเคราะห์สมมติฐานที่นิยามไว้อย่างชัดเจน
IPCW ให้น้ำหนักหน่วยที่ยังสังเกตได้ใหม่
Inverse probability of censoring weighting ประมาณโอกาสที่แต่ละหน่วยจะยังสังเกตได้ และเพิ่มน้ำหนักให้ประวัติที่คล้ายกับหน่วยที่หายไป
วิธีนี้ต้องมีตัวทำนายที่วัดได้เพียงพอสำหรับ independent censoring แบบมีเงื่อนไข และต้องมีโอกาสสังเกตที่เป็นบวกในประวัติที่เกี่ยวข้อง
ความน่าจะเป็นใกล้ศูนย์ทำให้เกิด weights ที่สุดโต่งและตัวประมาณไม่เสถียร ให้แสดงการแจกแจงของ weight, effective sample size, กฎ truncation และ balance ตามความเสี่ยง censoring
ชุดข้อมูลการเงินมีตัวกรองการสังเกตหลายชั้น
สินเชื่ออาจเข้าหลัง origination และออกผ่านการขาย refinance charge-off หรือการเปลี่ยน coverage ของผู้ให้บริการ แต่ละกรณีมีความหมายต่างกัน
ฐานข้อมูล options อาจละรายการที่หมดอายุก่อนวันเริ่มต้น ขณะที่ฐานข้อมูล hedge fund อาจเติมย้อนหลังเฉพาะประวัติที่สำเร็จ นี่เป็นปัญหา selection และ truncation
สร้างแผนภาพการไหลจากประชากรต้นทางไปยัง risk set ของการวิเคราะห์ ข้อมูลชุดใหญ่ไม่ได้แก้กระบวนการสังเกตที่เลือกมา
Sensitivity ควรเปลี่ยนกลไกที่หายไป
ทำการประมาณซ้ำตามเหตุผลของ censoring ช่วงปฏิทิน follow-up cap กฎ delayed-entry โมเดล weight และ threshold การตัด weight
เปรียบเทียบลักษณะและผลลัพธ์ในอดีตของหน่วยที่ถูก censor กับหน่วยที่คงอยู่ Negative controls หรือข้อมูลที่เชื่อมโยงกันอาจเผยการเบี่ยงเบนที่ซ่อนอยู่
รายงานว่าสมมติฐานใดทำให้ระบุ target ได้ การตรวจวินิจฉัยใดทดสอบได้ และข้อสรุปเปลี่ยนอย่างไรภายใต้สถานการณ์ informative-censoring ที่เป็นไปได้
คำถามที่พบบ่อย
หน่วยที่ถูก censor เหมือนกับหน่วยที่ไม่มีเหตุการณ์หรือไม่?
ไม่ใช่ หน่วยนั้นไม่มีเหตุการณ์เพียงถึงเวลาสุดท้ายที่สังเกตได้ สิ่งที่เกิดหลังจากนั้นยังไม่ทราบ
Left truncation ต่างจาก left censoring อย่างไร?
หน่วยที่ถูก left-truncated จะไม่อยู่ในข้อมูลเว้นแต่จะอยู่รอดจนเข้ามา ส่วนหน่วยที่ถูก left-censored ถูกสังเกตได้ แต่เหตุการณ์เกิดก่อนจะทราบเวลาที่แน่นอน
Administrative censoring ไม่ทำให้เกิด bias เลยหรือไม่?
มักมีเหตุผลรองรับมากกว่า แต่การเข้าปฏิทิน cohort ที่เปลี่ยน หรือการออกจากการศึกษาเพราะเกี่ยวข้องกับเหตุการณ์ ก็ยังทำให้ informative ได้
IPCW แก้เหตุผลการหลุดออกที่วัดไม่ได้หรือไม่?
ไม่ใช่ด้วยตัวมันเอง วิธีนี้อาศัยให้ประวัติที่สังเกตได้เพียงพอในการอธิบาย censoring และต้องมีโอกาส follow-up ที่ไม่เป็นศูนย์