Цензурирование и усечение в данных выживаемости
Узнайте о правом, левом и интервальном цензурировании, о том, как усечение меняет наблюдаемую выборку, почему важно независимое цензурирование и когда IPCW может уменьшить смещение
Короткий ответ
Цензурирование означает, что единица наблюдается, но её точное время события известно лишь частично: после последующего наблюдения, до первого наблюдения или внутри интервала. Усечение устроено иначе: единица попадает в набор данных только если её время события удовлетворяет правилу отбора, поэтому некоторые единицы никогда не наблюдаются. Стандартные оцениватели выживаемости требуют независимости цензурирования от будущего времени события, возможно после учёта измеренной истории. Если уход информативен, взвешивание по обратной вероятности цензурирования может помочь только при правдоподобных модели цензурирования, ковариатах и условии положительности
Неполное время всё равно содержит информацию
Если кредит без дефолта достигает даты отсечения данных, его время дефолта неизвестно, но известно, что оно превышает наблюдаемую длительность. Отбрасывание такой записи теряет валидную информацию об экспозиции
Методы выживаемости кодируют и наблюдаемую длительность, и то, что известно о событии. Цензурированная запись — не пропущенная строка и не подтверждённое отсутствие события навсегда
Причину каждого цензурирования следует записывать отдельно. Конец исследования по календарю, исчезновение клиента, сбой данных и выход из договора подразумевают разные предпосылки
У цензурирования есть несколько направлений
Правое цензурирование означает, что событие происходит после последнего известного момента. Оно часто возникает, когда наблюдение заканчивается раньше дефолта, оттока или закрытия
Левое цензурирование означает, что событие уже произошло до момента обнаружения. Интервальное цензурирование помещает его между двумя проверками без точной отметки времени
Замена интервала его серединой создаёт вымышленную точность и может исказить распределение. Оцениватели типа Тёрнбулла сохраняют интервальную информацию напрямую
Усечение меняет состав наблюдаемой выборки
При левом усечении единица наблюдается только если прожила достаточно долго, чтобы войти в выборку. Более ранние сбои отсутствуют, а не присутствуют с неполным временем
База фондов, включающая только фонды, живые на момент начала покрытия, создаёт отбор по выжившим. Обычные множества риска переоценивают долю устойчивых фондов
Методы с отложенным входом добавляют единицу в множество риска только в момент входа. Валидность всё ещё требует подходящей независимости входа и будущего времени события при заданных ковариатах
Независимое цензурирование — скрытая связка
Каплан — Мейер допускает цензурирование, связанное с наблюдаемой прошлой информацией, если при выбранной структуре анализа цензурирование не сообщает дополнительной информации о будущем времени события
Административное цензурирование в одну фиксированную дату часто правдоподобнее, чем уход из-за ухудшения кредитного качества или ожидаемого выхода с платформы
Предпосылка не подтверждается одинаковыми долями цензурирования. Сравнивайте причины, время, истории ковариат и частоты событий до потери наблюдения, чтобы понять механизм
Наивные исправления могут создать новое смещение
Анализ полных случаев оставляет только наблюдаемые события и переизбыток коротких длительностей. Считать цензурирование событием — значит изменить определение результата
Если считать каждую цензурированную единицу свободной от события до полного горизонта, выживаемость будет завышена. Перенос последнего наблюдения вперёд имеет ту же структурную проблему
Конкурирующие события, такие как рефинансирование, не являются автоматически цензурированием. Если они предотвращают дефолт, их нужно включить в оценивание конкурирующих рисков или явно определить гипотетический анализ
IPCW перевзвешивает всё ещё наблюдаемые единицы
Взвешивание по обратной вероятности цензурирования оценивает шанс каждой единицы остаться наблюдаемой и повышает вес историй, похожих на истории исчезнувших единиц
Для метода нужны измеренные предикторы, достаточные для условно независимого цензурирования, и положительная вероятность наблюдения на значимых историях
Вероятности, близкие к нулю, создают экстремальные веса и нестабильные оценки. Показывайте распределение весов, эффективный объём выборки, правила усечения весов и баланс по риску цензурирования
В финансовых данных несколько фильтров наблюдения
Кредиты могут входить после выдачи и выходить через продажу, рефинансирование, списание или изменение покрытия поставщика, причём каждый случай имеет своё значение
Базы опционов могут не содержать истёкшие листинги до даты начала, а базы хедж-фондов могут дополнять только успешные истории. Это вопросы отбора и усечения
Постройте диаграмму переходов от исходной совокупности к множествам риска анализа. Большой набор данных не исправляет селективный процесс наблюдения
В анализе чувствительности меняйте механизм пропусков
Повторите оценки по причине цензурирования, календарному окну, пределу наблюдения, правилу отложенного входа, модели весов и порогу усечения весов
Сравните наблюдаемые характеристики и прошлые результаты цензурированных и сохранённых единиц. Отрицательные контроли или связанные данные могут показать скрытые нарушения
Укажите, какие предпосылки идентифицируют целевую величину, какие диагностики проверяемы и как меняются выводы при правдоподобных сценариях информативного цензурирования
Частые вопросы
Цензурированная единица — это то же самое, что единица без события?
Нет. Она свободна от события только до последнего наблюдаемого момента; что происходит позже, неизвестно
Чем левое усечение отличается от левого цензурирования?
Левоусечённые единицы отсутствуют, если не доживают до входа; левоцензурированные единицы наблюдаются, но их событие произошло до того, как стало известно точное время
Административное цензурирование не создаёт смещения?
Оно часто лучше обосновано, но календарный вход, меняющиеся когорты или выход, связанный с событием, всё равно могут сделать его информативным
Может ли IPCW исправить неизмеренные причины ухода?
Нет, не само по себе. Метод предполагает, что наблюдаемая история достаточна для объяснения цензурирования и вероятность последующего наблюдения ненулевая