예측 결합 방법: 동일 가중치, 추정 가중치, 표본 밖 검증

예측 결합은 같은 대상을 예측한 두 개 이상의 값을 하나로 만드는 방법입니다. 모형 A, B, C가 모두 내일의 실현분산을 예측한다면, 출력을 평균하거나 서로 다른 가중치를 적용할 수 있습니다. 이렇게 얻은 숫자는 여러 모형이 투표해 정답을 정했다는 뜻이 아니라 새로운 예측값입니다.

입력은 목표, 예측 시점, 기간, 단위, 정보 기준이 같아야 합니다. 하루 뒤 분산 예측과 한 달 뒤 변동성 예측은 둘 다 변동성이라는 이름을 쓰더라도 바로 평균할 수 없습니다. 먼저 공통 목표와 구간을 정한 다음 예측값을 정렬해야 합니다.

여러 타당한 모형이 시계열의 서로 다른 특징을 포착하거나, 어느 모형이 계속 우수할지 미리 알기 어려울 때 예측 결합을 검토할 수 있습니다. 입력 모형이 서로 완전히 다른 알고리즘일 필요는 없습니다. 중요한 것은 모형 이름이 얼마나 다른지가 아니라 예측 오차가 함께 어떻게 움직이는지입니다.

Bates와 Granger의 초기 연구에서는 항공 여객 자료의 두 예측을 결합해 각 개별 예측보다 평균제곱오차가 낮은 조합을 얻을 수 있었습니다. 이는 결합을 평가해 볼 근거이지 다른 시장, 목표, 기간, 손실함수에서도 항상 개선된다는 보장은 아닙니다(Bates와 Granger, 1969).

예측이 \(K\)개일 때 동일 가중치 결합은 다음과 같습니다.

\[ \widehat{y}_{t+h\mid t}^{\,EW} = \frac{1}{K}\sum_{k=1}^{K}\widehat{y}_{k,t+h\mid t} \]

각 예측은 같은 비중을 차지합니다. 가중치 추정을 위한 학습 표본이 따로 필요하지 않고 계산 과정을 재현하기도 쉽습니다. 최종 방법에서 추정 가중치를 쓰더라도 동일 가중 평균을 기준선으로 함께 비교하는 편이 좋습니다.

동일 가중치가 모든 예측의 정확도, 독립성, 경제적 중요도가 같다는 뜻은 아닙니다. 결합 절차가 과거 성과로부터 개별 가중치를 추정하지 않는다는 뜻입니다. 모든 입력이 같은 요소를 빠뜨리면 동일 가중 평균에도 그 편향이 남을 수 있습니다.

모형 이름이 많다고 정보가 다양해지는 것은 아닙니다. 변동성 모형 세 개가 모두 같은 수익률 자료, 세션 경계, 표본 간격을 사용하고 야간 움직임을 빠뜨린다면, 단순 평균도 그 누락을 자동으로 고치지 못합니다. 과거 표본 밖 오차가 서로 유용하게 다른지 확인해야 합니다. 이름이 다르다는 이유만으로 독립적인 정보가 더해진다고 가정하지 마세요.

세 모형이 다음 거래일 변동성을 12, 15, 20bp로 예측했다고 가정하면 동일 가중 결과는 \((12+15+20)/3=15.67\)bp입니다. 이 산술은 예측을 결합하는 방식만 보여 줍니다. 예측 시점 하나만으로 그 규칙이 정확하거나 수익성이 있다고 판단할 수는 없습니다.

변동성을 다룰 때에는 입력이 분산인지 표준편차인지 확인해야 합니다. 분산 예측 세 개를 평균한 뒤 제곱근을 취하는 값은 각 표준편차 예측을 평균한 값과 일반적으로 같지 않습니다. 이후 점수를 계산할 때 사용할 목표 정의와 단위를 그대로 적용하세요.

추정 선형 결합은 다음처럼 쓸 수 있습니다.

\[ \widehat{y}_{t+h\mid t}^{\,C} = \sum_{k=1}^{K} w_k \widehat{y}_{k,t+h\mid t} \]

흔한 이론적 결과는 각 예측 오차의 평균이 0이고, 목표가 같으며, 가중치의 합이 1이라는 조건을 둡니다. \(\Sigma_e\)를 구성 예측 오차의 공분산 행렬이라고 하겠습니다. 이 행렬을 알고 있고 역행렬이 존재한다면, 제약 아래 분산을 최소화하는 가중치의 기준은 다음과 같습니다.

\[ w^{*} = \frac{\Sigma_e^{-1}\mathbf{1}}{\mathbf{1}'\Sigma_e^{-1}\mathbf{1}} \]

이 공식은 기준점이지 잡음이 섞인 표본 공분산 행렬을 그대로 역산하라는 지침이 아닙니다. 실제 \(\Sigma_e\)는 유한한 예측 오차 기록에서 추정합니다. 입력 예측들이 비슷하면 오차 상관이 높아 행렬이 거의 특이해질 수 있고, 그러면 작은 자료 변화가 크게 다른 가중치를 만들 수 있습니다.

오차 분산이 같은 두 예측의 오차를 동일 가중 평균하면, 결합 오차의 분산은 \(\sigma^2(1+\rho)/2\)입니다. 여기서 \(\rho\)는 두 오차의 상관계수입니다. 각 오차의 분산이 4이고 두 오차의 상관이 0이면 결합 분산은 2입니다. 반면 상관이 0.90이면 결합 분산은 3.8입니다. 평균을 내서 얼마나 줄일 수 있는지는 알고리즘 이름이 아니라 오차 사이의 의존성에 달려 있습니다. 이 계산은 오차 분산에 관한 것입니다. 구성 예측에 편향이 있다면 평균제곱오차에는 편향 제곱도 더해집니다.

다른 방법은 이미 기록된 구성 예측값으로 실제 목표를 회귀하는 것입니다. 흔히 절편도 포함합니다. Granger와 Ramanathan은 가중치 합을 1로 고정하지 않는 선형 회귀 방식도 설명합니다. 절편과 자유로운 가중치가 학습 표본의 평균 편향을 조정할 수는 있지만, 이를 해석하는 방식은 달라집니다. 계수는 반드시 포트폴리오 비중처럼 해석할 수 있는 값이 아니라 적합한 예측 조정치입니다(Granger와 Ramanathan, 1984).

검증하기 전에 제약을 정하세요. 음이 아닌 가중치의 합을 1로 제한하면 최솟값과 최댓값 사이의 볼록 평균이 됩니다. 음의 가중치나 절편을 허용하면 결합값은 입력 범위를 벗어날 수 있습니다. 보정된 예측을 위해 적절한 상황도 있지만, 분산처럼 음수가 될 수 없는 목표에는 맞지 않을 수 있습니다.

세 모형이 같은 다음 거래일 목표를 각각 12, 15, 20bp로 예측했다고 하겠습니다. 이미 결과를 알 수 있는 과거 예측 시점만으로 추정한 규칙이 가중치를 각각 \(0.50\), \(0.30\), \(0.20\)으로 정했다면 결합값은 다음과 같습니다.

\[ 0.50(12) + 0.30(15) + 0.20(20) = 14.5\ \text{bp} \]

가중치가 음수가 아니며 합이 1이므로 결과는 입력값 사이에 있습니다. 동일 가중 결과인 15.67bp와 차이가 나는 이유는 적용한 가중치가 다르기 때문입니다. 이 계산만으로 가중 예측이 더 정확하다고 말할 수는 없습니다.

가중치는 해당 예측 시점 전에 결과를 확인할 수 있었던 예측 오차만으로 추정했어야 합니다. 과거 백테스트의 \(t\) 시점에서 14.5bp라는 값을 내기 위해 \(t+1\) 이후에 실제로 관측한 목표값이나 그 뒤의 자료를 사용할 수는 없습니다.

목표가 관측된 다음에는 각 모형의 예측, 결합값, 실제 대리변수, 평가 손실을 기록합니다. 이 과정을 이후 여러 예측 시점에서 반복하면 공통 날짜의 결과를 비교할 수 있습니다. 그렇더라도 한 번의 계산 예시가 지속적인 우위를 증명하는 것은 아닙니다.

모집단 오차 공분산을 알고 있을 때의 최적 가중치는 짧은 표본에서 추정한 가중치와 다릅니다. 추정 가중치에는 별도의 불확실성이 추가됩니다. 구성 예측들이 서로 비슷하면 오차 상관이 높을 수 있고, 최적화는 유지되지 않을 과거의 작은 차이에 과도하게 맞춰질 수 있습니다.

Kang은 시뮬레이션과 거시경제 예측 사례에서 결합 가중치가 불안정해질 수 있고, 그 설정들에서는 단순 평균이 실무에서 더 잘 작동할 수 있음을 보였습니다(Kang, 1986). Timmermann의 문헌 검토도 추정 오차, 모형 불안정성, 예측 오차 의존성이 결합에 미치는 영향을 설명합니다(Timmermann, 200601004-9)).

추정된 ‘최적’ 가중치를 고정된 값으로 취급한 결과가 가중치 추정까지 반영한 유한 표본에서도 그대로 나타나지는 않는다는 분석이 있습니다(Claeskens 외, 2016). 그렇다고 동일 가중치가 언제나 낫다는 뜻은 아닙니다. 복잡한 가중 규칙은 표본 밖 비교에서 개선을 보여야 선택할 근거가 생깁니다.

<!-- learn:illustration -->

대응 방법으로 동일 가중치에서 시작하거나, 입력 수를 제한하거나, 추정치를 동일 비중 쪽으로 축소하거나, 간단한 제약을 둘 수 있습니다. 이런 선택은 유연성과 추정 잡음 사이의 절충입니다. 학습 자료에서 규칙을 고르고 그 기준을 보고하세요. 마지막 평가 기간을 본 뒤 가장 좋아 보이는 방식을 고르면 안 됩니다.

기록된 구성 예측은 표시된 시점에 실제로 만들 수 있었던 값이어야 합니다. 각 모형을 해당 시점에 이용 가능한 자료로 다시 만들고, 예측 시각, 모형 버전, 목표 정의를 보존하세요. 표본 내 적합값은 실제 과거 예측값을 대신할 수 없습니다. 해당 모형이 그때 아직 알 수 없었던 관측치를 사용했을 수도 있기 때문입니다.

예측 기록의 날짜와 목표를 맞춥니다. 각 행의 입력들은 같은 미래 구간을 예측해야 하며, 학습에 사용한 정보는 같은 결정 시점에서 멈춰야 합니다. 일부 예측이 빠졌다면 가중치를 추정하기 전에 처리 규칙을 밝히세요. 날짜마다 입력 모형 수가 조용히 달라지면 가중치의 의미도 바뀔 수 있습니다.

가중치 추정과 최종 평가는 분리합니다. 이동 원점 절차에서는 \(t\) 전에 목표 결과를 알 수 있었던 예측 기록으로 가중치를 추정하고, \(t\)에서 결합 예측을 내며, 목표가 관측된 뒤 점수를 계산합니다. 확장창은 쓸 수 있는 과거 기록을 모두 포함합니다. 이동창은 미리 정한 기간 이전의 기록을 버립니다. 성과 변화에 대응하는 방식이 서로 다를 수 있습니다.

모형, 변환, 예측 기간, 가중치 제약, 손실함수를 홀드아웃 결과를 본 뒤 골랐다면 그 기간은 이미 개발에 사용된 셈입니다. 새로운 평가 구간을 남겨 두거나 모든 선택 단계를 학습 자료 안에 두는 중첩 평가를 사용하세요.

동일 가중치, 추정 또는 축소 결합, 개별 예측을 같은 날짜와 같은 실현 목표에서 비교합니다. 평가 손실과 공통 표본을 보고하세요. 다른 기간이나 다른 목표를 사용하면 더 쉬운 날짜에서 점수를 냈기 때문에 특정 방법이 좋아 보일 수 있습니다.

손실함수는 목표와 질문에 맞춰야 합니다. 제곱오차는 큰 오차에 제곱 비중을 주고, 절대오차는 큰 오차에 다른 비중을 둡니다. 잡음이 있는 실현변동성 측정치로 변동성 예측을 평가한다면 대리변수의 조건과 손실함수가 중요합니다. QLIKE와 제곱오차 안내서에서 두 평가 방식의 차이를 설명합니다. 어느 방법에 유리한지 확인한 뒤 손실함수를 고르지 마세요.

예측 비교 검정은 관측된 손실 차이가 표본 변동으로 설명될 수 있는지 평가하는 데 도움을 줄 수 있습니다. Diebold–Mariano 검정 안내서는 짝지은 예측 손실을 비교하는 방법과 예측오차가 겹치거나 의존적일 때 필요한 가정을 다룹니다. 검정 결과가 미래 정보 누출을 바로잡거나 경제적 가치를 증명하지는 않습니다.

구성 모형의 조합, 가중치 제약, 손실 규칙을 여러 개 시도한 뒤 같은 평가 기간에서 가장 좋아 보인 결과만 골랐다면 보고한 비교에는 그 탐색의 영향도 섞여 있습니다. White Reality Check 안내서와 백테스트 과적합 확률 안내서는 여러 거래 규칙을 선택할 때의 문제를 다룹니다. 두 방법 모두 깨끗한 예측 기록이나 미리 정한 평가 계획을 대신하지는 않습니다.

평가 설계는 실제 사용 기간을 반영해야 합니다. 매일 예측해 여러 날 뒤에 겹치는 목표를 맞히면 연속된 손실값이 서로 의존할 수 있습니다. 불확실성을 추정할 때 그 의존성을 고려하고, 겹치는 관측 행이 많다는 이유만으로 독립적인 실험 횟수가 그만큼 많다고 보지 마세요.

결합하기 전에 각 모형이 무엇을 예측하는지 확인하세요. 조건부 평균, 분산, 분위수, 전체 확률분포는 서로 다른 예측 대상입니다. 점예측을 선형 평균한다고 해서 보정된 확률밀도나 신뢰할 수 있는 꼬리위험 예측이 자동으로 만들어지는 것은 아닙니다.

분산처럼 반드시 음수가 아니어야 하는 양은 결합 결과를 확인하세요. 음이 아닌 예측들을 볼록 평균하면 음수가 되지 않지만, 음의 계수나 절편을 허용한 회귀 결합은 그렇지 않을 수 있습니다. 예측이 음수일 때 0으로 자르는 것도 규칙을 바꾸는 일이므로 평가 전에 명시해야 합니다.

예측의 개수도 중요합니다. 약하거나 거의 같은 입력을 더하면 새로운 정보는 별로 늘지 않은 채 추정할 가중치만 많아질 수 있습니다. 예측 기록이 \(K\)에 비해 짧다면 차원이 낮고 투명한 규칙을 우선하고, 결론이 특정 입력 하나에만 의존하지 않는지 살펴보세요.

모형 예측을 결합하는 일은 거래 포지션을 합치는 일과 다릅니다. 통계적 손실이 더 낮아졌다고 해서 그 예측을 사용한 전략이 수수료, 스프레드, 슬리피지, 시장 충격, 위험 한도 이후에 더 벌었다는 뜻은 아닙니다. 예측을 만드는 방법과 그것을 사용하는 거래 규칙은 각각 표본 밖 근거를 갖춰야 합니다.

보고서에는 목표, 예측 기간, 단위, 구성 모형, 예측 시각, 기록 구간, 누락값 처리 규칙을 적습니다. 가중치가 동일한지, 추정했는지, 제약하거나 축소했는지, 시간에 따라 바뀌는지 밝히고 각 선택을 어떻게 했는지 기록합니다.

동일 가중 기준선, 선택한 결합법, 가장 강한 개별 예측의 결과를 같은 평가 날짜에서 보여 주세요. 손실함수, 불확실성 계산 방법, 겹치는 목표의 처리도 포함해야 합니다. 기간별 가중치가 크게 흔들린다면 마지막 숫자만 제시하지 말고 그 변화도 보여 주세요.

마지막으로 통계적 결과와 의사결정 주장을 분리합니다. “이 표본에서 이 손실함수로 평가했을 때 평균 손실이 낮았다”는 말은 재현할 범위가 분명합니다. “예측을 결합하면 매매 성과가 좋아진다”는 주장을 하려면 전략, 체결 가정, 별도의 평가 근거가 필요합니다.