실현 커널 추정량: 미시구조 잡음 아래 고빈도 변동 측정하기

잡음이 없는 상황에서는 장중 수익률의 제곱을 더해 관측 구간의 가격 변동을 추정할 수 있습니다. 그러나 실제 체결가나 호가에는 매수·매도 호가 사이의 왕복, 가격 단위의 이산성, 지연, 기록 오류가 섞일 수 있습니다. 잡음이 섞인 가격 두 개를 차분하면 두 관측 오차가 수익률에 들어가며, 이웃한 수익률은 한 오차를 반대 부호로 공유합니다. 따라서 인접 수익률 사이의 자기공분산에는 관측 잡음에 관한 정보가 담깁니다.

일반 실현분산은 시차 0의 수익률 곱만 사용합니다. 즉 수익률을 각각 제곱해 합산합니다. 표본 간격이 매우 짧으면 잠재 가격의 새로운 움직임을 더 포착하기보다 반복되는 관측 잡음이 더 빠르게 누적될 수 있습니다. 실현 커널은 시차 0 항에 더해 양의 시차 자기공분산을 가중해 합산합니다. 적절한 가정과 대역폭 증가 조건에서 0이 아닌 시차 항이 선도 잡음 효과를 상쇄하면서 효율가격의 변동 정보를 남기는 데 도움을 줍니다.

Barndorff-Nielsen, Hansen, Lunde, Shephard는 시장 마찰이 있을 때 구간 내 가격 변동을 추정하기 위한 실현 커널을 원 논문에서 개발했습니다. 이 방법은 모든 틱을 무조건 사용하라는 지침이 아니라, 장기분산 형태의 자기공분산 합을 설계된 가중치로 계산하는 방법입니다. 기본적인 고빈도 추정량은 실현변동성 계산 안내에서 다루며, 이 글은 커널 보정과 그 선택에 초점을 둡니다.

잠재 효율 로그가격을 \(X_t\), 시각 \(t_i\)에 기록된 로그가격을 \(Y_{t_i}\)라고 하겠습니다.

\[ Y_{t_i}=X_{t_i}+\epsilon_{t_i}, \]

여기서 \(\epsilon_{t_i}\)는 미시구조 잡음입니다. 단순한 유도에서는 잠재 가격이 국소 분산율 \(\sigma_t^2\)를 갖는 연속 과정이라고 보고, 고정된 구간 \([0,T]\)에서 관심 대상은 적분분산입니다.

\[ IV_T=\int_0^T \sigma_t^2\,dt. \]

기본 모형은 평균이 0인 잡음이 시간에 걸쳐 독립이고, 효율가격 경로와도 독립이며, 분산이 일정하다고 가정합니다. 이렇게 두면 보정하려는 효과를 쉽게 볼 수 있습니다. 실제 체결가와 호가 자료는 이 가정에서 벗어날 수 있습니다. 잡음이 자기상관될 수 있고, 시간에 따라 달라지거나 효율가격과 관련될 수 있으며, 관측 시각을 정하는 방식의 영향도 받을 수 있습니다.

잠재 가격에 점프가 있다면 이차변동에는 점프 제곱도 포함될 수 있습니다. 그것을 포함할지 여부는 모형과 연구 질문에 달려 있습니다. 연속 가격 과정에서 유도한 식은 적분분산을 목표로 합니다. 점프 강건 구조를 추가하지 않은 실현 커널이 연속 성분과 점프를 구분한다고 표현해서는 안 됩니다. 이차변동 안내에서 적분분산과 전체 경로 변동의 차이를 설명합니다.

이 설정은 이미 끝난 구간의 추정량을 다룹니다. 잠재가격을 정확히 복원하거나 다음 구간을 예측하거나 실제 체결 가능한 가격을 나타내지 않습니다. 입력 고빈도 자료도 체결가인지, 호가 중간값인지, 다른 가격 대용치인지 명시해야 합니다. 가격 정의에 따라 수익률과 잡음 성격이 달라집니다.

\(n\)개의 관측 수익률을 \(r_i=Y_{t_i}-Y_{t_{i-1}}\)라 하면, 시차 \(h\)의 비정규화 자기공분산 합을 다음처럼 정의할 수 있습니다.

\[ \Gamma_h=\sum_{i=h+1}^{n} r_i r_{i-h}, \qquad \Gamma_{-h}=\Gamma_h. \]

시차 0에서는 \(\Gamma_0=\sum_{i=1}^n r_i^2\)로 일반 실현분산과 같습니다. 시차 1에서는 서로 이웃한 수익률의 곱을 합합니다. 가격 잡음이 서로 독립으로 더해지는 기본 모형에서는 이웃 수익률의 잡음 성분에 반대 부호가 생깁니다. 한 관측 오차가 양의 수익률 하나를 만들면 다음 수익률에서는 음의 효과를 만들 수 있어, 시차 1 자기공분산이 음수가 되는 경우가 많습니다. 더 일반적으로 여러 시차에 걸친 패턴도 잡음이 수익률에 미치는 영향을 드러낼 수 있습니다.

시차 합은 곱의 개수로 나누지 않습니다. 그래야 같은 척도의 실현분산 합과 결합할 수 있습니다. 실현 커널은 이분산·자기상관 강건 장기분산 추정량과 관련이 있지만, 정규화된 표본 자기상관을 임의로 더한 것과 같지는 않습니다. 끝점과 합산 방식도 추정량 정의의 일부입니다.

자기공분산은 개별 틱 가운데 어느 것이 잡음이고 어느 것이 신호인지 표시해 주지 않습니다. 구간 전체의 교차곱을 합산합니다. 음의 \(\Gamma_1\)은 매수·매도 호가 왕복과 양립할 수 있지만, 그것만으로 특정 원인을 입증하지는 않습니다. 실제 수익률이 자기상관되어 있거나 잡음 구조가 다르면 같은 자기공분산에 여러 효과가 섞일 수 있습니다. 각 시차를 시장 현상에 바로 대응시키기보다, 가정한 모형과 커널 가중치에 따라 추정량을 해석해야 합니다.

최대 시차를 \(H\)라고 할 때, 한 가지 유한 표본 표기법은 다음과 같습니다.

\[ \widehat{IV}_{RK}(H)=\Gamma_0+2\sum_{h=1}^{H} k\!\left(\frac{h}{H}\right)\Gamma_h. \]

앞의 2는 대칭인 음의 시차 항까지 포함합니다. \(k(x)\)는 \(0\le x\le1\)에서 정의한 커널 가중치이며, \(k(0)=1\)에서 시작해 대역폭 경계에 가까워지면서 0으로 줄어듭니다. 논문이나 소프트웨어에 따라 분모를 \(H+1\)로 두는 등 끝점·시차 표기 관례가 조금씩 다를 수 있습니다. 결과를 재현하려면 관례를 밝히고 일관되게 적용해야 합니다.

자주 사용되는 비음수 선택지인 Parzen 커널은 다음과 같습니다.

\[ k(x)= \begin{cases} 1-6x^2+6x^3, & 0\le x\le \tfrac12,\\ 2(1-x)^3, & \tfrac12 < x\le1,\\ 0, & x>1. \end{cases} \]

짧은 시차에는 큰 가중치를 주고 긴 시차에는 매끄럽게 가중치를 줄입니다. 고빈도 잡음이 수익률에 의존성을 만들 수 있는 한편, 더 먼 시차의 표본 자기공분산은 점점 변동성이 커지므로 이런 감쇠가 유용합니다. 비음수 Parzen 구조는 명시된 구현 아래 단변량 실현 커널 추정치가 음수가 되지 않도록 설계되었습니다. 다른 커널도 같은 성질을 갖는 것은 아닙니다. Flat-top 계열은 편향 측면에서 유리할 수 있지만 유한 표본 추정치가 음수가 될 수 있습니다.

아래 삽화는 이 감쇠를 비유적으로 표현합니다. 가까운 시차 기여를 강조하고 더 먼 시차가 희미해지는 모습입니다. 실제 수익률의 그래프도, 특정 표본에서 계산한 가중치도, 변동성 추정치도 아닙니다.

<!-- learn:illustration --> <!-- Text-free concept: 대칭으로 퍼지는 수익률 메아리가 밝은 중심에서 멀어질수록 부드럽게 희미해져 유한 대역폭 안의 시차 가중치 감쇠를 나타냄. 개념도이며 시장 자료나 추정 결과가 아님. -->

대역폭 \(H\)는 합에 포함할 가장 큰 시차입니다. 너무 작으면 관측 잡음이 만든 중요한 시계열 의존성이 충분히 반영되지 않을 수 있습니다. 너무 크면 변동성이 큰 시차 곱을 더하면서 표본 분산이 커질 수 있습니다. 따라서 대역폭은 통계적 조율값입니다. 버릴 관측치의 수가 아니며, 모든 자산과 구간에 통하는 보편적 시간 간격도 아닙니다.

Parzen 실현 커널의 점근 이론에서 최적 대역폭은 \(n^{3/5}\) 차수로 증가합니다. 문헌의 실무 공식은 다음처럼 쓸 수 있습니다.

\[ H^*=c^*\,\xi^{4/5}n^{3/5}, \qquad c^*_{\text{Parzen}}=3.5134, \]

여기서 \(n\)은 촘촘한 격자의 수익률 수이고, \(\xi\)는 관측 잡음 수준과 잠재 가격의 적분 첨도가 서로 어떤 크기인지를 요약합니다. 한 가지 척도 표현은 다음과 같습니다.

\[ \xi^2=\frac{\omega^2}{\sqrt{T\int_0^T\sigma_u^4\,du}}, \]

\(\omega^2\)는 관측 잡음 분산입니다. 실제로는 이 값들을 알 수 없으므로 잡음 분산과 적분 첨도의 예비 추정치로 계산하는 경우가 많습니다. 이 식은 최적 시차 수가 표본 수뿐 아니라 잡음 대 신호 환경에도 좌우된다는 점을 보여줍니다. 고정된 보편 설정을 제시하는 식은 아닙니다.

점근 설계에서는 표본 수가 커질수록 대역폭도 늘리되, 표본 전체 크기에 비해서는 작게 유지합니다. 흔히 \(H\to\infty\), \(H/n\to0\)으로 씁니다. \(n^{3/5}\) 규칙은 해당 논문의 모형과 커널 조건 아래 선도 편향과 분산을 절충합니다. 한 장의 유한 표본에서는 예비 잡음 또는 첨도 추정치가 좋지 않을 때 대입 대역폭이 불안정할 수 있습니다. 선택한 \(H\), 표기 관례, 예비 입력값, 합리적인 대안 대역폭에 따른 민감도를 보고해야 합니다.

산술을 확인하기 위해 의도적으로 작은 가상 수익률을 생각해 보겠습니다. 단위는 bp(베이시스 포인트)입니다.

\[ (r_1,r_2,r_3,r_4)=(1,-1,1,-1)\ \mathrm{bp}. \]

이 수열은 계산 예시일 뿐 시장 자료가 아니며, 수익률이 네 개뿐이므로 점근 대역폭 선택을 정당화할 수도 없습니다. 시차 0 합은 다음과 같습니다.

\[ \Gamma_0=1^2+(-1)^2+1^2+(-1)^2=4\ \mathrm{bp}^2. \]

시차 1의 곱은 \((-1),(-1),(-1)\)이므로 \(\Gamma_1=-3\ \mathrm{bp}^2\)입니다. 시차 2에서는 \(r_3r_1=1\), \(r_4r_2=1\)이므로 \(\Gamma_2=2\ \mathrm{bp}^2\)입니다.

식을 보여주기 위해서만 \(H=2\)로 둡니다. Parzen 커널에서 \(k(1/2)=1-6(1/4)+6(1/8)=1/4\)이고 \(k(1)=0\)입니다. 따라서

\[ \widehat{IV}_{RK}=4+2\left(\tfrac14\right)(-3)+2(0)(2) =2.5\ \mathrm{bp}^2. \]

일반 실현분산은 \(4\ \mathrm{bp}^2\)이고, 이 예시에서는 음수인 시차 1 항에 가중치를 주어 커널 추정치가 낮아집니다. 시차 2 합은 Parzen 가중치가 경계에서 0이므로 기여하지 않습니다. 계산 결과는 음수가 아니지만, 산술만으로 숨겨진 효율가격 변동과 같다고 확인할 수는 없습니다. 잠재 경로를 관측하지 않았고 불확실성 구간도 계산하지 않았습니다. 예측이나 거래 결론도 나오지 않습니다. 제곱근은 약 \(1.58\) bp로, 이 가상 구간의 표준편차 척도일 뿐입니다.

이 예시는 대역폭과 시차 표기 규칙을 함께 밝혀야 하는 이유도 보여줍니다. \(H\), 끝점 관례, 수익률이 달라지면 가중치나 포함되는 곱도 달라집니다. 모든 수익률, 시차 합, 가중치, 단위를 적었기 때문에 계산을 재현할 수 있습니다.

비정규화 시차 합에서는 특히 첫 번째나 마지막 가격에 큰 관측 오차가 있을 때 끝점 관측치가 추정치에 큰 영향을 줄 수 있습니다. 실현 커널 실무 연구는 끝점 효과를 줄이기 위해 jittering이라고도 부르는 국소 평균을 다룹니다. 흔한 구현은 수익률을 계산하기 전에 구간 양쪽 끝의 가격을 주변 관측치 평균으로 바꾸는 것입니다. 평균을 낼 창의 크기와 한쪽 또는 양쪽 끝을 조정하는지는 구현 선택이므로 명시해야 합니다.

정제 규칙은 공식 못지않게 중요할 수 있습니다. 잘못 기록된 체결 하나, 오래된 호가, 교차 호가, 중복 시각, 가격 단위 오류 하나가 여러 시차 곱과 합에 영향을 줄 수 있습니다. 사용할 가격 항목, 시각 정렬, 거래 세션 경계, 중복 처리, 이상치 필터, 경매와 장 마감 처리 방법을 기록하세요. 결과가 그럴듯해지는지를 보고 사후적으로 규칙을 정하지 말고 정제 규칙을 독립적으로 정해야 합니다.

2009년 실현 커널 실무 논문은 체결가와 호가 자료, 끝점 효과, 국소 추세, 비음수 Parzen 커널을 다룹니다. 실무적 요점은 “잡음에 강건함”이 “자료 구조에 상관없이 작동함”을 뜻하지 않는다는 것입니다. 짧은 구간에서 점진적으로 움직이는 가격 성분, 바뀌는 시장 마찰, 호가를 만드는 방법은 기본 해석에 문제를 일으킬 수 있습니다. 끝점 평균은 끝점 문제 하나를 줄일 수 있지만, 중간에 있는 잘못된 관측치나 시각이 맞지 않는 계열까지 고치지는 못합니다.

고전 이론은 잠재 가격 과정, 표본화, 잡음, 커널의 매끄러움, 대역폭에 관한 조건을 둡니다. 일부 실현 커널 구성은 가장 단순한 독립 잡음 예시보다 넓은 시계열 의존 잡음과 내생적인 관측 시각을 허용합니다. 그러나 그 강건성은 정리와 구현 조건에 한정됩니다. 해당 조건을 만족하는 커널과 대역폭을 사용해야 합니다. Aït-Sahalia, Mykland, Zhang의 종속 미시구조 잡음 연구는 왜 잡음의 시간 의존성을 명시적으로 다뤄야 하는지 참고할 만합니다. 기본 공식을 쓰면 자동으로 모든 확장 조건을 만족하는 것은 아닙니다.

커널 선택도 중요합니다. Parzen 커널은 단변량 추정치를 음수가 아닌 값으로 만들기 위해 자주 선택됩니다. Flat-top 가중치는 다른 편향 특성을 목표로 할 수 있지만 유한 표본에서 음수 추정치를 낼 수 있습니다. 익숙한 HAC 가중치라는 이유만으로 임의 커널을 바꾸어 넣지 마세요. 실현 커널 문헌은 분석한 구성에서 Bartlett 커널 같은 일부 익숙한 선택이 같은 일치성 결과를 주지 않는다고 설명합니다. 추정치가 음수라면 사용한 커널과 유한 표본 규칙을 밝히세요. 조용히 0으로 자르거나 실제 분산이 음수라고 부르면 안 됩니다.

가격 대용치와 목표량의 한계도 그대로 이어집니다. 점프는 이차변동에 포함될 수 있고, 극단 관측은 곱을 크게 만들 수 있으며, 불규칙하거나 비동기적인 관측은 추정 대상을 바꿀 수 있습니다. 변동성이나 잡음이 구간 안에서 변할 수도 있습니다. 단변량 실현 커널은 다변량 비동기 표본을 자동으로 해결하거나, 점프를 제거하거나, 모든 수익률 의존성을 호가 왕복 하나로 구분하지 않습니다. “강건한 추정량”은 특정 모형 안에서 강건하다는 의미이지 가능한 모든 자료 결함에 대한 면역이 아닙니다.

재현 가능한 결과에는 가격 계열과 표본 설계, 관측 구간, 수익률 단위, 커널 함수, 최대 시차 \(H\), 끝점 표기 관례, 끝점 평균 규칙, 정제 방법이 포함되어야 합니다. 대입 대역폭이라면 추정한 잡음과 첨도 입력값 또는 재현에 필요한 절차를 밝히세요. 결과가 적분분산 추정치인지, 점프를 포함하는 이차변동 추정치인지, 변환된 변동성 측정치인지도 적어야 합니다.

추정치는 표본으로 관측한 구간의 변동을 설명합니다. 별도의 예측 모형이 과거 측정치를 미래 구간으로 연결하고 표본 밖 성능을 평가하지 않았다면 미래 변동성 예측치가 아닙니다. 호가 스프레드나 체결 비용 추정치도 아닙니다. Roll 매수·매도 스프레드 안내는 수익률 자기공분산을 사용하지만 다른 양을 추정합니다. Two-scale 실현변동성 안내는 다른 보정 구조를 갖는 잡음 강건 접근법을 설명합니다.

핵심 판단은 단순히 실현 커널을 쓸지 여부가 아닙니다. 가격 자료, 표본 설계, 추정 대상, 커널, 대역폭이 연구 질문에 맞아 결과 해석을 뒷받침하는지 확인해야 합니다. 민감도 표와 명시적인 모형 한계를 제시하면 그 판단을 검토하기 쉬워집니다. 신중한 추정치도 표본 불확실성이 있는 과거 측정값입니다. 수익성 있는 거래 규칙을 입증하거나 미시구조 효과가 사라졌다고 보장하지 않습니다.