Tommy blog

  중첩된 결과 High Frequency Data에서 가격 계열에 Labeling된 Label을 $y_i$라고 하자. $y_i$는 어느 기간 내에서 발생한 가격 바의 함수라고 할 수 있다. 그러나 만약 기간 $i,j$에 대해서 $t_{i,1}>t_{j,0}$이고 $i<j$이면 $y_i, y_j$는 공통 수익률 $r_{t_{j,0}, min\{t_{i,1}, t_{j,0}\}}$에 의존한다. 즉, 이때까지 레이블링하여 포착한 레이블 중 어느 구간 내에서 하나의 포지션 기간 내에 다른 매수 혹은 매도 신호가 포착된다면 포지션 보유 기간이 공통의 수익률에 공존한다는 뜻이다. 이 경우, 수익률이 두 포지션에 공통적으로 Labeling되므로 $\mathbf{IID}$가 아니라는 것을 알 수 있다.

  표본 가중값(시간 감쇠 등)과 함께 클래스 가중값을 적용하는 것이 유용할 때가 있다. 클래스 가중값을 과소 출현한 레이블의 가중값을 교정하는 것이다. 이는 빈도수가 과소출현된 Label에게 클래스 가중값을 주는 것이다. 금융시장의 참여자들에게는 과거의 시장 충격에 대한 기억을 가지고 있다. 실제로 시장 참여자들은 투자를 집행할 때에 과거의 충격에 대해 어느정도 큰 영향을 받는다. 2008년 금융 위기를 생각해 보자. 거래소가 탄생한 이후로 2008년 금융위기, 1929년 대공황과 같은 사태는 정말 드물게 일어난다.  이러한 희소한 레이블에 다른 이벤트와 동일한 가중값을 부여하면 머신러닝 알고리즘은 이러한 이벤트들을 제외하고 학습시킬 것이며, 단지 outlier처럼 취급할 것이다. Machine Learning 에서의 Class weight 조절 데이터 과학에서도 희소한 Class들의 처리 방법은 이미 오래전부터 이뤄져 온 주제이다. 대표적인 예가 바로 Unbalanced Data인데, 표본 추출된 집단에서 어느 한 집단이 과소 대표된 것을 의미한다. 예를 들어 보자. 사회 전체적으로 보면 남성과 여성의 성비는 거의 1:1에 가깝다. 어느 설문조사가 표집을 잘못하여 남성과 여성의 비율을 8:2로 추출하였다고 하면, 이는 남성과 여성이 각각 과대표집, 과소표집 된 것이다. 이러한 unbalanced data는 ML 분류기에서 큰 착각을 불러일으킨다. 성별 예측의 문제가 주어졌다고 가정하면, 기계는 단지 아무런 특성을 보지 않고 남성이라고 답하는 것만으로도 80%의 정확도를 가지는 분류기를 만들어낸다. 극단적인 예로, 99:1의 비율을 가지고 있다고 하면 1은 단지 Outlier로 처리하여, 99%정확도를 갖는 '그럴듯한' 분류기를 만들어 낼지도 모른다. 그러나, 다행히도 Machine Learning 라이브러리에서는 대개 클래스의 가중치를 다룰 수 있는 기능이 탑재되어 있다. 예를 들어, sklearn은 표본 class[j], $j = 1, ...

  Siding and Sizing  Machine Learning Algorithm이 betting side와 size를 학습할 수 있도록 Labeling하는 방식을 보도록 한다.  Meta Labeling Primary Model Secondary Model Random Forest

  이벤트 기반의 표본 추출 포트폴리오 매니저는 시장 구조적 변화, 추출된 신호 혹은 미시 구조적 현상 등 어떤 사건이 발생한 후에 사후 판단하여 베팅을 한다. 이러한 이벤트들은 대개 변동성 확대, 스프레드의 이탈, 거시경제지표 등과 연계되어 있을 수 있다. 프라도 교수는 이벤트를 중대한 것으로 특징지을 수 있고, 머신러닝을 활용해 이벤트가 발생한 부분을 Labeling하여 학습시키면 충분히 예측할 수 있는 학습기를 만들수 있다고 한다. (후에 기술하겠지만, Meta Labeling 기법의 가장 중요한 아이디어라고 할 수 있다) Cumulative Sum filter는 품질 통제 기법으로서 측정값이 목표값의 평균으로부터 얼마나 벗어났는지 확인하는 필터이다. 즉, 시장흐름의 기대값을 벗어나면 이벤트가 발생되었다고 보는 것이다. 물론, 여기서 기대값을 정하는 것은 사용자의 영역이므로 Hyper Parameter라고 볼 수 있다. CUSUM Filter Locally stationary process에서 발생한 관측값을 생각해 보자. 누적 합계는 다음과 같이 정의한다. $$ S_t = \max \{0, S_{t-1} + y_t - E_{t-1}[y_t]\}$$ 여기서 경계 조건은 $ S_0 = 0 $이다. 이 절차는 특정 임계값에 대해 $ S_t \leq h $를 만족하는 첫 번째 시간 $t$에서의 행동을 추천할 것이다.$y_t \geq E_{t-1}[y_t] - S_{t-1}$일 때마다 $S_t=0$이다. 0 floor는 $S_t$가 음수가 되지 못하도록 하방 편차를 무시할 것을 의미한다. 그 이유는 필터가 모든 재설정 레벨 0으로부터 위로 발산하는 시퀀스를 식별하도록 설정됐기 때문이다. 특히 임계값은 다음의 경우에 활성화된다 $$ S_t \leq h \Leftrightarrow \exists \tau \in [1,t] \Big| \sum_{i=\tau} ^t (y_i - E_{I-1} [y_t]) \leq h$$ 이러한 개념은 upper bound와 lo...

금융시장의 미시적 구조 금융시장에는 다양한 시장 참여자들이 존재한다. 당장 한국의 주식 시장만 보더라도, 소위 개미로 불리우는 개인 투자자와 국민연금과 같은 기관, 고객들의 자산을 맡아 관리하는 자산운용사들과 수많은 대형 투자자들 등이 존재한다. 매수 매도 호가창을 보면, 그들이 지금까지 행한 거래기록와 bid ask information을 볼 수 있는데, 이 정보에는 각각의 시장 참여자들의 개인적인 전략이 숨어 있는 private information을 포함하고 있다. Bid Ask tick을 통해 Daily Data로는 볼 수 없는 정보를 추출해낼 수 있다. Bar 매수매도 주문와 장부를 통계학적으로 해석하기 위해서는 정규화된 형태로 저장해야 한다. 시계열 데이터를 통계적으로 해석할 수 있는 데이터로 만들기 위해서는 정상성을 띈 데이터로 변환을 해야 하는데, 많은 문헌에서 시간을 기준으로 한 Bar 보다 Volume과 Dollar Value를 기준으로 추출한 표본이 정규성과 정상성에서 더욱 강건한 경향을 보였다. 저자인 Prado 교수는 기존 문헌에서 많이 사용되는 표준 바와 더불어, Information driving bar 또한 소개하고 있다. 표준 바 Time Bar 시간 바는 고정된 시간 간격으로 정보를 표본 추출하여 생성한다. Python Library 혹은 KODEX 등에서 데이터를 구매하면 가장 기본적으로 구성된 정보의 형태이다. 저자인 Prado 교수는 다음과 같은 이유로 사용을 자제하는 것을 권장한다 시장은 정보를 일정한 시간 간격으로 처리하지 않는다 시간에 따라 추출된 시계열 자료는 종종 좋지 않는 통계적 성질을 보인다. Tick Bar 틱 바의 기본적인 아이디어는 간단하다. 사전에 정해둔 거래 건수를 넘어갈 때마다 추출하는 것이다. 이렇게 하면 정보의 도착과 표본 추출을 동기화할 수 있다. 경험적으로는 600틱 정도가 좋은 듯 하다. 틱 바를 구성할 때에는 Outlier에 주의해야 한다. 많은 거래소에서 장 시작과 장 종료에 대량 장외가...