시계열 데이터는 관측 값들이 시간에 따라 변하는 자료를 말합니다.

시계열 자료는 일반적인 통계 이론이나 통계적 분석 방법으로는 다루기 어렵고, 시계열 분석 (Time Series Analysis) 방법을 사용합니다.

오늘은 지난 시간에 이어서 딥러닝을 활용한 금융 시계열 분석에 대해 간단하게 알아보도록 하겠습니다.

순환 신경망(Recurrent Neural Network : RNN) 구조

● 입력층 -> 은닉층 -> 출력층으로 연결된 단방향 신경망은 Feed Forward Network(FNN)이라 합니다.

● 이전 스텝의 출력값이 다시 연결되는 신경망은 순환 신경망(RNN)이라 합니다. RNN은 시간적으로 순서를 갖는 입력값의 자기종속 구조를 분석할 수 있습니다.

● RNN은 시계열 데이터, 자연언어 처리 등에 이용할 수 있습니다.

​

RBB의 오류 역전파 (Backpropagation through time : BPTT)

● RNN은 FNN과 달리 각 스텝(t)마다 오류를 측정하여 이전 스텝으로 전파합니다. 이것을 BPTT라고 합니다.

● 각 스텝마다 출력값(Yt)과 실제 출력값(hatYt)으로 error(mean square error)를 측정할 수 있으므로, 이 error를 이용하여 Wx, Wk, Wy와 bias를 업데이트할 수 있습니다. Wx, Wk, Wy와 bias는 매 스텝별로 존재하는 것이 아니라 공통 파라미터입니다.

● BPTT는 (왼쪽으로) error가 멀리 전파될 때 계산량이 많아지고 전파되는 양이 점차 적어지는 문제점(Vanishing gradients)이 발생합니다.

● Vanishing gradients 문제를 보완하기 위해 error를 몇 스텝까지만 전파시키는 Truncated BPTT를 사용할 수도 있고, 근본적으로는 LSTM을 사용합니다.

​

순환 신경망 (Long Short-Term Memory : LSTM)

● LSTM은 RNN의 vanishing gradients 문제를 해결하기 위해 고안되었습니다.

● LSTM은 기존 RNN에 cell state (C)를 추가하여 먼 과거의 데이터를 얼마나 반영(기억)할 것인지 제어할 수 있습니다.

● 기존 RNN의 은닉층 뉴런을 LSTM block으로 대체하고, 각 LSTM block은 기존의 h에 C가 추가된 작은 network입니다.

● 아래 예시는 입력층 뉴런 2개, 은닉층(LSTM층) 1개에 2개 뉴런(Block), 출력층 뉴런 1개로 구성된 예시입니다.

​

순환 신경망의 학습 유형

● Classification 목적을 위해서는 many-to-one 유형을 사용할 수 있고, 시계열 분석은 many-to-one이나 many-to-many 유형을 사용할 수 있습니다.

● 참고로 이미지를 말로 설명하는 image captioning 기능은 one-to-many 유형으로 학습할 수 있고 (CNN으로 이미지를 인식하고 RNN으로 문장을 생성함), 자동 번역기(machine translation)는 many-to-many 유형으로 학습할 수 있습니다.