4. 기초튼튼, 수학 튼튼 - 5. CNN 첫걸음, 6. RNN 첫걸음

5. CNN 첫걸음

 

Convoultion 연산

 

 

---

6. RNN 첫걸음

 

시퀀스 데이터

: 소리, 문자열, 주가 등의 데이터를 시퀀스 데이터로 분류

시퀀스 데이터는 독립동등분포 가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다.

 

이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부 확률을 이용할 수 있다.

 

위 조건부 확률은 과거의 모든 정보를 사용하지만 시퀀스 데이터를 분석할 때 모든 과거 정보들이 필요한 것은 아니다.

고정된 길이 타우 만큼의 시퀀스를 사용하는 경우 -> 자기회귀모델

 

이전 직전 정보, 잠재변수 -> 고정된 길이의 모델을 사용

 

그렇지만 과거의 잠재변수를 어떻게 ?

-> 순환신경망 RNN

 

RNN (Recurrent Neural Network) 이해하기

가장 기본적인 RNN모델은 MLP와 유사한 모양

W(2), Wx(1), Wh(1)은 t에 따라서 변하는 행렬이 아니다. 이 가중치 행렬은 동일한 값을 t에따라 가진다.

 

-> BPTT를 통한 역전파 알고리즘의 계산이 불안정해지므로 길이를 끊는 것이 필요

-> truncated BPTT