[ML/DL] Long Short-Term Memory(LSTM)

지난 시간에 RNN에 대해 간단히 리뷰해보았는데, 오늘은 LSTM에 대해 리뷰하고자 한다.LSTM은 RNN처럼 시계열 데이터를 처리할 때 사용하는 신경망으로 RNN의 단점을 극복하기 위해 등장한 신경망이다. RNN의 약점 RNN은 시계열 데이터를 처리함에 있어서 '장기 의존성'에 대한 약점이 존재했다. 예를 들어 아래와 같은 RNN이 존재한다고 가정하자. 아래와 같이 Sequence가 짧은 경우에는 이전 정보들이 잘 업데이트가 되어갈 수 있다. 그러나, 만약 Sequence가 점점 길어지게 된다면, 초기정보들은 반복적인 곱하기 연산(Chain-Rule)으로 인해 기울기가 0으로 소실되어 간다. 이를 Vanishing Gradient 현상이라고 하는데, 이러한 현상은 시간적으로 먼 입력값일수록 학습에 미치..