[ML/DL] Recurrent Neural Network(RNN)

RNN 구조Recurrent Neural Network(RNN)은 시계열 데이터와 같은 연속적인 정보를 처리할 때 많이 사용되는 신경망이다. RNN은 기본적으로 과거의 정보를 기억하면서 새로운 정보를 처리하는 방식으로 작동한다(CNN이 공간적 특징을 추출하여 학습한다면, RNN은 시계열 데이터의 시간적 특징을 추출하여 학습한다고 보면 된다!)특히 RNN은 LSTM과 Transformer의 발전에 굉장히 중요한 역할을 하기 때문에, 정확하게 알아둘 필요가 있다. RNN은 입력 벡터 X를 받아 내부적 연산을 통해서 출력 벡터 y_hat을 출력하는 순전파(feedforward)과정을 가진다. RNN에서 시계열 데이터를 처리하는 것은 뇌의 기억(Memory)을 모방하는 것과 유사하다. 특정 단어를 번역할 때, ..