[ML/DL] Recurrent Neural Network(RNN)

RNN 구조Recurrent Neural Network(RNN)은 시계열 데이터와 같은 연속적인 정보를 처리할 때 많이 사용되는 신경망이다. RNN은 기본적으로 과거의 정보를 기억하면서 새로운 정보를 처리하는 방식으로 작동한다(CNN이 공간적 특징을 추출하여 학습한다면, RNN은 시계열 데이터의 시간적 특징을 추출하여 학습한다고 보면 된다!)특히 RNN은 LSTM과 Transformer의 발전에 굉장히 중요한 역할을 하기 때문에, 정확하게 알아둘 필요가 있다. RNN은 입력 벡터 X를 받아 내부적 연산을 통해서 출력 벡터 y_hat을 출력하는 순전파(feedforward)과정을 가진다. RNN에서 시계열 데이터를 처리하는 것은 뇌의 기억(Memory)을 모방하는 것과 유사하다. 특정 단어를 번역할 때, ..

• format_list_bulleted Analytics
• · 2024. 8. 9.
• textsms

[NLP] Text Representation

컴퓨터는 텍스트를 이해하지 못한다. 때문에, 컴퓨터가 텍스트를 이해할 수 있도록 잘 표현해주어야 하는데, 우리는 그것을 Text Representation이라고 한다. 즉, 우리는 NLP에 있어서 항상 텍스트를 어떻게 컴퓨터가 이해할 수 있도록 변환할까를 계속 고민해야한다. 오늘은 컴퓨터가 텍스트를 이해할 수 있도록 변형하는 몇가지 기법을 소개해보고자 한다. 원-핫 인코딩(One-Hot Encoding) 원-핫 인코딩(One-Hot Encoding)은 문장내에 등장한 모든 단어의 차원을 나열한 것을 의미한다. 아래의 예시와 같이 문장이 있는 경우, 문장에 들어가는 단어의 수만큼 차원을 만들고 각 차원마다 단어의 위치를 지정하여 해당 단어가 나오는 차원에 1을 부여하는 것이다. Bag Of Words 원-..

• format_list_bulleted Analytics
• · 2024. 6. 14.
• textsms