[ML/DL] ELMo: Embeddings from Language Models

많은 Neural Language understanding 모델들의 representation에서의 Key point인 ELMO를 살펴보자. Intro 논문에서는 High qulity representations들은 두가지 동일한 모델링이 들어간다고 말한다.언어의 사용에서 복잡한 특징을 잡아야 한다. (ex. syntax and semantics) 단어들이 언어학적인 맥락에 따라서 다른 뜻을 가질 때 다른 representation을 가져야 한다. (ex. show(눈) != eye(눈), 다의어) Glove vs ELMo  Glove는 play를 스포츠 쪽에 치우친 단어로 해석을 하는 반면, ELMo는 단어들의 뜻을 맥락에 따라서 구분하는 것을 볼 수 있다. Feature ELMo는 각각의 토큰들이 전..