이번 학기 추천시스템 강의를 듣게 되었는데, 수업 이전에 간단히 내용을 리마인드 하고자 글을 쓴다. 추천 시스템의 주요 유형 콘텐츠 기반 필터링 아이템의 콘텐츠에 집중하여 사용자가 선호하는 아이템의 특성을 분석한 후 유사한 특성을 가진 다른 아이템을 추천하는 방식이다. 작동 원리사용자가 선호한 아이템의 속성을 분석한다.사용자의 이전 행동이나 명시적 평가를 통해 선호도를 파악한 후, 그와 유사한 속성을 가진 다른 아이템을 추천한다.장점아이템 속성만으로 신규 아이템에 대한 추천이 가능하여, Cold Start 문제에서 상대적 이점을 가진다.사용자의 명시적 선호도를 기반으로 직관적인 추천이 가능하다.단점사용자가 선호하는 아이템의 범위에 갇혀 새로운 경험을 제공하는데 한계가 존재한다. (추천 다양성이 낮아짐)아..
이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/48 [Causal Inference] 이질적 처치효과이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/47 [Causal Inference] 성향점수이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내baram1ng.tistory.com이질적 효과 프레임워크에서 이산형, 연속형 처치에 각각 추정하고 싶은 CATE는 아래와 같다. 이는 모든 대상에게 처치를 할 수 없고 처치의 우선순위를 정해야 하는 경우에 매우 유용하다. 이전 장에서는 회귀분석을 사용하여 CATE 추정값을 구했다면, 이..
지금까지 트랜스포머 모델에 대해 공부하며 어려움이 많았다. 원문도 읽어보고 다양한 동영상을 접해봤지만 완벽하게 정리되는 느낌은 아니였다. 그런데, 얼마 전 신박AI에 대한 영상을 접하게 되었고 단연코 지금까지 본 트랜스포머 영상 중 가장 헷갈렸던 부분들을 긁어주는 영상이었기에 다시 한번 정리해보고자 한다. 신박AI와 같은 양질의 컨텐츠를 나도 나중에 제작하겠으리라 다짐하며 글을 시작한다.Intro 트랜스포머는 인공지능 역사에 길이 남을 이정표로, 모든 사람이 주장하는 딥러닝계의 게임 체인저 모델이다.2017년에 등장한 이후, 여러 트랜스포머 기반 모델들이 발표되었다. 아래 사진과 같이 트랜스포머는 자연어 처리 뿐 아니라 시각, 청각, 다중 모드, 강화 학습 등 딥러닝의 다양한 영역에 중요한 영향을 미치고..
이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/47 [Causal Inference] 성향점수이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/44 [Causal Inference] 인과추론 기초 & 무작위 실험KHUDbaram1ng.tistory.com지금까지는 처치의 평균적인 영향을 살펴보았다면, 지금부터는 처치가 사람마다 어떻게 다른 영향을 미치는지에 초점을 맞춘다. 어떤 대상이 처치에 더 잘 반응하는지 아는 것은 처치의 대상을 결정하는데 중요한 역할을 한다. ATE에서 CATE로 지금까지 처치에..
이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/44 [Causal Inference] 인과추론 기초 & 무작위 실험KHUDA 활동을 통해서 이번에 인과추론 스터디를 진행하게 되었는데, 앞으로 해당 블로그에 정baram1ng.tistory.com오늘은 성향점수에 대해 알아보고자 한다. 성향점수 가중치는 또다른 편향 제거 방법 중 하나로, 직교화처럼 잔차를 생성하는 대신, 처치 배정 메커니즘을 모델링하고 모델 예측을 사용하여 데이터를 재조정한다. 성향 점수는 특히 이진(binary)이나 이산형(discrete)처치가 있을 때 특히 적합하..
많은 Neural Language understanding 모델들의 representation에서의 Key point인 ELMO를 살펴보자. Intro 논문에서는 High qulity representations들은 두가지 동일한 모델링이 들어간다고 말한다.언어의 사용에서 복잡한 특징을 잡아야 한다. (ex. syntax and semantics) 단어들이 언어학적인 맥락에 따라서 다른 뜻을 가질 때 다른 representation을 가져야 한다. (ex. show(눈) != eye(눈), 다의어) Glove vs ELMo Glove는 play를 스포츠 쪽에 치우친 단어로 해석을 하는 반면, ELMo는 단어들의 뜻을 맥락에 따라서 구분하는 것을 볼 수 있다. Feature ELMo는 각각의 토큰들이 전..