[ML/DL] Precision & Recall Trade-off

오늘은 중요하게 다루고 넘어갈, Precision과 Recall의 Trade-off 관계에 대해 짚고 넘어가고자 한다. 우선 포스팅에 앞서, Precision값과 Recall에 대해 간단히 짚고 넘어간다. Confusion Matrix 우리는 Precision과 Recall의 정의는 Confusion Matrix에서부터 시작한다. 분류 모델에 대한 성능을 평가할 때는 모델이 내놓은 답(Predicted), 실제 정답(Actual) 간의 관계로 정의하여 2 x 2 Matrix로 정의할 수 있다. Confusion Matrix의 각각의 요소에 대한 설명은 아래와 같다.True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답)False Positive(FP) : 실제 False인 정..

• format_list_bulleted Analytics
• · 2024. 10. 19.
• textsms

[RecSys] Matrix Factorization

오늘은 추천 시스템의 Matrix Factorization(MF)을 리뷰해보고자 한다. 리뷰에 앞서 협업 필터링의 두 가지 방식에 대해 짚고 넘어가자. 협업 필터링의 두 가지 방식 Memory-based Approach Memory-based Approach는 추천할 때마다 Raw 데이터를 활용하고 계산해서 이를 추천에 사용하는 방식이다. 기본적인 협업필터링 알고리즘은 모두 메모리 기반 알고리즘이라고 보면 되고, 이는 계산량이 많기 때문에 현실에서 빅데이터를 사용한 모델에는 적합한 방법은 아니다. Model-based Approach 우리가 오늘 살펴보고자 하는 Model-based Approach는 Raw 데이터로 미리 학습한 모델을 만들어두고, 추천 시에 학습한 모델을 사용하여 예측하는 방식이다. M..

• format_list_bulleted Analytics
• · 2024. 10. 15.
• textsms

[ML/DL] ResNet (feat: Skip-Connection)

오늘은 딥러닝에서 이슈가 되는 skip connection과 vanishing gradient 문제를 해결하는 ResNet에 대해 알아보고자 한다. 딥러닝 모델의 기초는 신경망이다. 신경망은 뉴런으로 구성이 되어 있고 각 뉴런은 입력값을 받아 가중치($W$)와 편향($b$)을 적용하여 활성화 함수를 통해 출력을 계산한다. 이런 뉴런들이 여러 층으로 구성되면 MLP(다층 퍼셉트론)라고 불리게 된다. 이러한 다층 퍼셉트론이 발전하여 다층 신경망이 된다. 일반적인 관점에서 더 깊은 다층 신경망이 될수록 복잡한 과제를 수행할 수 있다. 딥러닝이 발전하면서 이상한 현상을 발견하게 되는데, 더 깊은 네트워크가 오히려 성능이 저하된 현상을 발견하게 된다.모델 성능의 감소 요인에는 여러 복합적인 요인들이 있겠지만, 모..

• format_list_bulleted Analytics
• · 2024. 10. 4.
• textsms

[RecSys] 추천시스템 전반적 개요 정리

이번 학기 추천시스템 강의를 듣게 되었는데, 수업 이전에 간단히 내용을 리마인드 하고자 글을 쓴다. 추천 시스템의 주요 유형 콘텐츠 기반 필터링 아이템의 콘텐츠에 집중하여 사용자가 선호하는 아이템의 특성을 분석한 후 유사한 특성을 가진 다른 아이템을 추천하는 방식이다. 작동 원리사용자가 선호한 아이템의 속성을 분석한다.사용자의 이전 행동이나 명시적 평가를 통해 선호도를 파악한 후, 그와 유사한 속성을 가진 다른 아이템을 추천한다.장점아이템 속성만으로 신규 아이템에 대한 추천이 가능하여, Cold Start 문제에서 상대적 이점을 가진다.사용자의 명시적 선호도를 기반으로 직관적인 추천이 가능하다.단점사용자가 선호하는 아이템의 범위에 갇혀 새로운 경험을 제공하는데 한계가 존재한다. (추천 다양성이 낮아짐)아..

• format_list_bulleted Analytics
• · 2024. 9. 29.
• textsms

[Causal Inference] 메타러너

이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/48 [Causal Inference] 이질적 처치효과이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/47 [Causal Inference] 성향점수이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45  [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내baram1ng.tistory.com이질적 효과 프레임워크에서 이산형, 연속형 처치에 각각 추정하고 싶은 CATE는 아래와 같다. 이는 모든 대상에게 처치를 할 수 없고 처치의 우선순위를 정해야 하는 경우에 매우 유용하다. 이전 장에서는 회귀분석을 사용하여 CATE 추정값을 구했다면, 이..

• format_list_bulleted Analytics
• · 2024. 9. 28.
• textsms

[ML/DL] Transformer: Attention Is All You Need

지금까지 트랜스포머 모델에 대해 공부하며 어려움이 많았다. 원문도 읽어보고 다양한 동영상을 접해봤지만 완벽하게 정리되는 느낌은 아니였다. 그런데, 얼마 전 신박AI에 대한 영상을 접하게 되었고 단연코 지금까지 본 트랜스포머 영상 중 가장 헷갈렸던 부분들을 긁어주는 영상이었기에 다시 한번 정리해보고자 한다. 신박AI와 같은 양질의 컨텐츠를 나도 나중에 제작하겠으리라 다짐하며 글을 시작한다.Intro 트랜스포머는 인공지능 역사에 길이 남을 이정표로, 모든 사람이 주장하는 딥러닝계의 게임 체인저 모델이다.2017년에 등장한 이후, 여러 트랜스포머 기반 모델들이 발표되었다. 아래 사진과 같이 트랜스포머는 자연어 처리 뿐 아니라 시각, 청각, 다중 모드, 강화 학습 등 딥러닝의 다양한 영역에 중요한 영향을 미치고..

• format_list_bulleted Analytics
• · 2024. 9. 26.
• textsms