[ML/DL] Sequence to Sequence Learning with Neural Networks

[ML/DL] Sequence to Sequence Learning with Neural Networks

오늘은 seq2seq을 간단히 리뷰해보고자 한다. seq2seq 모델은 LSTM을 기본단위로 한다. 기계번역에서 LSTM이 RNN보다 성능이 좋았던 이유를 돌아보면, LSTM은 두개의 정보 흐름을 사용한다는 것에 차이가 있었음을 알 수 있다. 하나는 셀 상태($C_t$)라고 불리는 장기기억 정보이고 다른 하나는 히든 상태($H_t$)라고 불리는 단기기억 정보이다. LSTM은 이 두가지 정보를 사용하여 문장의 장기의존성 문제를 해결한다. 그러나 기계번역의 문제점은 장기의존성 문제 뿐만이 아니다.기계번역의 가장 큰 문제점은 문장의 어순과 단어의 갯수가 불일치 한다는 것이다. 보는 바와 같이 해석되는 단어의 갯수와 해석하는 단어의 갯수가 일대일 대응하지 않기 때문에 번역에 있어서 어려움이 존재한다. seq2s..

  • format_list_bulleted Analytics
  • · 2024. 9. 1.
  • textsms
[보충 리뷰] SHAP

[보충 리뷰] SHAP

최근 SHAP 논문을 리뷰해보았는데, 읽었음에도 불구하고 이해가 잘 되지 않는 부분이 많아서 강의를 통해 다시 한번 정리하고자 한다. Introduction 최근 딥러닝 모델이 복잡해짐에 따라 예측성능이 향상되고 있는데, 예측 성능이 높아지는 것은 고무적인 현상이지만 네트워크가 너무 복잡해지기 때문에 그 과정(Process)이 설명이 되지 않는 현상들이 발생한다.예측 결과도 좋으면서 그 과정을 설명까지 할 수 있다면, 굉장히 좋은 모델링이 될 수 있을 것이다. 최근에 설명가능한 인공지능 XAI에 대한 방법론들이 많이 등장하고 있는데, 그 중 대표적인 것이 바로 SHAP 방법론이다. Shapley addictive explanation (SHAP) 개념 소개 (SHAP은 게임 이론에 기반을 두는데 게임이론..

  • format_list_bulleted Analytics
  • · 2024. 8. 28.
  • textsms
[논문 리뷰] SHAP

[논문 리뷰] SHAP

오늘은 설명가능한 AI에 대표적인 방법론인 SHAP 논문을 리뷰하려고 한다. Abstract 인공지능에서 모델이 예측한 결과를 이해하는 것은 중요하다. 그러나, 앙상블과 딥러닝 같은 복잡한 모델을 사용함으로써 large modern dataset에서 높은 정확도를 보이는 경우에는 정확도와 해석력 사이에 tention이 발생한다. 많은 방법론들은 복잡한 모델의 예측을 설명하기 위해 제안되고 있지만, 이러한 방법론들이 어떻게 연관되어 있고 한 방법론이 다른 방법론에 대해 언제 더 선호되는지에 대해 아직 명확하지 않는다. 때문에 해당 논몬에서는 SHAP 방법론을 제안한다. SHAP은 각각의 Feature에 특정한 예측에 대한 중요도(기여도)를 부여한 값이다. SHAP의 새로운 구성요소는 아래와 같다.The i..

  • format_list_bulleted Analytics
  • · 2024. 8. 26.
  • textsms
[논문 리뷰] Prophet 시계열 예측

[논문 리뷰] Prophet 시계열 예측

오늘은 Facebook에서 만든 시계열 예측 라이브러리인 Prophet을 리뷰해보려고 한다. Introduction 논문에서 제시하는 실무에서의 비즈니스 예측 문제는 크게 아래 2가지이다.완전히 자동화되는 시계열 예측 테크닉은 tuning하기 어렵고 유용한 가정이나 경험적인 사실들을 반영하기가 어렵다.분석자는 도메인 지식은 풍부하지만, 시계열 예측에 대해서는 잘 알지 못한다. 위의 2가지 이유로 해당 논문에서는 아래 3가지 사항을 만족하는 시계열 모델을 만드는 것을 목표로 한다.첫 번째, 시계열 방법에 대한 교육을 받지 않은 비전문가도 사용할 수 있어야 함.두 번째, 잠재적 특징들을 시계열 모델에 반영할 수 있어야함.세 번째, 예측을 평가하고 다양하게 비교되도록 자동화 되어야 함. 많은 자동화 된 패..

  • format_list_bulleted Analytics
  • · 2024. 8. 20.
  • textsms
[ML/DL] Long Short-Term Memory(LSTM)

[ML/DL] Long Short-Term Memory(LSTM)

지난 시간에 RNN에 대해 간단히 리뷰해보았는데, 오늘은 LSTM에 대해 리뷰하고자 한다.LSTM은 RNN처럼 시계열 데이터를 처리할 때 사용하는 신경망으로 RNN의 단점을 극복하기 위해 등장한 신경망이다. RNN의 약점 RNN은 시계열 데이터를 처리함에 있어서 '장기 의존성'에 대한 약점이 존재했다. 예를 들어 아래와 같은 RNN이 존재한다고 가정하자. 아래와 같이 Sequence가 짧은 경우에는 이전 정보들이 잘 업데이트가 되어갈 수 있다. 그러나, 만약 Sequence가 점점 길어지게 된다면, 초기정보들은 반복적인 곱하기 연산(Chain-Rule)으로 인해 기울기가 0으로 소실되어 간다. 이를 Vanishing Gradient 현상이라고 하는데, 이러한 현상은 시간적으로 먼 입력값일수록 학습에 미치..

  • format_list_bulleted Analytics
  • · 2024. 8. 15.
  • textsms
[Causal Inference] Causal Inference for The Brave and True 리뷰

[Causal Inference] Causal Inference for The Brave and True 리뷰

최근 인과추론(Causal Inference)이라는 분야에 대해 관심을 가지게 되서 인과추론에 대해 자세히 설명해놓은 자료인 을 정리하고자 한다. 앞서 통계적인 언어가 많이 나와서 한번에 정리하고 글을 시작한다.ITE: 개별 처치 효과실험 대상 i에 처치가 결과에 미치는 영향을 의미$ITE = Y_i(1) - Y_i(0)$ATE, (Average Treatment Effect): 평균 처치 효과개별 처치 효과에 대한 평균$ATE = E[Y_1 - Y_0]$ATET/ATT(Average Treatment Effect on the treated): 처치받은 그룹에 대한 평균 처치 효과$ATT = E[Y_1 - Y_0|T = 1]$ex) T = 1인 그룹에 대한 ITE 평균 Machine Learning(상관..

  • format_list_bulleted Analytics
  • · 2024. 8. 12.
  • textsms