오늘은 Facebook에서 만든 시계열 예측 라이브러리인 Prophet을 리뷰해보려고 한다. Introduction 논문에서 제시하는 실무에서의 비즈니스 예측 문제는 크게 아래 2가지이다.완전히 자동화되는 시계열 예측 테크닉은 tuning하기 어렵고 유용한 가정이나 경험적인 사실들을 반영하기가 어렵다.분석자는 도메인 지식은 풍부하지만, 시계열 예측에 대해서는 잘 알지 못한다. 위의 2가지 이유로 해당 논문에서는 아래 3가지 사항을 만족하는 시계열 모델을 만드는 것을 목표로 한다.첫 번째, 시계열 방법에 대한 교육을 받지 않은 비전문가도 사용할 수 있어야 함.두 번째, 잠재적 특징들을 시계열 모델에 반영할 수 있어야함.세 번째, 예측을 평가하고 다양하게 비교되도록 자동화 되어야 함. 많은 자동화 된 패..
지난 시간에 RNN에 대해 간단히 리뷰해보았는데, 오늘은 LSTM에 대해 리뷰하고자 한다.LSTM은 RNN처럼 시계열 데이터를 처리할 때 사용하는 신경망으로 RNN의 단점을 극복하기 위해 등장한 신경망이다. RNN의 약점 RNN은 시계열 데이터를 처리함에 있어서 '장기 의존성'에 대한 약점이 존재했다. 예를 들어 아래와 같은 RNN이 존재한다고 가정하자. 아래와 같이 Sequence가 짧은 경우에는 이전 정보들이 잘 업데이트가 되어갈 수 있다. 그러나, 만약 Sequence가 점점 길어지게 된다면, 초기정보들은 반복적인 곱하기 연산(Chain-Rule)으로 인해 기울기가 0으로 소실되어 간다. 이를 Vanishing Gradient 현상이라고 하는데, 이러한 현상은 시간적으로 먼 입력값일수록 학습에 미치..
최근 인과추론(Causal Inference)이라는 분야에 대해 관심을 가지게 되서 인과추론에 대해 자세히 설명해놓은 자료인 을 정리하고자 한다. 앞서 통계적인 언어가 많이 나와서 한번에 정리하고 글을 시작한다.ITE: 개별 처치 효과실험 대상 i에 처치가 결과에 미치는 영향을 의미$ITE = Y_i(1) - Y_i(0)$ATE, (Average Treatment Effect): 평균 처치 효과개별 처치 효과에 대한 평균$ATE = E[Y_1 - Y_0]$ATET/ATT(Average Treatment Effect on the treated): 처치받은 그룹에 대한 평균 처치 효과$ATT = E[Y_1 - Y_0|T = 1]$ex) T = 1인 그룹에 대한 ITE 평균 Machine Learning(상관..
RNN 구조Recurrent Neural Network(RNN)은 시계열 데이터와 같은 연속적인 정보를 처리할 때 많이 사용되는 신경망이다. RNN은 기본적으로 과거의 정보를 기억하면서 새로운 정보를 처리하는 방식으로 작동한다(CNN이 공간적 특징을 추출하여 학습한다면, RNN은 시계열 데이터의 시간적 특징을 추출하여 학습한다고 보면 된다!)특히 RNN은 LSTM과 Transformer의 발전에 굉장히 중요한 역할을 하기 때문에, 정확하게 알아둘 필요가 있다. RNN은 입력 벡터 X를 받아 내부적 연산을 통해서 출력 벡터 y_hat을 출력하는 순전파(feedforward)과정을 가진다. RNN에서 시계열 데이터를 처리하는 것은 뇌의 기억(Memory)을 모방하는 것과 유사하다. 특정 단어를 번역할 때, ..
태블로는 다양한 필터를 가지고 있다. 필터를 통해 다양한 인사이트 추출이 가능하며, 동적으로 바로바로 확인할 수도 있다. 그만큼 태블로에 있어서 필터는 중요하기 때문에, 한번 정리해보고자 한다. 아래 예시는 모두 Sample SuperStore를 사용하였다. 필터의 종류 태블로에서는 추출 필터, 데이터 원본 필터, 차원 필터, 측정값 필터, 컨텍스트 필터, 테이블 계산 필터의 총 6가지 필터를 이용할 수 있다. 필터의 작동 순서는 아래와 같으며, 추출 필터가 가장 우선적으로 작동하고 테이블 계산 필터가 가장 나중에 사용됨을 확인할 수 있다. 눈치가 빠른 사람은 알 수 있겠지만, 결국 필터의 사용 순서에 따라 결과도 달라진다는 것을 확인할 수 있다. 추출 필터 추출 필터는 데이터의 원본 소스에서 데이터의 ..
태블로의 날짜 데이터는 연속형 & 불연속형으로 구분이 된다. 어떤 기준으로 연속형, 불연속형으로 각각 분리가 되는 것일까? 한번 같이 알아보자.! 날짜 형식의 연속형과 불연속형 태블로에서는 연속형(Continuous)과 불연속형(Discrete)의 날짜 형식을 모두 표현할 수 있다. 태블로의 날짜 데이터는 년 > 분기 > 월 > 일 > 시 > 분 > 초 순으로 계층적인 구조를 가지고 있다.결론부터 말하자면 불연속형 날짜 데이터에서 날짜 계층들은 서로 독립적이고 연속형 날짜 데이터는 다른 계층들에 귀속된다. 태블로 추가 메뉴의 초록색 박스에 해당하는 년, 분기, 월, 일은 불연속 형에 해당하는 옵션이고 아래 노란색 박스에 해당하는 년, 분기, 월, 일은 연속형에 해당하는 옵션이다. 해당 옵션을 살펴보면 불..