티스토리

DAY터분석

검색하기

블로그 홈

DAY터분석

baram1ng.tistory.com/m

오히려좋아람 님의 블로그입니다.

구독자: 1

방명록 방문하기

공지 PROFILE 모두보기

주요 글 목록

[FineTuning] LoRA (Low-Rank Adaptation) 오늘은 수식에 대한 내용은 제쳐두고, LoRA의 핵심 내용에 대해서 간단히 리뷰한다. 배경 우리는 때로 LLM을 우리의 도메인에 대해 더 잘 답변을 하는 것을 원한다. 특정 도메인에 맞게 LLM을 튜닝하기 위해서는 LLM을 학습시켜야 하는데, Fully하게 LLM을 Fine-Tuning하는 것은 매우 리소스가 많이 필요하다. (LLM의 파라미터 수는 굉장히 많기에)또한 Base Model을 Fully Fine-Tuning 하는 것이 때로는 Pretraining에서 학습된 기본 성능을 저하 시킬 수도 있다. 왜냐하면 파라미터 수가 많기에 Pretraining에서 성능을 올려놓은 것을 잘못하면 떨어뜨리게 할 수 있게 될 수 있기 때문이다. 그래서 위와 같은 문제들을 극복하기 위해 탄생한 학습 방법이 바로 L.. 공감수 0 댓글수 0 2025. 3. 24.
[SQL] Case-When을 이용한 피벗테이블 오늘은 Group by와 Aggregate, case-when을 결합하여 피벗테이블을 생성하는 법에 대해서 리뷰한다. 예시 테이블 소개 우리가 오늘 살펴볼 예제는 리트코드의 1179. Reformat Department Table이다.테이블 구조는 아래와 같다.테이블 명: Department+-------------+---------+| Column Name | Type |+-------------+---------+| id | int || revenue | int || month | varchar |+-------------+---------+In SQL,(id, month) is the primary key of this table.The tabl.. 공감수 0 댓글수 0 2025. 3. 4.
[AWS] Lambda 톺아보기 오늘은 세미나에서 학습했던 AWS의 Lambda에 대해 리뷰하고자 한다. Server 우선 Lambda 서비스를 이해하기 위해서 Server에 대해 이해해야 할 필요가 있다. Server란 이름 그대로 서비스를 제공하는 주체로, 여기서 서비스란 사용자가 서버에 접속하여 얻고자 하는 것을 의미한다.e.g. 네이버 서버의 경우, ``https://www.naver.com`` 를 입력하면 사용자가 원하는 네이버 홈페이지를 보여준다.→ 사용자는 해당 url을 주소창에 입력하여 네이버 홈페이지를 보길 원하고 네이버 서버는 해당 요청에 홈페이지를 보여주는 것으로 응답한다.→ 이것이 기초적인 request와 response의 개념이다. IP IP주소란 하나의 컴퓨터에 부여되는 고유한 번호다.192.168.2.24 (.. 공감수 1 댓글수 0 2025. 3. 2.
[Database] 정규화(Normalization)/비정규화(Denormalization) 오늘은 효율적인 데이터베이스 설계를 위한 정규화(Normalization) 개념을 정복해보고자 한다. Preview 좋은 관계형 데이터베이스를 설계하는 목적 중 하나는 정보의 이상(Anomaly) 현상이 생기지 않도록 하는 것이다. 데이터베이스에는 대표적으로 3가지 현상이 존재한다.Insertion anomalies(삽입 이상): 삽입 이상은 원하지 않는 자료가 삽입된다든지, 삽입하는데 자료가 부족하여 삽입이 되지 않는 문제를 의미한다.Deletion anomalies(삭제 이상): 삭제 이상은 하나의 자료만 삭제하고 싶지만, 그 자료가 포함된 튜플 전체가 삭제됨으로 원하지 않은 정보 손실이 발생되는 문제를 의미한다.Modification anomalies(갱신 이상): 갱신 이상은 정확하지 않거나 일부.. 공감수 1 댓글수 0 2025. 2. 16.
[VectorStore] FAISS(Faicbook AI Similarity Search) 사용법 이전 글https://baram1ng.tistory.com/59 벡터 데이터베이스 (VectorDB)RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(Nbaram1ng.tistory.com이번에는 FAISS에 대해 정리해보고자 한다. FAISS FAISS는 Facebook AI Research에서 개발한 라이브러리로 대량의 고차원 벡터에서 효율적인 유사성 검색 및 클러스터링을 처리를 위해 개발된 라이브러리다. 딥러닝에서는 복잡한 이미지, 텍스트, 사운드 데이터들을 벡터화하는 작업이 우선적으로 처리되어야 하는데 FAISS는 특히 딥러닝에.. 공감수 3 댓글수 2 2025. 2. 9.
벡터 데이터베이스 (VectorDB) RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(NoSQL)벡터 데이터베이스(VectorDB) 관계형 데이터베이스(RDBMS) RDBMS는 데이터를 테이블로 구성하여 관리하는 데이터베이스를 의미한다. SQL을 이용하여 데이터를 조작한다. 이는 강력한 데이터 무결성을 가지고 복잡한 쿼리 처리 능력과 트랜젝션 관리 등이 가능한 DB형태를 가진다.대표적으로 우리가 익숙하게 알고 있는 MySQL, PostgreSQL, Oracle 등이 그 예시다. 주로 금융 시스템이나 고객 관리 시스템, 온라인 상점 등 데이터의 관계가 중요한 애플리케이션 서.. 공감수 1 댓글수 1 2025. 2. 2.
[ML/DL] CNN (Convolutional Neural Network) 오늘은 간단하게 CNN (Convolutional Neural Network)에 대해서 리뷰하고자 한다. CNN은 이미지 처리와 패턴 인식에 우수한 성능을 보여주는 신경망이다. 이미지는 픽셀로 이루어진 격자 형태의 데이터이다. 이미지는 픽셀로 이루어져 있고 각각의 픽셀은 RGB(Red, Green, Blue)값을 가진 데이터이다. CNN은 이러한 이미지 데이터의 공간적인 특징을 추출하여 학습하고 이를 기반으로 패턴을 인식하는 데 사용된다. 이를 위해 CNN은 주로 합성곱 층(Convolutional layer), 풀링 층(Pooling layer), 밀집층(Fully-connected layer, Dense layer)으로 구성이 된다. 합성곱 층(Convolutional Layer) 합성곱 층(Conv.. 공감수 1 댓글수 0 2025. 1. 26.
[ML/DL] Optuna 사용법 오늘은 기계 학습 모델에서 하이퍼파라미터를 조정할 수 있는 오픈 소스 라이브러리인 Optuna를 소개하고자 한다. 이전에 사용했던 GridSearchCV 패키지는 시간이 너무 오래걸리고 하이퍼파라미터 값을 직접 지정해야한다는 단점이 존재한다. Optuna도 파라미터 값을 지정해주어야 하는 것은 맞지만, 조금 더 포괄적인 값을 입력하면 범위 내에서 자동탐색을 통해 최적의 하이퍼파라미터를 도출해준다는 점에서 큰 장점을 가진다. 최적화 메커니즘 Optuna의 핵심 기능은 '효율적인 하이퍼파라미터 최적화'에 있다. 최적화 과정은 크게 2가지 메커니즘으로 이루어진다.트리 기반의 구조화된 파라미터 최적화 (TPE)프루닝 메커니즘 트리 기반의 구조화된 파라미터 최적화(TPE)는 베이지안 최적화의 일종으로, 이전의.. 공감수 1 댓글수 0 2025. 1. 8.
[SQL] CTE (공통테이블 표현식) CTE CTE는 쿼리를 통해 만들어낸 임시 Table이다. CTE의 기본 문법은 아래와 같다.WITH 테이블 이름 AS (테이블 만들 쿼리문) CTE의 경우 WITH와 함께 사용된다. 임시 테이블을 가지고 우리가 원하는 결과를 얻기 위한 쿼리문을 가지고 작성하기 때문이다. 예를 들어. 아래와 같은 세개의 Table이 존재한다고 하자.첫번째 Table: freelancerid : 프리랜서의 아이디first_name : 프리랜서의 이름last_name : 프리랜서의 성country : 프리랜서의 근무지pay_rate : 시급job_type_id : 직종 아이디 (job_position 테이블의 foreign key)두번째 Table: hours_workedid : hours_worked 테이블 내 데이터의.. 공감수 1 댓글수 1 2024. 11. 18.
[ML/DL] Precision & Recall Trade-off 오늘은 중요하게 다루고 넘어갈, Precision과 Recall의 Trade-off 관계에 대해 짚고 넘어가고자 한다. 우선 포스팅에 앞서, Precision값과 Recall에 대해 간단히 짚고 넘어간다. Confusion Matrix 우리는 Precision과 Recall의 정의는 Confusion Matrix에서부터 시작한다. 분류 모델에 대한 성능을 평가할 때는 모델이 내놓은 답(Predicted), 실제 정답(Actual) 간의 관계로 정의하여 2 x 2 Matrix로 정의할 수 있다. Confusion Matrix의 각각의 요소에 대한 설명은 아래와 같다.True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답)False Positive(FP) : 실제 False인 정.. 공감수 4 댓글수 1 2024. 10. 19.
[RecSys] Matrix Factorization 오늘은 추천 시스템의 Matrix Factorization(MF)을 리뷰해보고자 한다. 리뷰에 앞서 협업 필터링의 두 가지 방식에 대해 짚고 넘어가자. 협업 필터링의 두 가지 방식 Memory-based Approach Memory-based Approach는 추천할 때마다 Raw 데이터를 활용하고 계산해서 이를 추천에 사용하는 방식이다. 기본적인 협업필터링 알고리즘은 모두 메모리 기반 알고리즘이라고 보면 되고, 이는 계산량이 많기 때문에 현실에서 빅데이터를 사용한 모델에는 적합한 방법은 아니다. Model-based Approach 우리가 오늘 살펴보고자 하는 Model-based Approach는 Raw 데이터로 미리 학습한 모델을 만들어두고, 추천 시에 학습한 모델을 사용하여 예측하는 방식이다. M.. 공감수 9 댓글수 3 2024. 10. 15.
[ML/DL] ResNet (feat: Skip-Connection) 오늘은 딥러닝에서 이슈가 되는 skip connection과 vanishing gradient 문제를 해결하는 ResNet에 대해 알아보고자 한다. 딥러닝 모델의 기초는 신경망이다. 신경망은 뉴런으로 구성이 되어 있고 각 뉴런은 입력값을 받아 가중치($W$)와 편향($b$)을 적용하여 활성화 함수를 통해 출력을 계산한다. 이런 뉴런들이 여러 층으로 구성되면 MLP(다층 퍼셉트론)라고 불리게 된다. 이러한 다층 퍼셉트론이 발전하여 다층 신경망이 된다. 일반적인 관점에서 더 깊은 다층 신경망이 될수록 복잡한 과제를 수행할 수 있다. 딥러닝이 발전하면서 이상한 현상을 발견하게 되는데, 더 깊은 네트워크가 오히려 성능이 저하된 현상을 발견하게 된다.모델 성능의 감소 요인에는 여러 복합적인 요인들이 있겠지만, 모.. 공감수 4 댓글수 1 2024. 10. 4.
[RecSys] 추천시스템 전반적 개요 정리 이번 학기 추천시스템 강의를 듣게 되었는데, 수업 이전에 간단히 내용을 리마인드 하고자 글을 쓴다. 추천 시스템의 주요 유형 콘텐츠 기반 필터링 아이템의 콘텐츠에 집중하여 사용자가 선호하는 아이템의 특성을 분석한 후 유사한 특성을 가진 다른 아이템을 추천하는 방식이다. 작동 원리사용자가 선호한 아이템의 속성을 분석한다.사용자의 이전 행동이나 명시적 평가를 통해 선호도를 파악한 후, 그와 유사한 속성을 가진 다른 아이템을 추천한다.장점아이템 속성만으로 신규 아이템에 대한 추천이 가능하여, Cold Start 문제에서 상대적 이점을 가진다.사용자의 명시적 선호도를 기반으로 직관적인 추천이 가능하다.단점사용자가 선호하는 아이템의 범위에 갇혀 새로운 경험을 제공하는데 한계가 존재한다. (추천 다양성이 낮아짐)아.. 공감수 8 댓글수 3 2024. 9. 29.
[Causal Inference] 메타러너 이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/48 [Causal Inference] 이질적 처치효과이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/47 [Causal Inference] 성향점수이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내baram1ng.tistory.com이질적 효과 프레임워크에서 이산형, 연속형 처치에 각각 추정하고 싶은 CATE는 아래와 같다. 이는 모든 대상에게 처치를 할 수 없고 처치의 우선순위를 정해야 하는 경우에 매우 유용하다. 이전 장에서는 회귀분석을 사용하여 CATE 추정값을 구했다면, 이.. 공감수 2 댓글수 1 2024. 9. 28.
[ML/DL] Transformer: Attention Is All You Need 지금까지 트랜스포머 모델에 대해 공부하며 어려움이 많았다. 원문도 읽어보고 다양한 동영상을 접해봤지만 완벽하게 정리되는 느낌은 아니였다. 그런데, 얼마 전 신박AI에 대한 영상을 접하게 되었고 단연코 지금까지 본 트랜스포머 영상 중 가장 헷갈렸던 부분들을 긁어주는 영상이었기에 다시 한번 정리해보고자 한다. 신박AI와 같은 양질의 컨텐츠를 나도 나중에 제작하겠으리라 다짐하며 글을 시작한다.Intro 트랜스포머는 인공지능 역사에 길이 남을 이정표로, 모든 사람이 주장하는 딥러닝계의 게임 체인저 모델이다.2017년에 등장한 이후, 여러 트랜스포머 기반 모델들이 발표되었다. 아래 사진과 같이 트랜스포머는 자연어 처리 뿐 아니라 시각, 청각, 다중 모드, 강화 학습 등 딥러닝의 다양한 영역에 중요한 영향을 미치고.. 공감수 5 댓글수 2 2024. 9. 26.
[Causal Inference] 이질적 처치효과 이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/47 [Causal Inference] 성향점수이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/44 [Causal Inference] 인과추론 기초 & 무작위 실험KHUDbaram1ng.tistory.com지금까지는 처치의 평균적인 영향을 살펴보았다면, 지금부터는 처치가 사람마다 어떻게 다른 영향을 미치는지에 초점을 맞춘다. 어떤 대상이 처치에 더 잘 반응하는지 아는 것은 처치의 대상을 결정하는데 중요한 역할을 한다. ATE에서 CATE로 지금까지 처치에.. 공감수 2 댓글수 2 2024. 9. 24.
[Causal Inference] 성향점수 이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/45 [Causal Inference] 유용한 선형회귀이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/44 [Causal Inference] 인과추론 기초 & 무작위 실험KHUDA 활동을 통해서 이번에 인과추론 스터디를 진행하게 되었는데, 앞으로 해당 블로그에 정baram1ng.tistory.com오늘은 성향점수에 대해 알아보고자 한다. 성향점수 가중치는 또다른 편향 제거 방법 중 하나로, 직교화처럼 잔차를 생성하는 대신, 처치 배정 메커니즘을 모델링하고 모델 예측을 사용하여 데이터를 재조정한다. 성향 점수는 특히 이진(binary)이나 이산형(discrete)처치가 있을 때 특히 적합하.. 공감수 8 댓글수 5 2024. 9. 22.
[ML/DL] ELMo: Embeddings from Language Models 많은 Neural Language understanding 모델들의 representation에서의 Key point인 ELMO를 살펴보자. Intro 논문에서는 High qulity representations들은 두가지 동일한 모델링이 들어간다고 말한다.언어의 사용에서 복잡한 특징을 잡아야 한다. (ex. syntax and semantics) 단어들이 언어학적인 맥락에 따라서 다른 뜻을 가질 때 다른 representation을 가져야 한다. (ex. show(눈) != eye(눈), 다의어) Glove vs ELMo Glove는 play를 스포츠 쪽에 치우친 단어로 해석을 하는 반면, ELMo는 단어들의 뜻을 맥락에 따라서 구분하는 것을 볼 수 있다. Feature ELMo는 각각의 토큰들이 전.. 공감수 4 댓글수 4 2024. 9. 20.
[Causal Inference] 유용한 선형회귀 이전 글과 이어지는 내용입니다.https://baram1ng.tistory.com/44 [Causal Inference] 인과추론 기초 & 무작위 실험KHUDA 활동을 통해서 이번에 인과추론 스터디를 진행하게 되었는데, 앞으로 해당 블로그에 정리 내용을 업로드 해보고자 한다. 아래 글은 해당 도서 내용을 나만의 방식으로 정리한 글이다.https:/baram1ng.tistory.com 선형회귀의 필요성 선형 회귀는 인과추론의 강력한 모델이며, 이에 대해 알아보기로 한다. 모델이 필요한 이유 대출 금액이나 신용카드 한도가 채무불이행률에 미치는 영향에 대한 예시를 통해 회귀분석의 필요성을 알아보자. 보통, 신용카드 한도를 늘리면 신용카드 대급미납률이 높아질 것이라고 생각한다. 그러나, 실제 은행 데이터에는 신.. 공감수 4 댓글수 4 2024. 9. 18.
[Causal Inference] 인과추론 기초 & 무작위 실험 KHUDA 활동을 통해서 이번에 인과추론 스터디를 진행하게 되었는데, 앞으로 해당 블로그에 정리 내용을 업로드 해보고자 한다. 아래 글은 해당 도서 내용을 나만의 방식으로 정리한 글이다.https://product.kyobobook.co.kr/detail/S000212577153 실무로 통하는 인과추론 with 파이썬 | 마테우스 파쿠레 - 교보문고실무로 통하는 인과추론 with 파이썬 | 데이터 기반의 통찰력 있는 의사결정을 위한 인과추론, 효율적인 영향력 분석을 통한 성공적인 비즈니스 정책 결정온라인 마케팅 예산을 1달러 높이면 구product.kyobobook.co.kr인과추론 Intro 인과관계 != 연관관계 "연관관계는 인과관계가 아니다." 인과관계는 파악하기 까다롭고 때문에 사람들은 연관관계를.. 공감수 13 댓글수 16 2024. 9. 16.
[ML/DL] Seq2Seq with Attention 오늘은 Seq2Seq에 이어 Attention 개념을 설명해보고자 한다. seq2seq 모델에는 치명적인 단점이 존재한다. 만약, 입력 Sequence의 길이가 많이 길어지게 되면 한정된 길이의 Context Vector에 모든 입력 시퀸스의 정보를 담기가 상당히 어려워진다. 이러한 문제를 해결하기 위해 Attention 매커니즘이 활용된다. Attention 매커니즘은 디코더가 출력 시퀸스의 단어들을 생성할 때, 입력 시퀸스의 어떤 부분이 중요한지를 주목(attention)하게 만드는 알고리즘이다. Attention 매커니즘은 모델이 훨씬 더 긴 시퀸스를 처리할 수 있게하고 번역 품질을 개선하는 등 여러 이점을 제공하며, 특히 복잡한 문장 구조나 먼 거리의 의존성을 가진 언어 작업에서 효과가 눈에 띄.. 공감수 0 댓글수 0 2024. 9. 2.
[ML/DL] Sequence to Sequence Learning with Neural Networks 오늘은 seq2seq을 간단히 리뷰해보고자 한다. seq2seq 모델은 LSTM을 기본단위로 한다. 기계번역에서 LSTM이 RNN보다 성능이 좋았던 이유를 돌아보면, LSTM은 두개의 정보 흐름을 사용한다는 것에 차이가 있었음을 알 수 있다. 하나는 셀 상태($C_t$)라고 불리는 장기기억 정보이고 다른 하나는 히든 상태($H_t$)라고 불리는 단기기억 정보이다. LSTM은 이 두가지 정보를 사용하여 문장의 장기의존성 문제를 해결한다. 그러나 기계번역의 문제점은 장기의존성 문제 뿐만이 아니다.기계번역의 가장 큰 문제점은 문장의 어순과 단어의 갯수가 불일치 한다는 것이다. 보는 바와 같이 해석되는 단어의 갯수와 해석하는 단어의 갯수가 일대일 대응하지 않기 때문에 번역에 있어서 어려움이 존재한다. seq2s.. 공감수 1 댓글수 1 2024. 9. 1.
[Data Structure] Graph 최근 Recsys 분야의 추천은 전통적인 CF(협업 필터링), MF(행렬 분해) 알고리즘을 넘어 딥러닝으로 확장되고 있는 추세이다. 최근 많은 기업에서 GNN(Graph Neural Network) 알고리즘을 사용하고 있으며, 사용자의 선호도를 그래프 구조로 파악하고자 하는 연구의 흐름을 보이고 있다. 본인도 RecSys 관련 프로젝트를 하나 기획하고 있는데, 관계나 상호작용과 같은 추상적인 개념을 다루기에 적합한 GNN 알고리즘을 사용해볼 계획이기에 정리해보고자 한다. GNN(Graph Neural Network) 정리에 앞서 해당 알고리즘은 이름에서 볼 수 있듯 Graph 자료구조를 활용하는데, 우선적으로 Graph에 대한 정리를 한번 제대로 하고 가는 것이 이해에 도움이 될 듯하여 Graph 자료구.. 공감수 1 댓글수 3 2024. 8. 28.
[보충 리뷰] SHAP 최근 SHAP 논문을 리뷰해보았는데, 읽었음에도 불구하고 이해가 잘 되지 않는 부분이 많아서 강의를 통해 다시 한번 정리하고자 한다. Introduction 최근 딥러닝 모델이 복잡해짐에 따라 예측성능이 향상되고 있는데, 예측 성능이 높아지는 것은 고무적인 현상이지만 네트워크가 너무 복잡해지기 때문에 그 과정(Process)이 설명이 되지 않는 현상들이 발생한다.예측 결과도 좋으면서 그 과정을 설명까지 할 수 있다면, 굉장히 좋은 모델링이 될 수 있을 것이다. 최근에 설명가능한 인공지능 XAI에 대한 방법론들이 많이 등장하고 있는데, 그 중 대표적인 것이 바로 SHAP 방법론이다. Shapley addictive explanation (SHAP) 개념 소개 (SHAP은 게임 이론에 기반을 두는데 게임이론.. 공감수 2 댓글수 3 2024. 8. 28.
[논문 리뷰] SHAP 오늘은 설명가능한 AI에 대표적인 방법론인 SHAP 논문을 리뷰하려고 한다. Abstract 인공지능에서 모델이 예측한 결과를 이해하는 것은 중요하다. 그러나, 앙상블과 딥러닝 같은 복잡한 모델을 사용함으로써 large modern dataset에서 높은 정확도를 보이는 경우에는 정확도와 해석력 사이에 tention이 발생한다. 많은 방법론들은 복잡한 모델의 예측을 설명하기 위해 제안되고 있지만, 이러한 방법론들이 어떻게 연관되어 있고 한 방법론이 다른 방법론에 대해 언제 더 선호되는지에 대해 아직 명확하지 않는다. 때문에 해당 논몬에서는 SHAP 방법론을 제안한다. SHAP은 각각의 Feature에 특정한 예측에 대한 중요도(기여도)를 부여한 값이다. SHAP의 새로운 구성요소는 아래와 같다.The i.. 공감수 5 댓글수 1 2024. 8. 26.
[논문 리뷰] Prophet 시계열 예측 오늘은 Facebook에서 만든 시계열 예측 라이브러리인 Prophet을 리뷰해보려고 한다. Introduction 논문에서 제시하는 실무에서의 비즈니스 예측 문제는 크게 아래 2가지이다.완전히 자동화되는 시계열 예측 테크닉은 tuning하기 어렵고 유용한 가정이나 경험적인 사실들을 반영하기가 어렵다.분석자는 도메인 지식은 풍부하지만, 시계열 예측에 대해서는 잘 알지 못한다. 위의 2가지 이유로 해당 논문에서는 아래 3가지 사항을 만족하는 시계열 모델을 만드는 것을 목표로 한다.첫 번째, 시계열 방법에 대한 교육을 받지 않은 비전문가도 사용할 수 있어야 함.두 번째, 잠재적 특징들을 시계열 모델에 반영할 수 있어야함.세 번째, 예측을 평가하고 다양하게 비교되도록 자동화 되어야 함. 많은 자동화 된 패.. 공감수 4 댓글수 0 2024. 8. 20.
[ML/DL] Long Short-Term Memory(LSTM) 지난 시간에 RNN에 대해 간단히 리뷰해보았는데, 오늘은 LSTM에 대해 리뷰하고자 한다.LSTM은 RNN처럼 시계열 데이터를 처리할 때 사용하는 신경망으로 RNN의 단점을 극복하기 위해 등장한 신경망이다. RNN의 약점 RNN은 시계열 데이터를 처리함에 있어서 '장기 의존성'에 대한 약점이 존재했다. 예를 들어 아래와 같은 RNN이 존재한다고 가정하자. 아래와 같이 Sequence가 짧은 경우에는 이전 정보들이 잘 업데이트가 되어갈 수 있다. 그러나, 만약 Sequence가 점점 길어지게 된다면, 초기정보들은 반복적인 곱하기 연산(Chain-Rule)으로 인해 기울기가 0으로 소실되어 간다. 이를 Vanishing Gradient 현상이라고 하는데, 이러한 현상은 시간적으로 먼 입력값일수록 학습에 미치.. 공감수 0 댓글수 0 2024. 8. 15.
[Causal Inference] Causal Inference for The Brave and True 리뷰 최근 인과추론(Causal Inference)이라는 분야에 대해 관심을 가지게 되서 인과추론에 대해 자세히 설명해놓은 자료인 을 정리하고자 한다. 앞서 통계적인 언어가 많이 나와서 한번에 정리하고 글을 시작한다.ITE: 개별 처치 효과실험 대상 i에 처치가 결과에 미치는 영향을 의미$ITE = Y_i(1) - Y_i(0)$ATE, (Average Treatment Effect): 평균 처치 효과개별 처치 효과에 대한 평균$ATE = E[Y_1 - Y_0]$ATET/ATT(Average Treatment Effect on the treated): 처치받은 그룹에 대한 평균 처치 효과$ATT = E[Y_1 - Y_0|T = 1]$ex) T = 1인 그룹에 대한 ITE 평균 Machine Learning(상관.. 공감수 0 댓글수 0 2024. 8. 12.
[ML/DL] Recurrent Neural Network(RNN) RNN 구조Recurrent Neural Network(RNN)은 시계열 데이터와 같은 연속적인 정보를 처리할 때 많이 사용되는 신경망이다. RNN은 기본적으로 과거의 정보를 기억하면서 새로운 정보를 처리하는 방식으로 작동한다(CNN이 공간적 특징을 추출하여 학습한다면, RNN은 시계열 데이터의 시간적 특징을 추출하여 학습한다고 보면 된다!)특히 RNN은 LSTM과 Transformer의 발전에 굉장히 중요한 역할을 하기 때문에, 정확하게 알아둘 필요가 있다. RNN은 입력 벡터 X를 받아 내부적 연산을 통해서 출력 벡터 y_hat을 출력하는 순전파(feedforward)과정을 가진다. RNN에서 시계열 데이터를 처리하는 것은 뇌의 기억(Memory)을 모방하는 것과 유사하다. 특정 단어를 번역할 때, .. 공감수 0 댓글수 0 2024. 8. 9.
[Tableau] 필터 기능 알아보기 태블로는 다양한 필터를 가지고 있다. 필터를 통해 다양한 인사이트 추출이 가능하며, 동적으로 바로바로 확인할 수도 있다. 그만큼 태블로에 있어서 필터는 중요하기 때문에, 한번 정리해보고자 한다. 아래 예시는 모두 Sample SuperStore를 사용하였다. 필터의 종류 태블로에서는 추출 필터, 데이터 원본 필터, 차원 필터, 측정값 필터, 컨텍스트 필터, 테이블 계산 필터의 총 6가지 필터를 이용할 수 있다. 필터의 작동 순서는 아래와 같으며, 추출 필터가 가장 우선적으로 작동하고 테이블 계산 필터가 가장 나중에 사용됨을 확인할 수 있다. 눈치가 빠른 사람은 알 수 있겠지만, 결국 필터의 사용 순서에 따라 결과도 달라진다는 것을 확인할 수 있다. 추출 필터 추출 필터는 데이터의 원본 소스에서 데이터의 .. 공감수 0 댓글수 0 2024. 8. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.