[FineTuning] LoRA (Low-Rank Adaptation)

오늘은 수식에 대한 내용은 제쳐두고, LoRA의 핵심 내용에 대해서 간단히 리뷰한다. 배경 우리는 때로 LLM을 우리의 도메인에 대해 더 잘 답변을 하는 것을 원한다. 특정 도메인에 맞게 LLM을 튜닝하기 위해서는 LLM을 학습시켜야 하는데, Fully하게 LLM을 Fine-Tuning하는 것은 매우 리소스가 많이 필요하다. (LLM의 파라미터 수는 굉장히 많기에)또한 Base Model을 Fully Fine-Tuning 하는 것이 때로는 Pretraining에서 학습된 기본 성능을 저하 시킬 수도 있다. 왜냐하면 파라미터 수가 많기에 Pretraining에서 성능을 올려놓은 것을 잘못하면 떨어뜨리게 할 수 있게 될 수 있기 때문이다. 그래서 위와 같은 문제들을 극복하기 위해 탄생한 학습 방법이 바로 L..

• format_list_bulleted Langchain
• · 2025. 3. 24.
• textsms

[SQL] Case-When을 이용한 피벗테이블

오늘은 Group by와 Aggregate, case-when을 결합하여 피벗테이블을 생성하는 법에 대해서 리뷰한다. 예시 테이블 소개 우리가 오늘 살펴볼 예제는 리트코드의 1179. Reformat Department Table이다.테이블 구조는 아래와 같다.테이블 명: Department+-------------+---------+| Column Name | Type |+-------------+---------+| id | int || revenue | int || month | varchar |+-------------+---------+In SQL,(id, month) is the primary key of this table.The tabl..

• format_list_bulleted SQL
• · 2025. 3. 4.
• textsms

[AWS] Lambda 톺아보기

오늘은 세미나에서 학습했던 AWS의 Lambda에 대해 리뷰하고자 한다. Server 우선 Lambda 서비스를 이해하기 위해서 Server에 대해 이해해야 할 필요가 있다. Server란 이름 그대로 서비스를 제공하는 주체로, 여기서 서비스란 사용자가 서버에 접속하여 얻고자 하는 것을 의미한다.e.g. 네이버 서버의 경우, ``https://www.naver.com`` 를 입력하면 사용자가 원하는 네이버 홈페이지를 보여준다.→ 사용자는 해당 url을 주소창에 입력하여 네이버 홈페이지를 보길 원하고 네이버 서버는 해당 요청에 홈페이지를 보여주는 것으로 응답한다.→ 이것이 기초적인 request와 response의 개념이다. IP IP주소란 하나의 컴퓨터에 부여되는 고유한 번호다.192.168.2.24 (..

• format_list_bulleted ETC
• · 2025. 3. 2.
• textsms

[Database] 정규화(Normalization)/비정규화(Denormalization)

오늘은 효율적인 데이터베이스 설계를 위한 정규화(Normalization) 개념을 정복해보고자 한다. Preview 좋은 관계형 데이터베이스를 설계하는 목적 중 하나는 정보의 이상(Anomaly) 현상이 생기지 않도록 하는 것이다. 데이터베이스에는 대표적으로 3가지 현상이 존재한다.Insertion anomalies(삽입 이상): 삽입 이상은 원하지 않는 자료가 삽입된다든지, 삽입하는데 자료가 부족하여 삽입이 되지 않는 문제를 의미한다.Deletion anomalies(삭제 이상): 삭제 이상은 하나의 자료만 삭제하고 싶지만, 그 자료가 포함된 튜플 전체가 삭제됨으로 원하지 않은 정보 손실이 발생되는 문제를 의미한다.Modification anomalies(갱신 이상): 갱신 이상은 정확하지 않거나 일부..

• format_list_bulleted Database
• · 2025. 2. 16.
• textsms

[VectorStore] FAISS(Faicbook AI Similarity Search) 사용법

이전 글https://baram1ng.tistory.com/59 벡터 데이터베이스 (VectorDB)RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(Nbaram1ng.tistory.com이번에는 FAISS에 대해 정리해보고자 한다. FAISS  FAISS는 Facebook AI Research에서 개발한 라이브러리로 대량의 고차원 벡터에서 효율적인 유사성 검색 및 클러스터링을 처리를 위해 개발된 라이브러리다. 딥러닝에서는 복잡한 이미지, 텍스트, 사운드 데이터들을 벡터화하는 작업이 우선적으로 처리되어야 하는데 FAISS는 특히 딥러닝에..

• format_list_bulleted Langchain
• · 2025. 2. 9.
• textsms

벡터 데이터베이스 (VectorDB)

RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(NoSQL)벡터 데이터베이스(VectorDB) 관계형 데이터베이스(RDBMS) RDBMS는 데이터를 테이블로 구성하여 관리하는 데이터베이스를 의미한다. SQL을 이용하여 데이터를 조작한다. 이는 강력한 데이터 무결성을 가지고 복잡한 쿼리 처리 능력과 트랜젝션 관리 등이 가능한 DB형태를 가진다.대표적으로 우리가 익숙하게 알고 있는 MySQL, PostgreSQL, Oracle 등이 그 예시다. 주로 금융 시스템이나 고객 관리 시스템, 온라인 상점 등 데이터의 관계가 중요한 애플리케이션 서..

• format_list_bulleted Langchain
• · 2025. 2. 2.
• textsms