[FineTuning] LoRA (Low-Rank Adaptation)

오늘은 수식에 대한 내용은 제쳐두고, LoRA의 핵심 내용에 대해서 간단히 리뷰한다. 배경 우리는 때로 LLM을 우리의 도메인에 대해 더 잘 답변을 하는 것을 원한다. 특정 도메인에 맞게 LLM을 튜닝하기 위해서는 LLM을 학습시켜야 하는데, Fully하게 LLM을 Fine-Tuning하는 것은 매우 리소스가 많이 필요하다. (LLM의 파라미터 수는 굉장히 많기에)또한 Base Model을 Fully Fine-Tuning 하는 것이 때로는 Pretraining에서 학습된 기본 성능을 저하 시킬 수도 있다. 왜냐하면 파라미터 수가 많기에 Pretraining에서 성능을 올려놓은 것을 잘못하면 떨어뜨리게 할 수 있게 될 수 있기 때문이다. 그래서 위와 같은 문제들을 극복하기 위해 탄생한 학습 방법이 바로 L..

• format_list_bulleted Langchain
• · 2025. 3. 24.
• textsms

[VectorStore] FAISS(Faicbook AI Similarity Search) 사용법

이전 글https://baram1ng.tistory.com/59 벡터 데이터베이스 (VectorDB)RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(Nbaram1ng.tistory.com이번에는 FAISS에 대해 정리해보고자 한다. FAISS  FAISS는 Facebook AI Research에서 개발한 라이브러리로 대량의 고차원 벡터에서 효율적인 유사성 검색 및 클러스터링을 처리를 위해 개발된 라이브러리다. 딥러닝에서는 복잡한 이미지, 텍스트, 사운드 데이터들을 벡터화하는 작업이 우선적으로 처리되어야 하는데 FAISS는 특히 딥러닝에..

• format_list_bulleted Langchain
• · 2025. 2. 9.
• textsms

벡터 데이터베이스 (VectorDB)

RAG를 공부하면서 Vector DB에 대해 자세히 알아볼 필요성을 느껴 포스팅을 진행해보고자 한다. Database 구분 Database는 크게 3가지로 구분이 된다.관계형 데이터베이스(RDBMS)비관계형 데이터베이스(NoSQL)벡터 데이터베이스(VectorDB) 관계형 데이터베이스(RDBMS) RDBMS는 데이터를 테이블로 구성하여 관리하는 데이터베이스를 의미한다. SQL을 이용하여 데이터를 조작한다. 이는 강력한 데이터 무결성을 가지고 복잡한 쿼리 처리 능력과 트랜젝션 관리 등이 가능한 DB형태를 가진다.대표적으로 우리가 익숙하게 알고 있는 MySQL, PostgreSQL, Oracle 등이 그 예시다. 주로 금융 시스템이나 고객 관리 시스템, 온라인 상점 등 데이터의 관계가 중요한 애플리케이션 서..

• format_list_bulleted Langchain
• · 2025. 2. 2.
• textsms