로컬 LLM · pgvector · RAG 챗봇 만들기

ChatGPT 한 줄로 해결되지 않는 자리가 있어요. 사내 문서 · 개인 정리 · 외부 반출 불가 자료. RAG (Retrieval Augmented Generation) 은 LLM 이 내가 고른 자료 안에서만 답하게 만드는 패턴입니다.

누구를 위한 강좌인가

• 로컬 GPU · 사내 환경에서 외부로 데이터 보내지 않고 LLM 을 돌리고 싶은 분
• 내 문서에 대해 정확한 인용으로 답하는 챗봇을 만들고 싶은 분
• 임베딩 · 벡터 검색 · 프롬프트 설계의 기본을 한 묶음으로 익히고 싶은 분

다 끝내면 가능한 것

• LM Studio 로 Gemma · Llama 계열 로컬 모델 실행
• PostgreSQL + pgvector 로 임베딩 저장 · HNSW 인덱스 검색
• FastAPI + LangChain 최소 파이프라인 (retrieve → prompt → generate)
• Gemini API 와 로컬 LLM 을 자유롭게 교체
• 시스템 프롬프트 · few-shot · 출력 형식 제어

단계 구성

1. 왜 로컬 LLM · LM Studio 시작 — OpenAI 호환 endpoint / 모델 교체 / VRAM
2. 임베딩 — 텍스트를 벡터로 — 의미 기반 검색의 수학 · 768차원
3. pgvector + HNSW 설정 — 설치 · 인덱스 선택 · 코사인 vs 내적
4. RAG 파이프라인 — 청킹 · retrieve · top-k · rerank · prompt 주입
5. Gemini · OpenAI 호환 API — 로컬 ↔ 클라우드 스위치 · 비용 · latency
6. 프롬프트 설계 — 시스템 프롬프트 · few-shot · 출력 스키마 · hallucination

전제 — python-data-pipeline 강좌 + Python 3.11 + uv + PostgreSQL 15+ + LM Studio.