#양자화

양자화 태그가 달린 글

카테고리

양자화 태그가 달린 글

로컬 LLM — LM Studio · llama.cpp · Ollama · vLLM
2026-04-28약 5분
대형 언어 모델을 자기 컴퓨터에서 직접 돌리려는 흐름이 2023 년부터 빠르게 자리 잡았습니다. 클라우드 API 만 쓰던 자리에 GGUF 같은 양자화 포맷, llama.cpp 같은 추론 런타임, LM Studio · Ollama · vLLM 같은 도구가 합쳐지며 노트북에서도 비교적 큰 모델을 굴릴 수 있게 됐습니다.