local-llm

llama.cpp로 로컬 LLM 띄우기 — 빌드, 모델 다운로드, 서빙, 벤치마크

GGUF 모델을 내 장비에서 직접 돌리기 위한 llama.cpp 최소 워크플로우. cmake 빌드부터 OpenAI 호환 서버, llama-bench까지.

llama-cpp  llm  inference  gguf  local-llm

deep-learning

2025-03-30   ·   3 min read