llm
an archive of posts with this tag
-
llama.cpp로 로컬 LLM 띄우기: 빌드, 모델 다운로드, 서빙, 벤치마크
GGUF 모델을 내 장비에서 직접 돌리기 위한 llama.cpp 최소 워크플로우. cmake 빌드부터 OpenAI 호환 서버, llama-bench까지.
-
Pydantic과 llm.with_structured_output — 함정과 안전장치
Pydantic 모델과 LangChain의 with_structured_output을 깔끔하게 조합하기 — 프롬프트 충돌, 검증 에러, 무한 평가 루프 피하기.