Originally published at: https://developer.nvidia.com/ko-kr/blog/optimizing-llama-cpp-ai-inference-with-cuda-graphs/
오픈 소스인 llama.cpp 코드 베이스는 원래 2023년에 출시된 가볍지만 효율적인 프레임워크로서 Meta Llama 모델에 대한 추론을 수행하기 위한 것입니다. 전년도에 출시된 GGML 라이브러리를 기반으로 구축된 Llama.cpp는 복잡한 종속성 없이 C/C++에 초점을 맞춘 덕분에 많은 사용자와 개발자(특히 개인용 워크스테이션에서 사용하기에 적합)에게 빠르게 인기를 얻었습니다. 초기 릴리스 이후, llama.cpp는 다양한 모델, 양자화 등을 지원할 뿐만 아니라 NVIDIA…