Originally published at: Spotlight : NVIDIA TensorRT-LLM을 활용한 NAVER Place의 SLM Vertical Service 운영 최적화 - NVIDIA Technical Blog
NAVER Place에서는 Place 영역에 특화된 SLM Vertical Service를 운영하여 플레이스 프로덕트 전반(플레이스, 지도, 여행)의 사용성을 개선하고 있습니다. 이 글에서는 NVIDIA와 NAVER가 SLM Vertical Service 운영을 위해 TensorRT-LLM 으로 최적화한 기법과 Triton server를 활용해 실제 서비스를 운영했던 경험과 노하우를 다룹니다. 아래는 서비스에 대한 간단한 소개입니다. 추가적인 디테일은 Introduction to NAVER Place AI Development Team을 참조바랍니다. NAVER…