Originally published at: AI 추론을 강화하는 NVIDIA Triton과 NVIDIA TensorRT의 새로운 기능 - NVIDIA Technical Blog
NVIDIA AI 추론 소프트웨어는 오픈소스 추론 서비스 소프트웨어인 NVIDIA Triton 추론 서버와 딥 러닝 추론 옵티마이저와 런타임을 포함하는 고성능 딥 러닝 추론용 SDK인 NVIDIA TensorRT로 구성되며, 모든 AI 딥 러닝 사용 사례에 대해 가속화된 추론을 제공합니다. NVIDIA Triton은 기존 머신 러닝(ML) 모델과 CPU에 대한 추론도 지원하는데요. 이 포스팅에서는 이 소프트웨어에 최근 추가된 새로운 주요 기능들을…