Originally published at: NVIDIA Dynamo, 대규모 분산 추론 발전을 위한 llm-d 커뮤니티 이니셔티브 가속화 - NVIDIA Technical Blog
2025년 Red Hat Summit에서 공개된 llm-d 커뮤니티는 오픈소스 생태계에서 생성형 AI 추론 혁신을 가속하는 중요한 진전입니다.llm-d는 vLLM과 Inference Gateway 위에 구축됐으며, Kubernetes 기반 아키텍처를 통해 대규모 추론 환경에 맞춰 vLLM의 기능을 확장합니다. 이 글에서는 llm-d 프로젝트를 지원하는 주요 NVIDIA Dynamo 구성 요소를 설명합니다. 고속 추론 데이터 전송 대규모 분산 추론은 텐서, 파이프라인, 전문가 병렬 처리와…