Originally published at: NVIDIA Blackwell 기반 MoE 추론 성능의 획기적 도약 - NVIDIA Technical Blog
AI 모델이 점점 더 똑똑해짐에 따라, 사용자들이 AI를 활용하는 업무의 범위도 비약적으로 넓어지고 있습니다. 일반 소비자부터 기업에 이르기까지 AI와의 상호작용이 빈번해지면서 생성해야 할 토큰의 양도 함께 급증하는데요. 이러한 토큰 서비스를 최소한의 비용으로 제공하기 위해, AI 플랫폼은 와트당 토큰 처리량을 극대화해야 합니다. NVIDIA는 GPU, CPU, 네트워킹, 소프트웨어, 전력 공급 및 냉각 시스템 전반에 걸친 극한의 공동…