Originally published at: NVIDIA Vera CPU: AI 팩토리를 위한 고성능, 고대역폭, 고효율의 정점 - NVIDIA Technical Blog
AI 기술이 비약적으로 진화함에 따라 추론 모델의 토큰 수요가 폭증하고 있으며, 이는 AI 인프라의 모든 계층에 새로운 과제를 던지고 있습니다. 모델 제작자와 사용자 모두의 생산성을 높이기 위해서는 그 어느 때보다 효율적인 컴퓨팅 확장이 필수적입니다. 최신 GPU는 세대를 거듭하며 처리량을 한계치까지 밀어붙이고 있지만, 전체 시스템 성능은 점차 에이전틱 루프 내의 CPU 집약적인 직렬 작업에 발목을 잡히고…