Originally published at: NVIDIA GB300 NVL72에서 MoE 사전 학습 세계 기록 수립 - NVIDIA Technical Blog
최첨단 프론티어 모델의 사전 학습 방식이 혼합 전문가(MoE, Mixture of Experts) 구조로 모이면서, 대규모 AI 학습의 병목 요인도 근본적으로 바뀌고 있습니다. 토큰당 연산 비용이 낮아질수록, 수천 개의 GPU를 아우르는 확장 성능을 결정짓는 핵심 열쇠는 바로 ‘통신 효율성’이 되고 있기 때문입니다. NVIDIA GB300 NVL72는 DeepSeek-V3 671B 사전 학습 과정에서 GPU당 1,648 TFLOPs라는 세계 기록을 달성하며, 반도체부터…