NVIDIA Faster Transformer를 통한 KoGPT의 추론 가속화

Originally published at: NVIDIA Faster Transformer를 통한 KoGPT의 추론 가속화 - NVIDIA Technical Blog

트랜스포머는 오늘날 가장 영향력 있는 AI 모델 아키텍처 중 하나이며 미래 AI R&D의 방향을 형성하고 있습니다. 자연어 처리(NLP)를 위한 도구로 처음 개발된 트랜스포머는 현재 컴퓨터 비전, 자동 음성 인식, 분자 구조 분류, 금융 데이터 처리 등 거의 모든 AI 작업에 활용되고 있습니다.  국내에서는 카카오브레인이 트랜스포머 아키텍처를 기반으로 정확도 높은 대규모 언어 모델인 ‘KoGPT’를 개발했습니다. 대규모…