Originally published at: NVIDIA Jetson으로 생성형 AI에 생명을 불어넣다 - NVIDIA Technical Blog
최근 NVIDIA는 개발자가 NVIDIA Jetson 엣지 디바이스를 통해 실제 환경에서 생성형 AI의 무한한 가능성을 탐색할 수 있도록 지원하는 Jetson Generative AI Lab을 공개했습니다. 다른 임베디드 플랫폼과 달리 Jetson은 대규모 언어 모델(LLM), 비전 트랜스포머를 실행할 수 있으며 로컬에서 안정적으로 확산할 수 있습니다. 여기에는 대화형 속도에서 가장 큰 Llama-2-70B 모델이 Jetson AGX Orin에 포함됩니다. 그림 1. Jetson…