Originally published at: 비용 효율적인 LLM 라우팅을 위한 NVIDIA AI Blueprint 배포하기 - NVIDIA Technical Blog
2022년 11월 ChatGPT가 출시된 이후, 거대 언어 모델(LLM)의 성능은 급격히 향상되었고, 사용 가능한 모델 수도 기하급수적으로 증가했습니다. 이 확장과 함께, LLM은 이제 비용, 성능, 전문성 측면에서 매우 다양해졌습니다. 예를 들어, 텍스트 요약과 같은 단순한 작업은 소형 범용 모델로도 효율적으로 처리할 수 있지만, 코드 생성과 같은 복잡한 작업은 고급 추론 능력과 테스트 시간 컴퓨팅을 확장할 수…