# 추론 성능 가속화하는 새로운 소프트웨어 TensorRT-LLM 출시

**URL:** <https://forums.developer.nvidia.com/t/tensorrt-llm/266122>\
**Category:** Technical Blog - South Korea\
**Tags:** korean\
**Created:** [September 12, 2023, 7:26am UTC](https://forums.developer.nvidia.com/t/tensorrt-llm/266122 "2023-09-12T07:26:14Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![smoon](https://sea2.discourse-cdn.com/nvidia/user_avatar/forums.developer.nvidia.com/smoon/32/256893_2.png) [@smoon](https://forums.developer.nvidia.com/u/smoon)\
**Post date:** [September 12, 2023, 7:26am UTC](https://forums.developer.nvidia.com/t/tensorrt-llm/266122/1 "2023-09-12T07:26:14Z")

</div>

Originally published at: [추론 성능 가속화하는 새로운 소프트웨어 TensorRT-LLM 출시 - NVIDIA Technical Blog](https://developer.nvidia.com/ko-kr/blog/nvidia-tensorrt-llm-supercharges-large-language-model-inference-on-nvidia-h100-gpus/)  
   
대규모 언어 모델(LLM)의 획기적인 새로운 기능은&nbsp;AI의 영역을 넓히고 있습니다.&nbsp;그러나 큰 크기와 특수한 실행 특성으로 비용 효율적인 방식으로 사용하기 어려울 수 있습니다. 따라서 NVIDIA는 대규모 언어 모델 추론을 가속화하고 최적화하기 위해&nbsp;메타(Meta),&nbsp;애니스케일(Anyscale),&nbsp;코히어(Cohere),&nbsp;데시(Deci),&nbsp;그래머리(Grammarly),&nbsp;미스트럴&nbsp;AI(Mistral AI),&nbsp;현재&nbsp;데이터브릭스(Databricks)로 인수된&nbsp;모자이크ML(MosaicML),&nbsp;옥토ML(OctoML),&nbsp;탭나인(Tabnine),&nbsp;투게더&nbsp;AI(Together AI),&nbsp;우버(Uber)&nbsp;등 주요 기업들과 긴밀히 협력합니다. 이러한 혁신은 몇 주 내로 출시 예정인 오픈 소스 소프트웨어인 NVIDIA TensorRT-LLM에 통합됐으며, 암페어(Ampere), 러브레이스(Lovelace)와 호퍼(Hopper) GPU에서 사용할 수 있습니다. TensorRT-LLM은 TensorRT 딥…