|
|
|
 |
 |
| |
 |
제 목 :
[엔비디아] AI 가속화와 확장 위한 ‘다이나모’ 오픈소스 라이브러리 추론 모델 발표 |
 |
작성자 :
|
등록일 : 2025-03-19 오전 9:50:09 |
|
|
 |
 |
 |
엔비디아가 미국 새너제이에서 열린 GTC에서 오픈소스 추론 소프트웨어인 엔비디아 다이나모(NVIDIA Dynamo)를 공개했다. 이를 통해 AI 팩토리에서 AI 추론 모델을 최저 비용, 최고 효율로 가속하고 확장할 수 있다.
대규모 GPU 플릿에서는 AI 추론 요청을 효율적으로 조직하고 조정하는 작업이 매우 중요하다. 이를 통해 AI 팩토리의 운영 비용을 최소화하고 토큰 수익 창출을 극대화할 수 있다.
AI 추론이 보편화됨에 따라 모든 AI 모델은 매 프롬프트마다 ‘생각’에 사용되는 토큰을 수만 개씩 생성하게 될 것이다. 추론 성능을 높이면서 비용을 지속적으로 낮추면 서비스 제공업체의 성장이 가속화되고, 수익 창출 기회가 증가한다.
엔비디아 트리톤 추론 서버™(Triton Inference Server™)의 후속 제품인 엔비디아 다이나모는 추론형 AI 모델을 배포하는 AI 팩토리의 토큰 수익 창출을 극대화하도록 고안된 AI 추론 서빙 소프트웨어다. 수천 개의 GPU에서 추론 통신을 조정, 가속한 뒤 분리 서빙 방식을 통해 거대 언어 모델(Large Language Model, LLM)의 처리와 생성 단계들을 서로 다른 GPU에 분리한다. 이를 통해 각 단계에서 특정 요구 사항에 맞춰 독립적 최적화가 가능하고, GPU 리소스 활용을 극대화할 수 있다.
|
|
|
|
| 덧글쓰기 |
 |
|
|
|
|
|
|
|
|
|
|
최신게임뉴스
총 137587의
게시물이 있습니다. 
