엔비디아는 VM웨어와 함께 기업용 인공지능(AI) 구축 플랫폼을 내년 초 출시한다고 밝혔다. 기업이 독자적인 비즈니스 데이터를 사용해 생성형 AI 애플리케이션(앱)을 맞춤화하고 배포할 수 있는 ‘엔비디아 AI 레디’ 서버를 VM클라우드 파운데이션 기반으로 제공해 고객사가 생성형 AI를 쉽게 활용할 수 있는 환경을 제공한다는 계획이다.

엔비디아 AI 레디 서버는 엔비디아 L40S 그래픽처리장치(GPU), 엔비디아 블루필드-3 DPU, 엔비디아 AI 엔터프라이즈 소프트웨어가 탑재된다. 이를 통해 기업들은 생성형 AI 기반 모델을 미세 조정하고 지능형 챗봇, 검색, 요약 도구 등과 같은 생성형 AI 애플리케이션을 구현할 수 있다.

이 서버는 생성형 AI를 도입하려는 여러 업계에 풀 스택 가속 인프라와 소프트웨어를 제공하도록 설계됐다. 신약 개발, 유통 제품 설명, 지능형 가상 어시스턴트, 제조 시뮬레이션 등 다양한 앱을 이 서버로 만들 수 있다. 여기에는 엔비디아 AI 플랫폼 운영 체제인 엔비디아 AI 엔터프라이즈가 탑재된다. 이 소프트웨어는 대형언어모델(LLM)을 위한 엔비디아 네모(NeMo), 시뮬레이션을 위한 엔비디아 모듈러스(Modulus), 데이터 사이언스를 위한 엔비디아 래피즈(RAPIDS), 프로덕션 AI를 위한 엔비디아 트리톤 추론 서버(Triton Inference Server) 등 100개 이상의 프레임워크와 사전 훈련된 모델, 툴킷, 소프트웨어에 대한 프로덕션 지원과 보안을 제공한다.

서버에 탑재된 L40S GPU는 수십억 개의 매개변수가 있는 복잡한 AI 워크로드를 처리하도록 설계됐다. 4세대 텐서 코어와 FP8 트랜스포머 엔진이 포함된다. 이를 통해 1.45페타플롭스 이상의 텐서 처리 성능과 엔비디아 A100 텐서 코어 GPU에 비해 최대 1.7배의 훈련 성능을 제공한다. 지능형 챗봇, 어시스턴트, 검색, 요약 등과 같은 생성형 AI 애플리케이션의 경우, 엔비디아 L40S는 엔비디아 A100 GPU에 비해 최대 1.2배 더 뛰어난 생성형 AI 추론 성능을 제공한다. 엔비디아 블루필드 DPU를 통합하면 가상화, 네트워킹, 스토리지, 보안과 기타 클라우드 기반 AI 서비스의 엄청난 컴퓨팅 부하를 가속화, 오프로드 또는 격리해 속도를 더욱 높일 수 있다.

엔비디아 L40S 기반 서버는 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo) 등 선도적인 글로벌 시스템 제조업체를 통해 연말 출시를 앞두고 있다. 해당 서버는 엔터프라이즈용 생성형 AI 가속화에 활용될 예정이다.

젠슨 황 엔비디아 최고경영자(CEO)는 “모든 산업 분야의 기업들이 생성형 AI를 도입하기 위해 경쟁하고 있다”며 “엔비디아는 세계 최고의 소프트웨어와 시스템 파트너 에코시스템을 통해 전 세계 기업에게 생성형 AI를 제공하고 있다”고 말했다.

라구 라구람 VM웨어 CEO는 “생성형 AI는 디지털 전환을 가속화하고 있으며, 기업은 비즈니스를 발전시킬 수 있는 앱을 보다 안전하게 구축하기 위해 완전히 통합된 솔루션이 필요하다”면서 “VM웨어, 엔비디아를 비롯한 서버 제조업체 파트너의 전문성을 토대로 기업은 데이터 프라이버시, 보안, 제어 등을 유지하면서 AI를 개발하고 배포할 수 있을 것”이라고 밝혔다.