인공지능(AI) 반도체의 효율적인 활용을 이끄는 ‘래블업’이 미국 무대에 선다. 초거대 AI 시대에 적합한 반도체 활용 기술과 솔루션을 선보일 계획이다.

래블업은 오는 12일부터 17일까지 미국 덴버에 위치한 콜로라도 컨벤션 센터에서 개최하는 ‘SC23’에 참가한다고 10일 밝혔다. 이컨퍼런스는 고성능 컴퓨팅, 네트워킹, 스토리지 분석을 위한 행사다. AI 칩 강자로 알려진 엔비디아뿐 아니라 AMD, ARM, IBM, 인텔, SK하이닉스 등 국내외 정상 기업이 다수 참여한다.

래블업은 이번 SC23에서 자사의 초거대 AI 생태계 구축을 위한 플랫폼인 백인드닷에이아이(Backend.AI)를 소개한다. Backend.AI는 그래픽처리장치(GPU)를 분할 제공하는 컨테이너 기반 ‘GPU 가상화’ 기능을 비롯해 AI 개발자가 개발에만 집중할 수 있도록 그래픽유저인터페이스(GUI) 기반 도구 등을 지원하는 플랫폼이다. 하나의 플랫폼에서 AI, 머신러닝 등에 필요한 연구개발(R&D)과 비즈니스, AI 추론 등을 할 수 있다. 사용자는 이 플랫폼에서 분산처리, 재사용성에 특화된 파이프라인 설계 기능을 사용할 수 있다. 분산·보안 환경에 필요한 프록시 서버와 데이터 입출력 부담을 분산하는 스토리지 프록시 등의 기능도 사용 가능하다. 설계나 보안, 데이터 입출력 등의 업무를 플랫폼이 도와준다고 보면 된다.

대표 기능은 GPU 가상화다. 고가의 GPU를 유연하게 사용할 수 있도록 지원하는 기능이다. 하나의 GPU 램(RAM)을 컨테이너별로 0.1GPU, 0.2GPU, 2.7GPU 등으로 나눠 제공한다. 교육이나 추론 워크로드 등 큰 규모의 GPU가 필요하지 않은 곳에는 단일 GPU를 공유하고 모델 훈련 등 대규모 워크로드에는 다중 GPU를 할당하는 방식이다. 

숙소를 예로 들면 하나의 거대한 건물을 나눠서 사용한다고 보면 된다. 건물이 아무리 크더라도 방이 없으면 프라이버시 문제로 보통 혼자 사용하게 된다. 하지만 건물을 여러 방으로 나누면 그만큼 여러 명이 사용할 수 있다. GPU는 거대한 방이다. 하나의 워크로드로 작동한다. 한 개발자가 GPU를 선점하면 다른 곳에서는 이 GPU를 사용할 수 없다. 래블업은 이 GPU를 많게는 20개 이상으로 가상화해서 사용자에게 제공한다. GPU 자원이 많이 필요한 사람에게는 큰 방을, 교육이나 추론 워크로드 등 적은 자원이 필요한 사람에게는 작은 방을 주는 방식이다. 하나의 GPU를 여러 사람이 나눠쓸 수 있어 업무 효율성을 높일 수 있다.

현재 래블업은 Backend.AI를 엔비디아 CUDA, AMD ROCm 등의 그래픽처리장치(GPU) 지원뿐만 아니라, 다양한 신경망처리장치(NPU) 및 AI 반도체들을 최적화 기능들과 함께 제공하는 플랫폼이다. 구글 텐서처리장치(TPU)를 비롯해 그래프코어, 리벨리온 Atom 및 퓨리오사 워보이를 최적화 기능과 함께 지원하고 있다. 이를 통해 GPU로 AI 모델을 훈련하고, AI 반도체로 서비스를 연계하는 GPU-NPU 통합 파이프라인을 이용하여 최고의 성능과 최저 비용을 동시에 달성하고 있다.

또한 Backend.AI는 GPU Direct Storage 기술을 세계 최초로 컨테이너 클러스터에서 구현하여, GPU와 네트워크 스토리지를 직결함으로써 높은 데이터 입출력 속도를 제공한다. 이로써 고속 스토리지 시장의 Top 3인 PureStorage, NetApp, Dell EMC와 파트너십을 맺었다. 더불어 Backend.AI는 아태지역에서 엔비디아 DGX-Ready 프로그램에 최초이자 유일하게 선정됐으며, VMWare, RedHat, Canonical 등과 함께 엔비디아 AI Accelerated Program의 파트너로도 선정됐다.

이번 SC23에서는 Backend.AI가 이와 같은 기술을 활용해 직접 개발 운영 가능한 LLM 서비스를 데모한다. IFA 2023에서 선보인 Meta에서 공개한 Llama2 모델을 포함한 다양한 거대 공개 언어 모델들을 다양한 응용 분야에 맞게 미세 조정해 Backend.AI의 자동화 시스템인 패스트트랙(FastTrack)을 통해 온프레미스 환경에서 LLM 서비스를 개발하고 서비스할 수 있음을 알릴 예정이다. 사용자가 제공하는 사진을 기반으로 이야기를 만들고 이미지를 생성, 동화책을 만들어주는 멀티모달 데모인 VisuTale도 선보인다.

신정규 래블업 대표는 ”초고성능 AI에 더하여 다양한 슈퍼컴퓨터 솔루션들 및 고성능 컴퓨팅에 최적화된 Backend.AI를 전 세계 슈퍼 컴퓨팅 연구자들에게 소개할 수 있어 기쁘다“며 “앞으로도 막대한 양의 연산 자원이 들어가는 기술 선도 분야에서 Backend.AI를 통해 성능 및 비용의 혁신과 압도적인 편리함을 동시에 달성할 수 있도록 노력하겠다”고 밝혔다.