래블업, 독일서 韓 LLM 깃발 흔들었다

IFA 2023에서 Backend.AI 기반 LLM 서비스 선봬… 전력 효율 강점

국내 인공지능(AI) 개발 지원 기업 ‘래블업’이 지난 1일부터 닷새간 독일 베를린 국제회의센터(ICC)에서 열린 ‘2023 베를린 국제가전박람회(IFA 2023)’에서 한국의 대형언어모델(LLM) 기술력을 뽐냈다.

래블업은 이번 전시회에서 백엔드닷에이아이(Backend.AI)로 개발·운영하는 LLM 서비스를 선보였다. 백엔드닷에이아이를 이용해 LLM을 만드는 방법과 LLM 서비스에 입력한 사진으로 이야기를 만들고 동화책을 만드는 과정을 시연했다.

백엔드닷에이아이는 하나의 플랫폼에서 인공지능(AI), 머신러닝(ML), 고성능컴퓨팅(HPC)에 필요한 연구개발(R&D)과 비즈니스 서비스, AI 서비스 추론 등을 지원하는 서비스다. 하나의 플랫폼에서 여러 서비스를 개발할 수 있어 개발 편의성이 높다. 특히 이 플랫폼은 LLM과 같은 거대 AI 모델을 만들기 유리하다고 평가된다. 전력 효율을 높일 수 있는 ‘그래픽처리장치(GPU) 분할 가상화’ 기능이 탑재돼서다. GPU 분할 가상화는 하나의 GPU를 컨테이너별로 0.1GPU, 0.2GPU, 2.7GPU 등으로 나눠 유연하게 제공하는 기능이다. 기존에는 한 사람이 하나의 GPU만 사용할 수 있었는데, 이 기능을 활용하면 여러 명이 GPU를 필요한 만큼 할당해 사용할 수 있다. 그만큼 개발에 들어가는 시간을 줄일 수 있고 불필요한 전력 손실을 막는 것이 가능하다. 이 때문에 삼성전자, LG전자, KT, 롯데, CJ 등 국내 기업에서는 거대 모델 등 AI 개발에 백엔드닷에이아이를 활용하는 것으로 알려졌다.

신정규 래블업 대표는 기자와 인터뷰에서 “백엔드닷에이아이는 AI의 고질적인 문제인 전력 사용량 감소에 기여할 수 있다”며 “GPU 자원을 할당하고 필요한 자원을 정확히 배분해 작게는 10~15%, 높게는 25%까지 전력 사용량을 줄일 수 있다”고 밝힌 바 있다.

최근 래블업은 백엔드닷에이아이에 자동화 시스템 ‘패스트트랙(FastTrack)’을 추가했다. 다양한 오픈소스 LLM들의 미세조정을 자동으로 할 수 있게 지원하는 기능이다. 래블업 관계자는 “해당 기능으로 메타에서 공개한 ‘람다2’를 한글을 이해할 수 있게 하는 파인튜닝했다”고 밝혔다.

래블업은 이번 전시회 참전으로 CES, MWC에 이어 IFA까지 세계 3대 ICT 박람회에 모두 참가했다. 신정규 래블업 대표는 “래블업은 전 세계적으로 수요가 빠르게 증가하고 있는 LLM 기반 서비스의 튜닝 및 서빙 운영을 백인드닷에이아이 23.09 버전을 통해 엄청나게 간단한 방식으로 모든 기관이 누릴 수 있도록 지원하고 있다”면서 “모든 사람이 AI 기술에 접근 가능하도록 하겠다는 래블업의 목표를 전하기 위해 노력하겠다”고 말했다.