IBM이 인공지능(AI) 개발에 주요 걸림돌인 ‘데이터 칸막이’ 없애기에 나선다. 서버, 클라우드 등 기업에 산재된 데이터를 단일 플랫폼에서 관리해 AI 개발 등을 지원하는 솔루션을 출시, AI 수요 기업의 데이터 활용을 지원한다. AI 원료인 데이터를 잘 활용할 수 있는 지원군 역할을 자청한 것이다.

한국IBM은 13일 오전 서울 여의도 사무실에서 기자간담회를 열고 AI를 위한 데이터 저장 솔루션 ‘왓슨 x.데이터’ 출시 계획을 밝혔다. 왓슨 x.데이터는 정형데이터와 비정형 데이터를 높은 성능으로 저장·활용할 수 있게 지원하는 솔루션이다. 사내 서버인 온프레미스 환경과 클라우드, 멀티클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근해 저장, 활용할 수 있다. 자체적으로 보안·자동화 기술을 내장하는 등 데이터 보안 조치도 마련됐다. 고객사는 이 플랫폼을 통해 데이터가 서버, 클라우드 등 어디에 저장돼 있든 쉽게 활용할 수 있고 보안 등 안전망도 마련돼 신뢰있는 AI 모델을 구축할 수 있다. 

이지은 한국IBM 최고기술책임자(CTO)는 “AI를 개발하고 활용하는 데 있어서 가장 중요한 것은 데이터”라며 “왓슨 x.데이터는 기업 데이터가 어디에 있든 그곳에 찾아가 쉽게 활용하게 지원하는 솔루션”이라고 소개했다.

◇‘데이터 웨어하우스’와 ‘데이터 레이크’ 단점 보완

왓슨 x.데이터는 기존 데이터 저장과 활용을 지원하던 ‘데이터 웨어하우스’와 ‘데이터 레이크’의 강점을 결합한 ‘데이터 레이크하우스’ 솔루션이다. 두 데이터 저장 도구의 장점은 고도화하고 약점은 보완했다.

데이터 웨어하우스는 데이터 저장과 분석, 활용에 사용된 전통 데이터 보관 장치다. 높은 성능으로 데이터를 저장·분석할 수 있지만 이미지나 동영상 등 비정형 데이터는 처리하지 못하는 단점이 있었다. 데이터 레이크는 이를 보완해 비정형 데이터를 저장·활용할 수 있게 만든 도구다. 하지만 성능이 낮고 단일 클라우드에서만 사용이 가능해 AI를 전 비즈니스 영역에 확대하기에는 적합하지 않다는 평이 많았다. IBM은 두 데이터 보관 도구의 한계를 극복하고 기업들의 AI 활용을 지원하기 위해 정형, 비정형 데이터를 모두 지원하면서 높은 성능을 제공하는 데이터 레이크하우스 솔루션을 출시했다.

최석재 한국IBM 데이터&AI 기술 영업 총괄 상무는 “최근 AI에서 가장 큰 문제 중 하나는 데이터를 한 곳에 모으기 어렵다는 점”이라면서 “클라우드 한 곳에서 데이터를 생성되는 것이 아니라 온프레미스 등에서도 데이터가 생기므로 이를 잘 결합해 분석하는 것이 중요해졌다”고 말했다. 이어 “우리 솔루션은 멀티 쿼리 엔진과 스토리지 계층 기술로 데이터 분석 작업을 최적화하고 용도에 따라 컴퓨팅 저장공간을 확장·축소해 기존에 사용하고 있는 데이터웨어하우스 비용을 최대 50%까지 절감할 수 있다”고 했다.

◇생성형 AI 비즈니스 최적화 모델, 할루시네이션 문제 줄여

IBM은 왓슨 x.데이터를 ‘왓슨x 플랫폼’ 내 하나의 구성요소로 출시한다. 이 플랫폼은 데이터 솔루션과 더불어 AI 구축과 실행, 배포를 지원하는 ‘왓슨 x.ai’, AI 법률, 규제, 윤리 등을 훼손하지 않도록 지원하는 자동화 솔루션 ‘왓슨 x.거버넌스’ 등으로 구성됐다. AI 개발에 필요한 데이터 관리부터 모델 개발과 배포를 지원하고, 개발한 AI 모델이 사회적 문제를 일으키지 않도록 관리까지 해주는 ‘원스톱 서비스’라고도 볼 수 있다.

IBM은 이 플랫폼을 산업 분야에 상관없이 비즈니스용으로 선보일 계획이다. 데이터와 AI 솔루션은 오는 7월에, 거버넌스 모델은 내년 1분기에 출시할 예정이다. 이 모델은 새로운 텍스트를 만들어내는 기업용 생성형 AI 모델 구축에도 사용할 수 있다. 플랫폼에서 생성형 AI의 기반이 되는 대형언어모델(LLM)에 탑재된 ‘파운데이션 모델’을 지원하기 때문이다. 파운데이션 모델은 레이블이 지정되지 않은 방대한 양의 데이터를 사전에 학습한 AI 모델을 뜻한다. 조직에서 AI를 활용할 때 이 모델을 사용하면 AI를 학습시키기 위한 데이터 준비와 학습에 들어가는 시간과 비용을 절감할 수 있다. 또 레이블이 지정된 데이터를 이전 방식보다 10~100배 적게 사용해 모델을 쉽게 상용화할 수 있다.

고객사는 파운데이션 모델이 탑재된 왓슨x 플랫폼을 활용하면 자사에 적합한 생성형 AI 모델을 만들 수 있다. 회사 내 산재된 정형, 비정형 데이터를 학습한 기업 전용 챗GPT를 만들 수 있단 뜻이다. 단, 기업 데이터를 학습했고 거버넌스 기능으로 활용할 수 있는 데이터를 선별한 만큼, 챗GPT가 맞지 않은 사실을 허언증처럼 그럴듯하게 얘기하는 ‘할루시네이션(환각)’ 현상을 방지할 수 있다. 

이 CTO는 “우리 플랫폼은 비즈니스 전용으로 제공되므로 신뢰성이 중요하다”면서 “데이터를 투명하게 관리하고 사용할 수 있는 데이터를 선별해 범용 모델에서 발생하는 환각 현상 등의 문제를 줄였다”고 했다. 최 상무는 “데이터를 플랫폼에서 활용하더라도 권한을 갖고 있는 데이터는 다른 사람이 활용할 수 없게끔 하는 등 보안 조치를 강화했다”며 “이 플랫폼으로 챗GPT를 업무에 활용하기 어려운 기업들도 쉽게 생성형 AI를 업무에 녹여낼 수 있을 것”이라고 말했다.