포티투마루가 멀티모달 인공지능(AI) 기술을 개발한다. 현재 회사에서 제공하고 있는 LLM42, RAG42 서비스에 멀티모달을 접목, M-LLM42, M-RAG42를 선보이겠다고 밝혔다. 기술은 성균관대, 부산대, UNIST, 인하대 등 국내 주요 AI 대학과 함께 개발한다. 대학과 협력해 기술 개발과 상용화, 인재 양성 세 마리 토끼를 모두 잡겠다는 목표다.

포티투마루는 21일 서울시 중구 1인미디어콤플렉스 오픈스튜디오에서 ‘2024 생성AI 선도인재양성사업 워크숍’을 열고 멀티모달 AI 개발 계획을 밝혔다. 정휘웅 포티투마루 인공지능연구소장은 “앞으로 우리 주력 서비스인 RAG42, LLM42에 멀티모달의 약자인 M을 붙이겠다”면서 “생성AI 선도인재 양성사업과 함께하는 대학과 협력해 기술을 개발하고 의료, 교통, 물류 분야에 적용하겠다”고 말했다. 이어 “대학과 함께 하면서 사업 핵심인 실제 기업에서 필요로 하는 실무형 인재를 양성하겠다”고 덧붙였다.

멀티모달 AI는 시각, 청각, 촉각 등 다양한 ‘모달(감각)’을 동시에 받아들이고 사고할 수 있는 AI 모델을 뜻한다. 텍스트를 비롯해 음성, 제스처, 이미지, 표정, 생체신호 등 여러 데이터를 함께 받아들여 결과물을 낸다. 구글이 출시한 ‘제미나이’나 LG AI연구원의 ‘엑사원’ 등이 대표 모델이다.

멀티모달은 생성형 AI 전성기를 이끌 기술로 꼽힌다. 엔비디아는 지난해 말 ‘AI 산업 전망’을 발표하며 멀티모달이 향후 생성형 AI를 이끌 것으로 전망했다. 카리 브리스키(Kari Briski) AI 소프트웨어 부문 부사장은 “텍스트 기반 생성형 AI는 이제 과거의 일”이라며 “생성형 AI가 아직 초기 단계에 있지만 많은 업계에선 멀티모달 LLM을 도입할 예정”이라고 전망했다. 또 “소비자는 이를 통해 텍스트, 음성, 이미지를 조합해 표, 차트, 도식에 대한 쿼리에 보다 맥락이 맞는 답변을 받을 수 있을 것”이라고 설명했다.

포티투마루는 멀티모달 관련 기반 기술 개발을 성균관대와 함께한다. 성균관대와는 자연어-비전 멀티모달, 지식기반 인간 상호작용 기술을 개발한다. 사용자 페르소나를 반영하는 개인화된 생성 AI 모델을 만들 방침이다. 이지형 성균관대 인공지능대학원장은 “설명가능한 AI에 관한 관심사가 높은데 우리는 페르소나 기반으로 설명할 수 있는 모델을 만들 예정”이라면서 “AI가 사용자가 요청한 점심 메뉴로 ‘짜장면’을 추천했을 때 그 이유로 ‘너 짜장면 많이 먹잖아’라고 얘기할 수 있는 기술을 만들 것”이라고 말했다.

부산대와 UNIST, 인하대는 멀티모달 기술을 실제 현장에 상용화하는 연구를 한다. 각각 의료, 교통, 물류 분야 도메인에 사용할 수 있는 멀티모달 AI 솔루션을 만들어 갈 방침이다.

부산대는 멀티모달 AI를 의료 분야에 접목한다. 멀티모달 환자 데이터를 기반으로 임상 진료차트를 자동 생성하는 기술을 만들 방침이다. 송길태 부산대 AI융합혁신대학원장은 “임상 진료 차트를 자동 생성할 수 있는 AI를 만들 예정”이라면서 “임상 분야 데이터는 임상 전문의가 다 정리해야 했다면 이젠 멀티모달 AI를 이용해 이 업무를 대신할 수 있는 기술을 만들겠다”고 말했다. 이어 “의료법과 개인정보보호법에 따르면, 의료 데이터를 병원 전산실 직원만 접근이 가능해 연구가 순조롭지 않은 문제가 있다”며 “포티투마루, 부산대병원과 협력해 당면한 문제들을 해결하며 기술을 개발하겠다”고 밝혔다.

UNIST는 멀티모달 AI를 교통 분야에 입힌다. 교통 상황 분석을 위한 AI 프레임워크를 개발하고 검색증강생성(RAG) 기반 멀티모달 설명가능한 멀티모달 챗봇을 만들 예정이다. 교통 CCTV 영상 처리·분석 기술을 개발하고, 멀티모달 교통 지식 그래프도 구축한다. 심재영 UNIST 인공지능대학원장은 “교통 분야에 멀티모달 생성 AI를 접목해 기존에 없던 서비스를 제공할 것”이라면서 “기술이 완성되면 네비게이션을 고도화하거나 대체할 수 있는 새로운 툴로 활용할 수 있고, 교통 신호 체계 조절, 버스 노선 구축과 같은 정책적인 부분에서도 최적화된 의사결정을 지원할 수 있을 것”이라고 말했다.

인하대는 물류 발전에 나선다. 생성형 AI로 물류 보고서를 작성하고, 3D 실사판 디지털 트윈 기술 등을 개발한다. 최근 물류창고에는 다양한 아이템이 있고 작업하는 물류 로봇들도 많은데, 이를 고려한 창고 설계를 할 수 있는 생성형 AI를 만들고, 운반 최적 경로, 운송 일정 생성을 자동화하는 기술을 만들 방침이다. 박인규 인하대 AI융합혁신연구센터·융합대학원 센터장은 “현재 물류창고를 건설하려면 설계에만 6개월이 걸리는데, 생성형 AI가 초안만 작성해준다면 그 시간을 크게 절감할 수 있을 것”이라면서 “물류 분야에 정말 많은 AI 가능성이 있는데 멀티모달 AI로 그 가능성을 하나씩 만들어가겠다”고 밝혔다.

포티투마루는 대학과 멀티모달 AI 개발과 상용화에 관한 연구를 하며 한국 AI를 이끌어 갈 인재가 양성될 것으로 기대했다. 김동환 포티투마루 대표는 “멀티모달은 현재 세계적인 흐름”이라면서 “현재 AI 인력은 학술적인 부분에만 집중하고 있거나 응용인터페이스(API)를 연결하는 능력만 있는 이가 많고 실제 필드에서 필요로 하는 AI 역량을 가진 이들이 적은데, 이번 사업을 토대로 필드에서 요구하는 인재를 많이 양성하고 싶다”고 말했다.