“여러분은 85점짜리 아이가 하는 말을 믿고 기업에서 의사결정을 하실 수 있으십니까?”

김동환 포티투마루 대표가 던진 질문이다. 그는 20일 서울 코엑스에서 열린 ‘2024 인공지능&빅데이터쇼’의 부대행사로 열린 콘퍼런스에서 기조 연사로 나와 청중에게 이 같은 질문을 던졌다.

여기서 말한 85점짜리 아이는 챗GPT를 뜻한다. GPT는 최근 GPT-4o(옴니)로 발전하면서 답변 속도나 정확도가 많이 개선됐다. 변호사, 의사, 회계사 등 각 시험을 통과했다. 하지만 모든 시험에서 100점을 맞진 못한다. 오답을 만들어 낼 가능성이 크다. 그 오답도 정답처럼 아주 그럴싸하게 만들어 낸다. 생성형 인공지능(AI)이 답을 맞추지 못하는 것을 환각(할루시네이션) 현상이라 부르는 것도 오답을 그럴싸하게 정답처럼 제시하기 때문이다. 김 대표는 “챗GPT의 정확도는 약 83%”라며 “일상에서 발생할 수 있는 할루시네이션 현상은 애교처럼 보일 수 있지만, 기업에서 그 말을 그대로 믿고 의사결정을 하기엔 리스크가 크다”고 지적했다.

GPT와 같은 범용 AI를 기업에서 활용하기에는 또 다른 문제점도 있다. 보안과 비용이다. 범용으로 사용되는 대형언어모델(LLM)은 보통 서비스형소프트웨어(SaaS)로 제공된다. 이 때문에 기업에서 보유하고 있는 민감한 데이터가 유출될 가능성이 있다. 김 대표는 “골드만삭스가 생성형 AI로 전 세계 국내총생산(GDP)이 7% 높아질 것으로 예상했는데, 정작 본사 직원들은 챗GPT를 쓰지 못하게 막았다”며 “그만큼 데이터 유출을 경계하는 것”이라고 말했다. 비용 역시 문제다. LLM은 개발과 운영에 많은 돈이 들어간다. 수천억 원에서 조 단위 금액이 투입되고 있다. 그 비용은 사용자에게 부담될 수밖에 없다.

김 대표는 이 문제를 줄이기 위해선 기업에 최적화한 소규모대형언어모델(sLLM)이 필요하다고 했다. “기업에선 그림을 그리고 작곡하는 AI가 있으면 좋겠지만 모두에게 필요하진 않다”면서 “85점인데 다양한 것을 할 수 있는 것보단, 필요한 것을 100점처럼 할 수 있는 AI가 필요하다”고 밝혔다. 이어 “그 역할은 기업 전용 sLLM이 할 수 있다”고 설명했다.

포티투마루는 비즈니스에 활용할 수 있는 sLLM을 만드는 대표 기업이다. 사용자 질의 의도를 의미상으로 이해하고 방대한 비정형 데이터에서 ‘단 하나의 정답’을 도출하는 딥 시맨틱 질문 응답(QA) 및 텍스트 분석(TA) 플랫폼을 개발하고 있다. 기존의 검색 기술은 키워드를 기반으로 한 시택스 방식이 주류였다. 하지만 딥러닝 기술이 개발되면서 사용자가 어떤 방식으로 질문을 하든, 의미를 이해하고 정확한 답을 제공할 수 있는 시맨틱 방식으로 바뀌었다. 기존 인터넷 검색과 챗GPT를 이용한 검색 방법을 비교하면 이해하기 쉽다. 기존에는 인터넷 창에 검색하면 관련 문서나 사이트가 나왔지만, 챗GPT는 글로 사용자의 질문을 답변해준다. 중간의 검색 과정이 간편화된 것이다. 기계독해(MRC) 기술에 강점이 있던 포티투마루는 단 하나의 정답을 알려주는 시맨틱 방식에서 높은 기술력을 보이고 있다. 김 대표는 “우리는 스탠퍼드에서 주관하는 글로벌 인공지능 독해 경진대회에서 1위를 차지했고, 마이크로소프트(MS) 주관 GLGE 요약 부문에서도 1위를 했다”고 밝혔다.

포티투마루는 이러한 기술력을 토대로 기업에서 생성형 AI를 활용할 수 있는 기술을 제공하고 있다. 대표 솔루션은 ‘RAG42’다. RAG42는 방대한 원천 데이터로부터 필요한 정보를 정확히 검색해 LLM이 정확한 답변을 생성할 수 있게 한다. 스마트 임베딩, 딥러닝 기반 리트리벌, 인스트럭트 튜닝을 통해 AI가 오답을 낼 수 있는 오류를 최소화하고 신뢰성 높은 답변을 제공한다. 오픈AI의 챗GPT, 구글 바드, 네이버 하이퍼클로바X, LG AI연구원의 엑사원 등과 호환된다.

포티투마루가 제공하는 sLLM 기술은 이미 여러 산업에 변화를 불러오고 있다. 대표 사례가 해양 선박이다. 전통적으로 해양 선박 설계는 많은 시간과 인력을 필요로 했다. 선박 설계 문서가 방대하고, 설계 초기 단계에서부터 건조 단계에 이르기까지 꼼꼼한 검토가 필요해서다. 작업자는 선박 설계 초기 문서를 작성하는 데만도 최소 몇 개월이 소요됐다. 사람이 사는 아파트와 같은 공간까지 포함되는 해양 플랜트의 경우 그 작업량은 상당했다. 김 대표는 “우리 AI 기술은 선박 설계 문서를 자동으로 생성하고 검토할 수 있다”면서 “기존에 사람이 일일이 확인해야 했던 방대한 설계 문서를 AI가 빠르고 정확하게 처리함으로써, 설계 시간과 인력을 대폭 절감할 수 있다”고 말했다. 이어 “실제로 AI를 이용하면 초기 설계 문서를 일주일 만에 완성할 수 있다”면서 “기존에 10개월에서 1년이 걸리던 작업을 획기적으로 줄인 것”이라고 설명했다.

하지만 그는 sLLM으로 사용자의 기대치를 모두 높일 수는 없다고 선을 그었다. sLLM은 특정 기능을 수행하는 것이 중심이어서 학습하는 데이터가 적고, 단순한 관계 위주의 학습을 진행한다고 밝혔다. 이 때문에 sLLM은 상대적으로 제약이 많아 도메인 특화 분야로 쓸 수 있다고 했다. 일반적으로 사용자가 요구하는 아이디어 생성 등은 LLM이 맞다고 설명했다. 그는 “sLLM은 답을 찾는 용도로 활용할 수 있고, 창의적인 글을 생성하거나 영상을 만들 때는 한계가 있다”면서 “LLM과 sLLM의 장단점 때문에 최근에는 두 가지 모델을 함께 사용하는 하이브리드 시스템도 등장했다”고 말했다.