새롭게 결정해야 하는 기업 의사결정을 국내 연구진이 대형언어모델(LLM)을 이용해 풀어냈다.

KAIST(한국과학기술원)는 김민수 전산학부 교수 연구팀이 의사결정 문제, 기업 데이터베이스, 비즈니스 규칙 집합 등 세 가지를 기반으로 LLM을 이용해 비즈니스 규칙에 부합하는 최적의 의사결정을 도출할 수 있는 기술‘플랜래그(PlanRAG)’를 개발했다고 19일 밝혔다.

LLM은 매우 방대한 데이터를 학습했기 때문에 답변할 때나 오래전 데이터를 바탕으로 답변하는 등 할루시네이션(잘못된 답변 생성)문제점들이 지적됐다. 이에 데이터베이스를 검색해 답변을 생성하는 검색 증강 생성(Retrieval-Augmented Generation; 이하 RAG) 기술이 이를 해결할 대안으로 최근 각광받고 있다. 하지만 사용자의 질문이 복잡할 경우 다양한 검색 결과를 바탕으로 추가 정보를 다시 검색해 적절한 답변을 생성할 때까지 반복하는 반복적 RAG(IterativeRAG)라는 기술이 개발됐다. 이는 현재까지 개발된 가장 최신 기술이다.

연구팀은 기업 의사결정 문제가 GPT-3.5 터보에서 반복적 RAG 기술을 사용하더라도 정답률이 10% 미만에 이른다는 문제를 발견하고 이를 해결하기 위해 반복적 RAG 기술을 한층 더 발전시킨 계획 RAG(PlanRAG)라는 기술을 개발했다.

계획 RAG(PlanRAG)는 기존의 RAG 기술들과 다르게 주어진 의사결정 문제, 데이터베이스, 비즈니스 규칙을 바탕으로 어떤 데이터 분석이 필요한지에 대한 거시적 차원의 계획(plan)을 먼저 생성한 후 그 계획에 따라 반복적 RAG를 이용해 미시적 차원의 분석을 수행한다.

이는 마치 기업의 의사결정권자가 어떤 데이터 분석이 필요한지 계획을 세우면, 그 계획에 따라 데이터 분석팀이 데이터베이스 솔루션들을 이용해 분석하는 형태와 유사하다.

연구팀은 “다만 이러한 과정을 모두 사람이 아닌 거대언어모델이 수행하는 것이 커다란 차이점”이라며“계획 RAG 기술은 계획에 따른 데이터 분석 결과로 적절한 답변을 도출하지 못하면, 다시 계획을 수립하고 데이터 분석을 수행하는 과정을 반복한다”고 설명했다

김민수 KAIST 교수는 “지금까지 거대언어모델 기반으로 의사결정 문제를 푼 연구가 없었던 관계로, 기업 의사결정 성능을 평가할 수 있는 의사결정 질의응답(DQA) 벤치마크를 새롭게 만들었다”며 “해당 벤치마크에서 GPT-4.0을 사용할 때 종래의 반복적 RAG에 비해 계획 RAG가 의사결정 정답률을 최대 32.5% 개선함을 보였다”고 말했다.

이번 연구에는 KAIST 전산학부 이명화 박사과정과 안선호 석사과정이 공동 제1 저자로, 김 교수가 교신 저자로 참여했다. 연구 결과는 자연어처리 분야 최고 학회(top conference)인 ‘NAACL’ 에 지난 17일 발표됐다. 이 연구는 과학기술정보통신부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.