국내 연구진이 법률 자문을 하고 대형언어모델(LLM)이 생성한 정보가 사실이 맞는지 검증하는 인공지능(AI) 기술을 개발했다.

한국전자통신연구원(ETRI)는 '설명가능한 전문가 의사결정지원 인공지능 기술 개발'을 통해 LLM의 문제 할루시네이션 현상을 점검하는 자기검증 기반 검색증강생성(RAG) 기술, 법률자문 지원 AI 기술, 상담 지원 AI 기술을 개발했다고 19일 밝혔다. 이는 법률자문의 보조 시스템, 각종 상담시스템, 지능형 고객지원 서비스, 기업의 지식 관리 시스템 등에 활용할 수 있다.

이번에 개발한 기술은 설명가능한 자기검증 기반 검색증강생성(RAG) 기술로 기존에 보유한 데이터를 활용해 검색 근거의 적합성을 제시하는 기술이다. 정답의 적합성을 자기검증을 통해 정답과 함께 제시한다. 아울러 생성한 정답의 신뢰도 확보는 물론, 설명 가능성 제공 여부도 가능하다.

연구진은 자체 개발한 한국어에 최적화된 토큰화 적용 언어 이해 모델(MoBERT)을 기반으로 검색에 특화한 연장학습과 효율적인 벡터 임베딩 색인 기술을 적용했다. 이를 통해 한국어 최고 수준의 뉴럴 단락 검색 기술(MV-ColBERT)을 개발해, 검색증강생성 기술에 적용했다.

따라서 ETRI는 본 기술이 기존 상용화된 AI 기반의 대화형 챗봇 등에 비해 특정 분야에서 훨씬 더 정확하고 신속한 답변이 가능하다고 설명했다. 기존 기술들이 웹상 포스팅한 내용이나 환각 현상 등으로 부정확했다면 ETRI 기술은 검색증강생성기술로 정확함을 자랑한다.

법률자문 지원 AI 기술은 변호사나 법무사, 의뢰인이 법과 관련된 내용을 입력하면 관련 판례와 법률을 검색해 분석한 후 법률 행위를 추론해 준다. 또 복잡한 판례를 입력하면 일상 용어로 쉽게 해석하고 해석 결과가 사실인지 검증할 수 있게 해준다. AI 기반 대화형 챗봇 등에 비해 법률 등 특정 분야에서 신뢰성을 높게 제공한다. 사실성 검증을 통한 신뢰성 있는 정보를 사용자가 확인할 수 있어 법률 분야와 같이 정확한 정보가 필요한 도메인에서 강점을 보인다고 연구진은 설명했다

설명가능한 자기검증 기반 검색증강생성(RAG) 기술로 챗GPT에서 생성한 장기하에 대한 설명이 맞는지 검증하고 있다. 맞는 내용에는 TRUE, 틀린 내용에는 빨간색으로 FALSE라고 표시된다. /ETRI

설명가능한 자기검증 기반 검색증강생성(RAG) 기술로 챗GPT에서 생성한 장기하에 대한 설명이 맞는지 검증하고 있다. 맞는 내용에는 TRUE, 틀린 내용에는 빨간색으로 FALSE라고 표시된다. /ETRI

연구진은 생성모델이 만든 사람의 약력을 문장으로 분해한 후 검색증강생성 기술을 활용해 사실성을 판단하는 기술을 개발해 기술을 검증했다고 말했다. 이를 법률 분야로 확장해 법률자문 지원 기술에 적용했다. 사실성 검증 기술은 ‘깃 허브’에 공개했다.

상담 업무 지원을 위해서 개발된 상담 지원 AI 기술은 고객과 진행한 상담 대화를 분류하고 이유도 설명할 수 있다. 상담 대화를 화자별, 고객 불만 별 다양한 관점으로 구분해 요약 가능하다. 고객 질문에 대해 관련 지식(단락)을 검색해 정답을 만들고 검색된 지식과 생성한 정답의 적합성을 자가 검증해 고객에게 제공한다. 이 기술은 에프앤유신용정보로부터 데이터를 제공받아 개발했다. 현재 기술이전을 통한 사업화를 위해 개념증명(PoC)이 진행 중이다.

지난 10년 동안 연구개발한 엑소브레인(ExoBrain)과제를 통해 질의응답 등 연구 데이터의 축적한 노하우가 있어 이번 기술 개발할 수 있었다고 연구진은 밝혔다.

권오욱 ETRI 언어지능연구실실장은“AI가 생성한 결과가 전문적인 내용일 경우에 이해도 어렵기에 사실인지 파악하는 것은 불가능한 현실”이라며 “설명가능한 의사결정지원 기술이 법률, 금융 등의 전문상담 분야에서 AI를 활용하는 데 큰 도움이 될 것”이라고 말했다.