AWS, 안전한 AI 속도… 할루시네이션 탐지 기능 ‘아마존 베드록’에 탑재

최대 75%로 할루시네이션 탐지, 독립 API로도 제공

아마존웹서비스(AWS)가 안전한 인공지능(AI) 활용에 속도를 낸다. 아마존 베드록에 할루시네이션 현상을 탐지하는 기능을 탑재하고, 해당 기능을 독립 응용프로그램인터페이스(API)로 제공하며 AI 안전망 구축에 나섰다.

AI 안전망 구축은 현재 전 세계의 관심사다. 2022년 11월 챗GPT 등장 이후 생성형 AI를 활용하는 이들이 증가하면서 AI 부작용에 따른 피해를 사전에 막을 수 있는 안전 대책이 논의되고 있다. 이미 미국과 영국, 일본 등의 국가는 AI 안전연구소를 설립해 관련 프로젝트를 진행하고 있고, 한국도 올해 안에 한국전자통신연구원(ETRI)에 안전연구소를 설립할 계획이다.

남철기 과학기술정보통신부 인공지능기반정책과장은 12일 서울대가 주최한 ‘서울 AI 정책 콘퍼런스 2024’ 패널토론에서 “한국은 AI 생산국이자 소비국으로 AI 산업 육성과 안전한 사용을 위한 법적 기반을 마련하는 데 중점을 두고 있다”며 “특히 고위험 AI와 생성형 AI에 대한 규제를 통해 안전성과 신뢰성을 확보하려고 하고 있다”고 말했다. 또 “5월 서울에서 개최한 ‘AI 서울 정상회의’를 통해 국내 AI 서울 안전연구소 설립을 추진하고 있다”면서 “AI 법 제정보단 AI 안전연구소를 통해 안전을 테스트하고 공개하는 것이 중요하다고 생각한다”는 견해를 밝혔다.

AI 안전망이 중요한 이유는 사용자 의지에 상관없이 생성형 AI가 거짓 정보를 만들어내거나 유해한 정보를 제공할 수 있어서다. 잘못된 내용을 사실처럼 얘기하는 할루시네이션(환각) 현상이 지속 발생하고 있고, 악의를 가진 사용자가 생성형 AI를 통해 개인정보를 알아내거나 마약 제조 방법과 같은 유해한 내용을 알아내기 위한 ‘프롬프트 인젝션’ 행위도 빈번히 발생하고 있다. 국내 AI 기업 대표는 “생성형 AI가 발전으로 AI 기술이 여러 산업 분야에 결합했지만 안전 대책은 제대로 마련되지 않아 언제 문제가 터질지 모르는 시한폭탄과 같은 상황이 연출되고 있다”며 “과거 이루다 사건은 우스울 정도로 거대한 사건이 당장 올해, 아니면 내년에 터질 수 있다”고 경고했다.

해당 문제에 대해 AI 공급사들은 자체적으로 안전망 마련에 나서고 있다. 할루시네이션 현상을 줄이고, 보안 문제도 강화할 수 있는 여러 기술을 내놓고 있다. ‘아마존 베드록’을 통해 여러 대형언어모델(LLM)을 제공하는 아마존웹서비스(AWS)는 자체적으로 가드레일을 만들어 안전망 확보에 나섰다. AWS코리아는 13일 서울 강남구에 소재한 사무실에서 미디어 브리핑을 열고 아마존 베드록에서 제공하는 가드레일 기능에 생성형 AI가 발생시키는 할루시네이션을 감지하고 차단하는 ‘문맥 그라운딩 체크(Contextual Grounding Checks)’을 추가했다고 밝혔다.

문맥 그라운딩 체크는 AI가 부정확하거나 오답을 생성할 때 이를 탐지해내는 기능이다. 검색증강생성(RAG) 기술을 통해 생성형 AI가 생성한 답변이 정답일지, 오답일지를 점수화해 평가한다. 사용자는 이 기능을 통해 AI가 내놓은 답변을 신뢰할 수 있는지, 활용해도 되는지 등을 선택할 수 있다. AWS에 따르면, 이번 기술의 할루시네이션 탐지율은 최대 75%다.

김선수 AWS코리아 AI·ML사업개발 매니저는 “이번에 선보인 문맥 그라운딩 체크는 AI가 내놓은 결과물이 사용자나 기업이 지정한 자료에 포함이 돼 있는지, 또 사용자가 질문한 내용과 연관이 있는지를 한 번 더 평가하는 기능”이라고 설명했다. 단, 할루시네이션 탐지율 기준이 어느 언어인지는 구체적으로 밝히지 않았다. “탐지율은 언어마다 다르게 나타날 수 있는데, 75%는 영어, 한국어 중 어느 언어 기준이냐”는 기자의 질문에 “본사에서 아직 탐지율의 세부 내용에 대해선 구체적으로 밝히지 않아 아직은 확인할 수 없다”고 답했다.

AWS는 이번 기능을 응용프로그램인터페이스(API)로도 제공한다. 아마존 베드록에서 지원하지 않는 LLM 모델에도 해당 가드레일 기술을 활용할 수 있게 하기 위해서다. 해당 기능을 이용하면 고객사는 다양한 개발 단계에서 사용자 입력과 응답을 독립적으로 평가하고 응답을 모델링할 수 있어 애플리케이션 장애를 실시간으로 파악할 수 있다. 

김 매니저는 이번 가드레일 관련 새로운 기술 발표는 AWS가 안전한 AI를 실현하는 과정이라고 소개했다. “AWS는 책임감 있는 AI를 구현하기 위한 노력을 이어가고 있고, 이를 구현하기 위해 안전 기능을 계속 강화하고 있다”며 “애플리케이션 요구 사항과 책임 있는 AI 정책에 맞게 사용자에 지정된 보호 장치를 구현하고 있다”고 설명했다.

실제로 AWS는 가드레일을 통해 단어 필터, 주제 필터, 유해 콘텐츠 필터, 보안, 신속한 주입 등의 기능을 제공한다. AWS에 따르면 아마존 베드록에서 제공하는 가이드라인을 사용하면 AI가 생성하는 유해한 콘텐츠 비중을 85% 줄일 수 있다.

김 매니저는 책임 있는 AI 정책 기준은 어디에 두고 있냐는 기자의 질문에 “AI 정책은 특정 국가나 회사의 기준에 두고 있지 않고 가드레일을 쓰는 주제, 유해 콘텐츠, 개인정보 등 포괄적인 내용을 기준으로 두고 있다”며 “필요한 기능을 고객사의 요구에 맞춰 제공하고 있다”고 설명했다. 이어 “센드버드의 경우 사용자가 정치에 관한 질문을 했을 때 답변하지 말라는 기능을 가드레일을 통해 설정했다”면서 “사용자 맞춤형으로 원하는 기능을 추가, 제외할 수 있다”고 말했다.

이날 AWS코리아는 AI 활용을 위한 기능도 아마존 베드록에 추가했다고 선보였다. 기존의 AI에이전트 기능은 메모리양을 높여 에이전트가 시간이 지나도 그동안의 대화 내용을 기억하고 학습할 수 있게 했다. 또 개발자들을 위해 코드를 생성하고 데이터를 분석하며 그래프도 생성할 수 있는 기능도 추가했다.

아마존 베드록은 하나의 플랫폼에서 여러 파운데이션 모델을 서비스하는 제품이다. 아마존 타이탄, 앤트로픽 클로드 3.0, 코히어 커맨드, 메타 라마를 비롯해 미스트랄AI, 스태빌리티AI, AI21랩스 등 다양한 모델이 제공된다. 사용자는 베드록에서 제공하는 파운데이션 모델을 쉽게 비교하고 파인튜닝할 수 있다. 여러 파운데이션 모델을 비교하기 위해 비싼 비용과 시간을 소모할 필요가 없다.

이날 고객사 대표로 참여한 강병래 LG유플러스 프로젝트매니저(PM)는 “아마존 베드록을 이용해 적은 비용으로 빠르게 기술검증(PoC) 환경을 구성했다”며 “아마존 베드록은 한 번 연동으로 다양한 모델을 간편하게 활용할 수 있다는 장점이 있다”고 말했다.