네이버가 멀티모달 인공지능(AI) 깃발을 흔들었다.

네이버는 오는 27일 서비스 업데이트를 통해 자사 대화형 AI 서비스 ‘클로바X’에 시각 정보 처리 능력을 추가한다고 밝혔다. AI 에이전트 ‘클로바X’가 멀티모달로 재탄생한 것이다.

◇ 클로바X, 대화 넘어 이미지도 본다

이번 업데이트로 사용자는 클로바X 대화창에 업로드한 이미지에서 추출된 정보와 입력한 질의를 바탕으로 AI와 대화할 수 있다. 클로바X는 사진 속 현상을 묘사하거나 상황을 추론하는 등 다양한 지시를 수행한다. 일례로 이미지나 그림 형식으로 되어 있는 표, 그래프를 클로바X가 이해하고 분석할 수 있다. 기존의 클로바X가 논리적 글쓰기, 코드 작성, 번역 등의 작업에 활발히 사용된 것에서 더 나아가, 이미지 이해 능력을 기반으로 개인의 생산성 향상 도구로서 활용 범위가 넓어진 것이다. 

네이버는 클로바X에 AI 기반 문서 처리, 문자 인식 기술 노하우와 자사 대형언어모델(LLM) 하이퍼클로바X를 결합, 더 정확하고 신뢰성 높은 서비스를 제공할 수 있다고 밝혔다. 국내 초·중·고등학교 검정고시 총 1480개 문항을 AI 모델에 이미지 형태로 입력하고 문제를 풀게 한 결과, 클로바X는 약 84%의 정답률을 기록했다고 했다. 오픈AI GPT-4o의 78%보다 높은 정답률이다.

◇ 하이퍼클로바X 기반 음성 멀티모달 함께 공개

네이버는 기술 블로그를 통해 하이퍼클로바X 기반 음성 멀티모달 기술도 선보였다. 기존 음성 인식, 음성 합성 기술보다 고도화 한 모델로, LLM의 특징인 문맥 이해, 지시문 해석 능력을 활용해 언어 구조 및 발음 정확도를 개선했다고 밝혔다. 여기에 감정 표현까지 더해 사람과 한층 자연스로운 대화가 가능하다고 했다.

네이버는 음성 멀티모달 LLM 기술을 현재 제공하고 있는 AI 음성 기록 ‘클로바노트’, AI 안부전화 ‘클로바 케어콜’, AI 음성 합성 ‘클로바더빙’ 등 다양한 음성 AI 서비스에 녹여 편리한 서비스를 제공한다는 방침이다. 기술 블로그에선 실시간 음성 번역, 언어 학습, 상담 등 음성 멀티모달 LLM의 다양한 서비스 접목 가능성을 제시했다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “LLM으로  출발한 하이퍼클로바X는 이미지 이해 능력을 더한 거대 시각 언어 모델(Large Vision Language Model), 나아가 음성 멀티모달 언어 모델로 발전하고 있다”며 “하이퍼클로바X의 발전된 능력은 대화형 AI 에이전트 클로바X를 비롯한 여러 네이버 서비스에 도입해 새로운 사용자 가치를 창출하고, 기업용 AI 솔루션으로도 제공하며 하이퍼클로바X 생태계를 더욱 확장해나갈 것”이라고 말했다.

네이버는 하이퍼클로바X를 멀티모달 LLM으로 고도화하고 서비스에 적용하는 과정에서도 ‘AI 안전성’을 적극적으로 실천할 예정이다. 지난 6월 공개한 네이버의 AI 안전성 실천 체계 ‘네이버 ASF(AI Safety Framework)’로 AI 시스템의 잠재적 위험을 평가하고, 특히 음성 AI 기술은 보다 안전한 서비스 제공을 위해 다각도로 검토를 이어간다는 방침이다.