카카오브레인, 멀티모달 언어모델 ‘허니비’ 오픈소스로 공개

이미지와 텍스트 모두 이해해 사용자 맞춤 결괏값 제공
한국어는 지원 안 되고 아직 영어로만 사용 가능

카카오브레인이 자체 개발한 멀티모달 언어모델 ‘허니비’를 오픈소스 공유플랫폼 ‘깃허브(Guthub)’에 공개했다. 멀티모달 AI 발전에 기여하기 위함이다.

카카오브레인은 허니비를 오픈소스로 공개했다고 19일 밝혔다. 허니비는 이미지와 명령어를 입력하면, 텍스트로 답변하는 모델이다. 일례로 ‘농구 경기 중인 두 명의 선수’ 이미지와 함께 “왼쪽 선수는 몇 번 우승했나요?”라고 질문하면 이를 종합적으로 이해해 답변을 생성해낸다. 기존엔 텍스트만 입·출력하는 모델에서 이미지까지 이해할 수 있는 모델로 볼 수 있다. 아직 한국어는 지원이 되지 않고 영어만 지원한다. 

사실 최근 AI 트렌드를 보면 허니비는 늦은 감이 있다. 이미 비슷한 기술은 많다. 같은 국내 기업의 AI 조직인 LG AI연구원은 2021년 12월 텍스트와 이미지를 양방향으로 이해할 수 있는 ‘엑사원’을 내놨다. 이미지를 이해해 텍스트로 설명할 뿐 아니라 텍스트를 토대로 이미지로도 표현할 수 있다. LG그룹은 이미 이 기술을 활용해 LG생활건강 선물 세트의 포장 디자인을 만드는 등 비즈니스 용도로 다양하게 활용하고 있다.

그럼에도 이번 카카오브레인의 행보가 주목되는 건 해당 기술을 오픈소스로 공개했기 때문이다. 최근 멀티모달 언어모델에 관한 관심이 높아졌지만, 관련 연구는 공개된 모델 수가 적고 학습 방법 역시 자세히 공개되지 않았다. 이 때문에 선진 기업이 시장을 다 가져가는 ‘승자독식’이 AI에도 적용된다는 비판이 일었다. 카카오브레인은 승자독식 구조를 깨고 전반적인 AI 발전에 기여하고자 허니비 소스코드를 공개하기로 결정했다고 밝혔다.

카카오브레인은 허니비가 이미지를 입력하고 텍스트로 질문하면 답변 생성 및 사용자와의 상호작용이 가능한 만큼, 향후 효과적인 교육 및 학습 보조 도구로 사용될 것으로 전망하고 있다.

허니비 기술력은 벤치마크 등에서 인정 받았다. ‘MME’, ‘MMBench’, ‘SEED-Bench’ 등의 벤치마크(성능 실험)에서 모델이 공개된 타사 MLLM 대비 최고 성능을 달성했다. 특히 지각 능력과 인지 능력을 평가하는 ‘MME’ 벤치마크에서는 2800점 만점 중 1977점을 받았다. 지난해엔 관련 논문인 ‘Honeybee: Locality-enhanced Projector for Multimodal LLM(허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터)’를 논문 공개 사이트 ‘아카이브(arXiv)’에 게재하기도 했다. 논문에는 이 기술에 대해 “이미지 데이터를 처리해 딥러닝 모델이 더 효과적으로 학습하고 이해할 수 있도록 돕는 기술”이라며 “시각 프로젝터(Visual projector)가 사전 훈련된 비전 인코더와 대형언어모델(LLM)을 연결하는 데 중요한 역할을 하며, 이를 통해 시각적 이해를 깊게 하면서 LLM의 능력을 활용할 수 있다”고 설명했다.

김일두 카카오브레인 각자 대표는 “허니비 모델의 추론을 가능하게 하는 코드도 깃허브에 공개했으며, 허니비를 활용한 각종 서비스 확장을 고려 중”이라며 “더욱 발전된 AI 모델 확보를 위해 끊임없이 연구·개발하겠다”고 밝혔다.