카카오, ‘카나나’ 신규 모델 2종 오픈소스로 출시

이미지·텍스트 처리 경량 모델과 비용 효율적 MoE 구조 적용
상업적 활용 가능한 아파치 2.0 라이선스로 제공

카카오가 24일 허깅페이스를 통해 이미지 정보 이해 및 지시 이행 능력을 갖춘 경량 멀티모달 언어모델 ‘Kanana-1.5-v-3b’와 MoE(Mixture of Experts) 언어모델 ‘Kanana-1.5-15.7b-a3b’를 오픈소스로 공개했다고 발표했다. 상업적 활용까지 가능한 아파치 2.0 라이센스를 적용해 연구자, 스타트업 등이 국산 언어모델을 자유롭게 실험하고 서비스할 수 있게 했다.

이번 모델 공개는 지난 5월 공개한 언어모델 Kanana-1.5 4종에 이어 약 두 달 만에 이뤄졌다. 카카오는 정부의 ‘독자 AI 파운데이션 모델 프로젝트’에 참여하며 자체 모델 개발 역량과 카카오톡 등 대규모 서비스 운영 경험을 바탕으로 AI 접근성 향상에 기여한다는 계획을 밝혔다.

◇ 이미지·텍스트 동시 처리하는 경량 멀티모달 모델

이번에 공개한 ‘Kanana-1.5-v-3b’는 텍스트와 이미지 정보를 모두 처리할 수 있는 멀티모달 언어모델이다. 지난 5월 공개한 Kanana 1.5 모델을 기반으로 하며, 카카오는 이 모델을 ‘프롬 스크래치(From Scratch)’ 방식으로 자체 개발했다고 설명했다. 카카오에 따르면 높은 지시 이행 성능과 한국어·영어 이미지 이해 능력을 보유하고 있고, 경량 모델임에도 이미지로 표현된 한국어와 영어 문서 이해 능력에서 높은 성능을 보인다.

카카오는 인간 선호 반영 학습과 지식 증류 기술을 통해 모델 성능을 향상시켰다고 밝혔다. 지식 증류는 대형 모델로부터 작은 모델을 학습시키는 방식으로, 경량화된 모델 구조에서도 높은 성능을 구현할 수 있게 돕는 기술이다. 단순한 정답뿐 아니라 대형 모델의 예측 확률 분포까지 학습에 반영함으로써 작은 모델이 더 정교하고 일반화된 예측 능력을 갖추도록 한다는 설명이다.

실제 활용 사례를 보면 이미지 및 글자 인식, 동화 및 시 창작, 문화유산 및 관광지 인식, 도표 이해, 수학 문제풀이 등 다양한 분야에서 사용할 수 있다. 예를 들어 장소 사진과 함께 “이 사진이 촬영된 장소에 대해 간단히 설명해 줘”라고 질문하면 “이 사진은 서울 청계천을 배경으로 하고 있습니다”와 같이 국내 지역을 인식해 답변을 제공할 수 있다고 한다. 이미지 검색이나 콘텐츠 분류 등 실시간성과 효율성이 요구되는 분야에서 효과적으로 활용 가능하다고 회사 측은 설명했다.

◇ 비용 효율적인 전문가 혼합 구조 모델

함께 공개한 ‘Kanana-1.5-15.7b-a3b’는 MoE(Mixture of Experts) 구조의 언어모델이다. MoE는 입력 데이터 처리 시 모든 파라미터가 참여하는 기존 모델과 달리, 특정 작업에 특화된 일부 전문가 모델만 활성화되는 방식이다. 이를 통해 효율적인 컴퓨팅 자원 활용과 비용 절감이 가능하며, 글로벌 시장에서 AI 모델 개발 트렌드로 자리잡고 있다고 카카오는 설명했다.

이 모델은 전체 15.7B 파라미터 중 추론 시 약 3B 파라미터만 활성화된다. 카카오는 학습 시간과 비용을 절약하기 위해 자사의 3B 규모 모델 ‘Kanana-Nano-1.5-3B’에 ‘업사이클링’ 방식을 적용해 개발했다고 밝혔다. 업사이클링은 기존 다층 신경망 레이어를 복제해 여러 전문가 레이어로 변환하는 방식으로, 모델을 처음부터 개발하는 방식에 비해 효율적이다. 카카오에 따르면 활성화되는 파라미터가 3B에 불과하지만 성능은 ‘Kanana-1.5-8B’와 동등하거나 상회하는 수준을 기록했다고 한다.

카카오의 MoE 모델은 고성능 AI 인프라를 저비용으로 구축하고자 하는 기업이나 연구개발자들에게 실용적인 도움을 제공할 수 있다. 특히 추론 과정에서 제한된 파라미터만 사용하는 구조적 특성 덕분에 저비용, 고효율 서비스 구현에 유리해 활용도가 높다고 회사 측은 설명했다.

카카오는 이번 공개를 통해 AI 모델 생태계에 새로운 기준을 제시하고, 더 많은 연구자와 개발자가 효율적이고 강력한 AI 기술을 자유롭게 활용할 수 있는 기반을 마련해 갈 계획이라고 밝혔다. 또한 자체 기술 기반 모델을 지속적으로 고도화하고 모델 스케일업을 통해 글로벌 수준의 대규모 모델 개발에 도전함으로써 국내 AI 생태계의 자립성과 기술 경쟁력 강화에 기여할 계획이라고 덧붙였다.

김병학 카카오 카나나 성과리더는 “이번 오픈소스 공개는 비용 효율성과 성능 측면에서 의미 있는 기술 개발 성과를 거둔 것으로, 단순한 모델 아키텍처의 진보를 넘어 서비스 적용과 기술 자립이라는 두 가지 측면의 목표에 부합하는 결과물”이라고 말했다.