인더스트리

알리바바클라우드, 720억 파라미터 LLM 오픈소스로 공개

기사입력 2023.12.05 16:33
멀티모달 LLM '큐원-72B',경량 버전‘큐원-1.8B’
  • ‘큐원-72B’는 10가지 벤치마크에서 다른 주요 오픈소스 모델들보다 뛰어난 성능을 보여준다. /알리바바 클라우드
    ▲ ‘큐원-72B’는 10가지 벤치마크에서 다른 주요 오픈소스 모델들보다 뛰어난 성능을 보여준다. /알리바바 클라우드

    알리바바클라우드가 빅클라우드 기업의 생성형 AI 경쟁구도에 합류했다. 마이크로소프트(MS), 구글, 아마존웹서비스(AWS)에 이어 알리바바클라우드도 자체 대형언어모델(LLM) 모델을 내놓았다. 720억 개의 파라미터(매개변수)를 보유한 ‘큐원-72B’와 18억 개 파라미터 버전 ‘큐원-1.8B’이 그 주인공이다.

    클라우드 업체들 간의 생성형AI 경쟁은 다양한 형태로 진행되고 있다. 오픈 AI의 49% 지분을 소유하고 있는 MS는 10월 말 오픈 AI의 모델이 아닌 13억 매개변수의 초경량 멀티모달 모델 ‘파이-1.5’의 오픈 소스를 공개했다. AWS는 생성형 AI 앱을 쉽게 구축하고 확장할 수 있는 아마존 베드록(Amazon Bedrock)을 필두로 생성형 AI 앱 구축에 필요한 기능을 클라우드 기반으로 제공하고 있다. 메타(Meta)의 70억·130억·700억 개, 각 파라미터의 사전학습모델 ‘라마 2(Llama 2)’를 서비스 할 수 있다. 자체 생성형 AI LLM인 ‘타이탄’을 이미지 인식과 생성이 가능한 대형멀티모달모델(LMM)로 확장하고 있다. 구글도 파리미터수가 1조개로 알려진 제미니를 내년에 출시한다고 밝혔다.

    알리바바클라우드는 자사 이번에 공개한 LLM 기반 AI 모델을 커뮤니티 ‘모델스코프(ModelScope)’와 협업 AI 플랫폼 ‘허깅페이스(Hugging Face)’에 오픈소스로 공개했다고 5일 발표했다.

    ‘큐원-72B’은 3조 개 이상의 토큰으로 사전 학습됐다. 맥락에 맞는 응답을 생성하는 언어에 뛰어난 성능을 보인다. 이러한 기능은 개인화된 챗봇과 같은 AI 애플리케이션에서 유용하게 사용될 수 있다. 이 모델을 연구 목적으로 활용 시 코드, 모델 가중치 및 도큐멘테이션(설명서)를 무료로 활용할 수 있다. 상업적 용도의 경우 월간 활성 사용자 수가 1억 명 미만인 기업에 한해서 무료로 사용할 수 있다.

    경량 버전인 ‘큐원-1.8B’는 컴퓨터 리소스가 제한된 휴대폰과 같은 엔드 장치에서 추론을 가능하게 한다. 작은 규모의 LLM 모델은 컴퓨팅 리소스 요구사항이 적어 비용 효율적이며 배포가 용이한 대안을 찾는 경우 유용하다. 큐원-1.8B는 현재 연구 목적으로만 활용 가능하다.

    더 다양한 자료 입력 방식(input format)을 처리할 수 있는 LLM을 제공하기 위해, 알리바바 클라우드는 오디오 이해 성능이 강화된 모델인 ‘큐원-오디오(Qwen-Audio)’ 및 ‘큐원-오디오-챗(Qwen-Audio-Chat)’도 오픈소스로 공개했다.

    ‘큐원-오디오’는 사람의 음성, 자연음, 음악 등 다양한 형식의 텍스트와 오디오 투입 자료를 해석해 텍스트로 출력할 수 있다. 다국어 녹취록 작성(transcription), 음성 편집, 오디오 캡션 분석 등 30종류 이상의 오디오 처리 작업을 수행할 수 있다. 대화형 버전인 ‘큐원-오디오-챗’은 오디오를 기반으로 수차례의 질의응답을 지원하고, 사람의 감정과 톤을 감지하는 등 다양한 오디오 데이터를 처리할 수 있다.

    이번에 공개된 오픈 소스는 ‘모델스코프’와 ‘허깅페이스’에서 제공된다.

    징런 저우(Jingren Zhou) 알리바바 클라우드 CTO는 "오픈소스 생태계를 구축하는 것은 LLM 및 AI 애플리케이션 개발에 핵심적인 일”이라며 “가장 개방적인 클라우드로서 모든 사람이 생성형 AI 역량을 활용할 수 있도록 하는 것을 목표로 파트너들과 오픈소스 커뮤니티의 발전을 촉진해 나갈 것”이라고 밝혔다.

최신뉴스