SK 텔레콤 LLM 개발 연혁. /SKT

SK텔레콤이 자사의 초거대 한국어 특화 대형언어모델(LLM) ‘A.X 3.1(에이닷 엑스 3.1)’을 오픈소스 커뮤니티 허깅페이스에 공개했다. 340억 개(34B)의 매개변수를 기반으로 하는 ‘A.X 3.1’은 SKT가 모델 구축과 데이터 학습 등 전 단계를 직접 진행했다.

이번에 공개한 A.X 3.1은 A.X 3.0의 대폭 개선된 버전이다. 한국어 대화 성능에 집중했던 A.X 3.0과는 달리 A.X 3.1에서는 추론모델로의 확장 가능성을 고려해 코드와 수학성능을 대폭 향상시켰다.

이번 모델 공개를 포함하면 SKT는 독자 개발 방식의 A.X 3.1 모델 2종(표준, 경량)과 대규모 학습(CPT)에 기반한 A.X 4.0 모델 2종(표준, 경량)까지 총 4개의 모델을 오픈소스로 공개했다.

‘A.X 3.1(34B)’은 동일한 한국어 서비스 적용 환경에서 A.X 4.0(72B) 대비 약 90% 수준의 성능을 보인다. 대표적 한국어 벤치마크 평가인 KMMLU에서 69.2점을 기록했다. 한국 문화 이해도 평가인 CLIcK에서는 77.1점을 획득해 각각 A.X 4.0 대비 88%, 90% 수준의 성능을 입증했다.

SKT는 2018년 KoBERT 개발을 시작으로 KoGPT2, KoBART 등을 연이어 공개하며 국산 언어모델 기술의 토대를 닦아왔다. 이후 A.X 시리즈로 상용성과 감성 대화, 지식 추론 등 기능을 확대하며 한국어 특화 LLM 기술을 고도화해왔다.

또한 이번 오픈소스 공개는 과학기술정보통신부의 ‘독자 인공지능(AI) 파운데이션 모델’ 사업과도 궤를 같이 한다. SKT는 반도체, 모델, 데이터, 서비스로 이어지는 ‘풀스택 AI’ 구현을 목표로 다양한 기업 및 연구기관과 컨소시엄을 구성했다.

컨소시엄에는 크래프톤, 모빌리티, 포티투닷, 리벨리온, 라이너, 셀렉트스타 등 기업들과 서울대·KAIST 연구진 등이 참여한다.

김태윤 SK텔레콤 파운데이션 모델 담당은 “각 분야 선도기업들과의 컨소시엄 구성으로 향후 소버린 AI 분야에서 새로운 성과를 만들어낼 것”이라며, “국내 AI 생태계를 종합적으로 고려해 혁신적인 AI 모델을 선보일 계획”이라고 전했다.

홈으로 이동 상단으로 이동