통신 서비스를 잘 이해하는 SK텔레콤의 '텔코LLM(통신 사향 대형언어모델)'이 이르면 오는 6월 공개된다.

SK텔레콤은 5G 요금제, T멤버십, 공시지원금 등 국내 통신 용어와 AI(인공지능) 윤리 가치 등 통신사의 내부 지침을 학습한 '텔코LLM'을 개발 중이라고 30일 밝혔다. 오픈AI의 GPT, 앤트로픽의 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 모델로 오는 6월 중 개발을 완료할 예정이다.

SK텔레콤은 통신사의 서비스·상품, 멤버십 혜택, 고객 상담 패턴 등 데이터를 수집한 뒤 정형·비정형 데이터를 선별하고, 이를 에이닷 엑스(A.X), GPT, 클로드에 학습시켰다.

에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당은 "1개 범용 LLM으로 통신사의 다양한 서비스와 문제 해결은 쉽지 않다"며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델 평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고, 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤의 멀티 LLM 전략"이라고 설명했다. 이를 통해 AI컨택센터, 유통망, 네트워크 운용, 사내 업무 등 통신사의 다양한 활용처와 특정 업무에 최적화된 LLM을 가져다 쓸 수 있도록 하는 방식이다.

◇ 번호이동·요금 추천도 척척…오픈AI "SKT와 통신 맞춤형 모델 협력"

SK텔레콤은 범용 LLM 대비 텔코LLM이 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있다고 밝혔다. 예컨대 범용 LLM은 통신사 번호이동 방법이나 절차 등 학습이 부족해 요금제 추천 등 고객 요구에 대응하기 어렵다. 하지만 텔코LLM은 통신 데이터를 추가 학습하고 '휴먼 피드백 기반 강화학습(RLHF)'까지 거친 더 좋은 결과물을 내놓을 수 있다.

텔코LLM 답변을 평가하는 과정도 거쳤다. 실제 상담사들이 고객 문의 문맥을 제대로 이해했는지, 유용한 답변을 했는지 평가했다. 낮은 점수를 받은 영역은 추가 데이터를 구축하는 방식으로 파인튜닝을 반복해 고도화했다. 

SK텔레콤에 따르면 고객센터에서는 고객 상담에 약 3분, 상담 후 업무처리에 30초 이상이 소요된다. 텔코LLM를 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 제시하고 상담 내용을 요약해 줘 소요 시간을 크게 단축할 것이라고 설명했다. 또 텔코LLM 중 클로드 버전의 경우 AI 윤리원칙을 철저하게 학습 중이다. 국내 신조어나 욕설·폭언 등 문맥 뉘앙스도 파악할 수 있다.

실제로 오픈 AI는 지난 5일 공식 블로그에서 기업 맞춤형 학습과 최적화를 지원하는 커스텀 AI모델을 공개하면서 "SK텔레콤과 협력해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상했다"라고 언급했다. 

◇ "텔코LLM 활용 사례 확대…글로벌 통신기업에 적용"

SK텔레콤은 인프라 운용 중 발생하는 데이터 분석과 축적된 데이터 기반의 정보 조회에도 텔코LLM을 적용할 계획이다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 텔코LLM에 질문하고, 사람이 직접 정보를 찾는 것보다 빠르게 장비 매뉴얼과 대응 사례 등 기반의 답변을 제공받아 대응 시간을 단축할 수 있을 것이라고 SK텔레콤 측은 설명했다.

정민영 SK텔레콤 AI 플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무·HR와 같은 사내 업무까지 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속해서 텔코LLM의 활용 사례를 늘려가겠다"고 말했다.

더불어 SK텔레콤은 통신사들이 생성형AI 애플리케이션을 구축·개발할 수 있는 '인텔리전스 플랫폼'을 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다. SK텔레콤은 인텔리전스 플랫폼을 현재 A.(에이닷) 등에 적용 중이며, 적용 사례를 확대할 계획이다.

SK텔레콤은 "통신사가 하려는 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 활용할 수 있는 서비스 범위는 무궁무진하다"며 "국내는 물론 유사한 업무 특성을 가진 글로벌 통신 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 밝혔다.