ECS텔레콤, 콜봇용 소형 언어모델 평가 체계 연구 발표

AICC(AI 컨택센터) 분야에서 생성형 AI 활용이 확대되는 가운데, 콜센터 환경에 적합한 소형 언어모델(sLLM) 평가 기준에 대한 논의도 이어지고 있다.

ECS텔레콤은 자사 AI 연구를 총괄하는 류기동 박사가 지난 5월 열린 한국지능정보시스템학회 춘계학술대회에서 ‘콜센터 콜봇에 적합한 sLLM 평가 프레임워크 및 평가셋 설계'를 주제로 연구 결과를 발표했다고 밝혔다.

이번 연구는 콜센터에서 활용되는 소형 언어모델의 성능과 안정성을 평가하기 위한 기준을 제시하는 데 초점을 맞췄다. 최근 생성형 AI 도입이 확대되면서 기업들은 모델의 응답 정확성뿐 아니라 대화 흐름, 안전성, 운영 효율성 등 다양한 요소를 종합적으로 검토하고 있다.

류 박사는 “MMLU, GSM8K와 같은 범용 벤치마크 점수만으로 콜봇용 모델을 선정하면 실제 서비스 품질을 충분히 예측하기 어렵다”며 “이번 연구는 NIST AI RMF, OWASP, RAGAS 등 9개 핵심 문헌에서 도출한 63개 품질 항목과 VUI(Voice User Interface) 특성을 콜봇 도메인에 맞춰 6개 평가 영역으로 재구성한 데 의미가 있다”고 설명했다.

연구에서는 최소 품질 기준 충족 여부를 확인하는 ‘게이팅(Gating)’ 평가와 모델 간 성능을 비교하는 ‘스코어카드(Scorecard)’ 평가를 구분하는 방식을 제안했다. 게이팅은 서비스 적용에 필요한 기본 요건 충족 여부를 확인하는 단계이며, 스코어카드는 응답 정확성, 안정성, 상담 시나리오 적합성 등 다양한 항목을 기준으로 모델을 비교·평가하는 데 활용할 수 있도록 설계됐다.

ECS텔레콤은 이번 연구 결과를 자사 AICC 플랫폼 운영 과정에서 활용하는 방안을 검토하고 있으며, 향후 관련 평가 항목을 추가하는 후속 연구도 진행할 계획이라고 밝혔다.

한편, ECS텔레콤은 1999년 설립된 컨택센터 및 통합 커뮤니케이션 전문기업으로, 최근에는 자체 AICC 플랫폼을 기반으로 콜봇, 챗봇, 상담 지원, 지식 관리 등 생성형 AI 기반 컨택센터 솔루션 공급을 추진하고 있다.