인라이플, 저사양 스마트폰에도 탑재 가능한 AI team 초경량 언어 모델 발표

IT업체 인라이플가 인간 수준의 언어 이해능력을 갖춘 세계 최고 수준의 초경량 언어 모델 Mobile BERT를 개발했다. 언플라이는 지난 9월 18일 열린 한국어 기계 독해 대회(KorQuAD, LG CNS 주최)에 저사양 스마트폰에서도 탑재할 수 있는 인공지능 언어 모델(Mobile BERT)을 출품했다고 밝혔다.

‘언어 모델’은 자연어 검색, 요약, 번역 등 언어 이해와 관련한 기능을 이용할 수 있는 인공지능 모델이다. 그중 구글이 발표한 인공지능 언어 모델 ‘BERT’는 2018년 10월 공개 이후 국내외 다수의 기업에서 다양한 언어 관련 서비스에 접목하기 위해 노력해왔지만, 최소 416MB의 저장 용량으로 스마트폰 탑재가 어렵고, 1.1억 개의 연산량(parameters)으로 과다한 서버 비용이 발생해 웹 서비스 제공은 물론 디바이스 제공이 쉽지 않은 상황이었다.

인라이플와 전북대가 협력해 만든 인공지능 언어 모델 Mobile BERT는 크기가 36.5MB로 기존 대비 11.9배(91%) 작고, 정보 처리 수(Parameters)는 18M로 기존 대비 6.1배(83%) 적은 것이 특징이다. 이 모델은 한국어 기계 독해 대회(KorQuAD)에서 인간 성능과 비교하여 정확히 맞추는 정확도(EM)가 인간보다 높은 81.07, 비슷하게 맞추는 정확도(F1)에서는 인간과 비슷한 수준(91.20)인 90.25를 기록했다.

Mobile BERT는 지식 정보를 담고 있는 모델의 기하학적 특성을 효과적으로 이용하는 기술만으로 경량화한 모델이기 때문에, 그래픽 카드로 유명한 NVIDIA사의 모델 압축기술(TensorRT)과 지식 증류 등 다양한 경량화 기술을 추가로 적용할 수 있다는 장점이 있다.

또한 세계 최고 수준의 경량화 기술을 통해 인간 수준의 언어 이해 능력을 갖춘 언어 모델을 스마트폰에 직접 탑재해 인터넷이 끊긴 스마트폰에서도 번역, 요약, 자연어 검색 등 언어 이해와 관련된 기능을 이용할 수 있고, 나아가 인공지능 웹 서비스의 서버 비용 절감과 같이 기업의 실질적인 생산성을 높이도록 응용할 수 있어 우리 생활과 밀접하게 관련된 다양한 분야에서 언어 모델 기술을 쉽게 접목할 수 있다는 점에서 큰 의미를 갖는다.

한경훈 인라이플 대표는 “지난 6월 인라이플은 독자 기술 연구를 통해 글로벌 기업과 인공지능 기술(BERT)로 경쟁할 수 있음을 보였고, 지금 뛰어넘을 수 있다는 것도 증명했다. 앞으로 정확도 경쟁보다는 세계 수준의 언어 모델 경량화 기술을 우리 실생활에 어떻게 실용적으로 접목할 수 있을지를 고민하겠다”라고 밝혔다.