에스투더블유(S2W, 대표 서상덕)가 권위 있는 NLP(자연어처리) 학회에서 인공지능(AI) 언어모델 기술력을 인정받았다.

S2W는 세계 3대 NLP 학회로 꼽히는 ‘NAACL(북미 전산언어학학회)’에서 사이버보안 문서에 특화된 AI 언어모델 ‘사이버튠(CyBERTuned)’을 공개했다고 20일 밝혔다. 

S2W는 6월 16일부터 21일까지 멕시코시티에서 열린 NAACL 2024에 참석해 ‘사이버보안 영역에서의 사전 학습을 위한 비언어적 요소 활용(Ignore Me But Don't Replace Me: Utilizing Non-Linguistic Elements for Pretraining on the Cybersecurity Domain)’ 논문을 발표했다. 이로써 S2W는 NLP(자연어처리) 분야 세계 최정상급 학회(ACL, EMNLP, NAACL)에서 3년 연속으로 논문이 채택되는 성과를 달성했다.

S2W와 KAIST 연구진이 공동 개발한 사이버튠은 사이버보안(Cyber) 데이터 특성을 고려해 버트(BERT) 등의 인코더 모델을 효과적으로 파인튜닝(Tuned)한 AI 언어모델이라는 의미를 담고 있다. 이 모델의 기본 틀이 되는 ‘버트’는 언어모델에 더욱 고차원 단계인 문맥을 이해할 수 있도록 MLM(Masked Language Modeling)을 거쳐 작업 수행 능력을 향상시키는 양방향 언어 인코더 모델이다. 버트가 일반적인 문자열 외에도 URL, SHA Hash처럼 사람이 쉽게 해석하기 어려운 비언어적 요소가 담긴 사이버보안 문서들을 잘 이해하도록 돕는 것이 사이버튠 기술의 핵심이다. 

지금까지 보안 문서 대상으로 AI 언어모델을 학습한 시도는 있었다. 하지만 일반적으로 사용되는 언어와 전문적인 사이버보안 지식에 사용되는 언어가 달라 맥락을 제대로 이해하는 데 한계가 있었다. S2W는 이를 개선하기 위해 자체적으로 비정형 데이터를 가공하고 독보적인 모니터링 기술로 보안 문서 데이터를 수집했다. 비언어적 요소들에 대해서는 문장 구성 요소 대신 유형(Class)을 학습하도록 방식을 변경했다. 이를 통해 사이버보안 관련 문서 분류, 개체명 인식, 사건 탐지 등 다양한 작업에서 유의미한 결과를 얻을 수 있었다.

사이버튠은 오픈소스로 공개돼 앞으로 AI를 이용해 사이버보안 문서를 분석하고 이를 통해 새로운 위협 발굴 및 효과적 대응을 고민하는 조직과 전문가에게 도움을 줄 것으로 기대된다. 또한, S2W의 자비스, 퀘이사 등 자사 서비스에도 적용하는 등 다양한 AI 관련 모듈에 확대 적용할 예정이다. 

구체적으로 사이버튠을 통해 웹상의 수많은 사이버보안 문서들을 실시간으로 인코딩하여 벡터DB에 저장한다. 사용자 질문이 주어지면 검색증강생성(RAG) 방식으로 질문에 답이 될 수 있는 문서들을 빠르게 검색 후 거대언어모델(LLM)을 통해 답변을 생성, 사용자에게 제공하는 식의 검색 기반 챗봇 서비스를 공개할 계획이다.

서상덕 S2W 대표는 “사이버튠은 보안 위협을 발견하는 것을 넘어 실질적인 해결 솔루션까지 제시할 수 있는 강력한 보안 기술로 S2W가 글로벌 데이터 인텔리전스 기업으로 고속 성장하는 핵심 동력이 될 것”이라며 “앞으로도 보안 특화 AI 언어모델 분야에서 독보적 기술 경쟁력을 유지해 나가겠다”고 말했다.