생성형 인공지능(AI) 기술의 비약적인 발전이 우리 사회 곳곳의 풍경을 변화시키고 있다. 문서 작성과 요약·정리, 반복 질문에 대한 답변 제공 등 업무 자동화 도구로서 일상 속에 친숙하게 자리 잡은지는 이미 오래고, 최근엔 조직 내 주요 전략 수립과 의사결정, 신제품 개발 및 소프트웨어 설계 등의 고차원적 영역에서도 유용성을 발휘하고 있다.

그러나 폭발적인 기술 진화 속도만큼이나, 생성형 AI의 기반이 되는 대형언어모델(LLM)의 취약성을 공략한 보안 위협도 점차 지능화되고 있다. 민감정보나 개인식별정보(PII)가 응답에 포함되는 데이터 유출, 악의적 사용자가 특정 입력 패턴을 통해 모델을 조작함으로써 부적절한 답변을 유도하는 행위, 실존하지 않는 정보를 사실인 것처럼 제공해 모델의 신뢰성을 저해하는 환각(Hallucination) 등의 문제가 발생할 수 있기 때문이다.

대표적인 LLM 보안 위협 사례로는 ‘탈옥(Jailbreak)’과 ‘랭체인(LangChain) 취약점 공격’을 들 수 있다. 탈옥은 모델의 보안 장치를 우회해 금지된 답변을 생성토록 유도하는 공격 기법으로, 수십~수백 개의 질문을 한 턴에 입력해 모델을 교란하는 ‘다중샷 탈옥(Many-shot Jailbreaking)’ 방식으로 고도화돼 유해한 응답이 생성될 가능성을 급증시키기도 한다. 랭체인은 LLM 모델을 손쉽게 활용할 수 있도록 지원하는 오픈소스 라이브러리다. ‘0.0.317’ 이전 버전에서 서버사이드 요청 위조(SSRF) 공격에 대한 취약점을 노출하며, 공격자가 조직 내 허가되지 않은 활동 및 데이터에 접근하고 취약한 애플리케이션 또는 백엔드 시스템을 악용해 임의의 명령을 실행할 수 있는 위험성을 드러내기도 했다.

이는 이론적 개념을 넘어 실제 공격 사례를 통해서도 확인되고 있다. 오픈AI는 마이크로소프트(MS) 위협인텔리전스팀과 협력해 북한·중국·러시아 등 특정 국가를 배후에 둔 해킹 그룹이 정보 수집과 코드 디버깅(Debugging), 피싱 콘텐츠 작성 등에 LLM을 활용하려 한 시도를 포착한 사례를 발표했으며, 필자가 속한 기업 역시 ‘플로와이즈(Flowise)’ 등을 포함한 다수의 오픈소스 LLM 빌더 서버와 벡터 데이터베이스가 인터넷에 노출돼 민감 정보가 유출된 사례를 소개한 보고서를 발간하기도 했다. 이처럼 생성형 AI와 관련한 보안 위협이 나날이 증가하고 있는 만큼, 이를 효과적으로 방어할 수 있는 기술에 대한 수요 역시 빠르게 증가하고 있다.

LLM 개발·배포·운영 과정에서 안전성과 신뢰성을 확보하기 위한 일련의 방어 체계인 ‘시큐리티 가드레일(Security Guardrail)’이 대표적이다. 이는 데이터 익명화 및 가공 기법을 통해 모델 학습에 사용되는 데이터셋의 안전성을 보장하고 민감정보 포함 여부를 검토하는 ‘데이터 검증 및 정제’, 비정상적 응답을 감지하고 지속적인 업데이트를 통해 위협에 대응하는 ‘모델 모니터링 및 로그 관리’, 모델 및 코드에 대한 보안 검토를 진행하며 사용 권한을 엄격히 관리하는 ‘안전한 배포 및 접근 제어’ 등을 거쳐 구축된다. 공격에 대한 모델 내성을 강화하기 위한 ‘적대적 학습(Adversarial Training)’, 유해하거나 민감한 정보가 포함된 응답을 차단하는 ‘응답 필터링 및 검증’ 등도 시큐리티 가드레일의 견고함을 지탱하는 축으로 작용한다. 필자가 몸담은 기업이 개발한 산업용 생성형 AI 플랫폼 역시 이를 탑재해 고객들에게 보다 안전한 데이터 운용 환경을 제공하고 있다.

이 밖에도 LLM 도입을 위한 사전 관리 및 인증 절차를 구축해 사이버 공격에 악용될 수 있는 가능성을 최소화하고, 제공업체와 사용자가 위협 인텔리전스(TI)를 통한 모니터링을 강화해 LLM 악용 시도를 사전 차단하며 AI 기반 위협 대응 체계를 고도화하는 것도 중요하다.

기술의 성능이 첨단화되고 영향력이 비대해질수록, 이에 대한 통제 가능성과 투명성도 한층 정교하게 설계돼야 한다. 조직은 생성형 AI의 생산성 및 효율성 개선 효과를 논하기에 앞서, 도입 이후의 안전성 관리 방안을 선행적으로 검토해야 한다. 기술성을 평가하는 미래의 기준은 ‘얼마나 많은 기능을 수행할 수 있느냐’를 넘어 ‘얼마나 안전하게 운영될 수 있느냐’에 더욱 가중치를 두게 될 것이기 때문이다.

박근태 S2W 최고기술책임자(CTO)는 18년 이상 빅데이터 분산 처리 시스템과 AI 연구를 해온 전문가다. 그는 KAIST에서 전기 및 전자 공학 박사 학위를 취득했다. 이후 전자통신연구원(ETRI) 연구원, 티맥스코어 개발자, SK텔레콤 빅데이터 & AI 개발 팀장을 거쳤다.