인공지능(AI) 기술이 스스로 행동하는 AI 에이전트로 발전하면서 ‘개인정보 보호’의 중요성이 커졌다. AI가 개인정보를 토대로 물건을 구매하거나 해당 정보들에 악성 바이러스나 스팸 메일을 쉽고 빠르게 보낼 수 있기 때문이다. 마이클 컨스 펜실베이니아대 컴퓨터공학과 교수는 최근 기자와 인터뷰에서 “AI 에이전트는 단순 챗봇과 달리 실제 세계에서 출금, 구매, 예약과 같은 되돌릴 수 없는 행동을 한다”며 “이 때문에 개인 정보 보호와 보안이 ‘책임있는 AI’의 가장 중요한 요소가 된다”고 말했다.

문제는 AI 기술은 스스로 행동하는 방향으로 발전하고 있지만, 개인정보 보호는 제자리걸음을 하고 있단 사실이다. 최근 국내 사례만 보아도 개인정보 유출 사고가 연달아 발생했다. 최근 쿠팡은 3370만건의 개인정보를 유출했고, SK텔레콤은 2700만건, KT는 5561건의 개인정보 유출이 발생했다. AI 에이전트 시대를 역행하는 행보다. 여기서 유출된 정보는 AI 에이전트의 공격 무기가 될 수도 있다.

◇ 수천 에이전트 공격하면 인간은 대응 불가

글로벌 기업은 AI 에이전트를 이용한 공격에 대비하고 있다. 지 리튼하우스 아마존웹서비스(AWS) 보안 서비스 부사장은 지난 3일(현지시간) 미국 라스베이거스에서 열린 ‘AWS 리인벤트 2025’ 보안 세션에서 “누군가 수천 개의 AI 에이전트로 디지털 공격을 하면 어떻게 될까”라는 질문을 대중에 물었다. 이어 “사람이 보안 버튼을 누르려고 할 때는 이미 너무 늦었을 것”이라며 “AI 에이전트가 사람 대신 출금·구매·예약을 하는 시대에는 보안 공격도 인간 속도를 압도한다”고 경고했다. 또 “자율적으로 작동하는 에이전트는 잠재적 내부 위협처럼 보인다”며 “기존 워크로드 보호 방식에서 행동 패턴 분석과 이상 탐지로 전환해야 한다”고 강조했다.

에이미 헤르조그 AWS 최고정보보호책임자(CISO)는 속도 문제를 지적했다. “에이전트는 생성된 결과를 기반으로 실제 행동을 취한다”며 “사람이 개입하지 않으면 문제가 인간 속도가 아닌 기계 속도로 발생한다”고 말했다.

그는 AI 에이전트가 공격 무기가 되는 이유도 설명했다. “완벽한 피싱 이메일은 10년 전에도 가능했지만 매우 비쌌다”며 “지금은 더 저렴하고 빠르고 쉬워졌다”고 밝혔다. 이어 “AI는 공격 방식을 바꾸지 않는다”며 “바뀌는 건 경제성”이라고 덧붙였다.

쿠팡에서 유출된 정보에는 이름, 전화번호, 주소뿐 아니라 최근 5건의 주문내역까지 포함됐다. AI 에이전트는 이 정보로 “어제 주문하신 OO제품 배송 문제 발생”이라는 완벽한 피싱 메시지를 초당 수천 건씩 만들 수 있는 것이다.

◇ “임베딩 과정서 프라이버시 장벽 무너진다”

컨스 교수는 에이전트 시대에 프라이버시 관리는 더 엄격해야 한다고 설명했다. AWS 머신러닝(ML) 부문 아마존 스칼라(Amazon Scholar)로 근무하는 그는 아마존의 사례를 들었다. 현재 아마존은 정보 보호를 위해 정보마다 접근 권한을 다르게 설정한다. 최고경영진만 볼 수 있는 정보, 법무팀만 접근 가능한 정보, 사업부별 재무정보 등이다. 중요한 정보는 암호화하고, 암호화 키는 소수만 접근할 수 있도록 엄격히 관리한다.

컨스 교수는 “문제는 대형언어모델(LLM)이 입력을 받으면 즉시 임베딩 공간으로 변환한다는 것”이라고 지적했다. 이어 “데이터를 새롭게 포장해서 컴퓨터 연산과 추론을 쉽게 만드는데, 원본 데이터에 설정된 프라이버시 경계선이 임베딩 과정에서 왜곡되고 무너진다”고 설명했다. 또 “우리가 완전히 이해하지 못하는 추상 공간에서도 경계를 유지할 새로운 과학적 접근이 필요하다”고 강조했다.

AWS는 2020년 중앙화된 책임있는 AI 팀을 신설했다. 컨스 교수는 “소프트웨어 개발자가 자기 코드를 테스트하면 안 되는 것처럼, 모델 개발팀과 평가팀을 분리했다”며 “우리는 책임있는 AI를 홍보하기보다 내부 실행에 집중한다”고 말했다.

헤르조그 CISO도 “자격 증명 관리, 엄격한 권한 범위 같은 기본을 AI라고 해서 놓치면 안 된다”고 강조했다.

◇ 기본도 못 지킨 한국 기업, ‘AI 국가대표’도 포함

쿠팡과 SKT 등 국내 기업 사례를 볼 때 AWS가 ‘임베딩 공간의 프라이버시’를 고민할 때, 이들은 기본적인 접근 권한 관리조차 관리하지 못한 것으로 추측된다. 

쿠팡의 개인정보 유출 사태가 대표적이다. 중국인 퇴사 직원이 인증 토큰(서명키)을 이용해 시스템에 접근했는데, 쿠팡은 이 직원이 퇴사한 후에도 서버 접근 권한을 말소하지 않았다. 올해 6월 24일부터 장기간 비정상 접근이 이뤄졌지만, 쿠팡이 이를 인지한 건 11월 18일이었다. 12일이 지난 뒤였고, 그마저도 고객 민원을 통해서였다.

컨스 교수가 강조한 ‘다층적 접근 관리’, ‘퇴사자 암호화 키 관리’는 찾아볼 수 없었다. 쿠팡의 정보보호 투자 비중은 4.6%로 업계 평균(6.28%)보다 낮았다. 매출 대비로는 0.2%에 불과해 카카오·SKT(0.7%), 네이버·KT(0.4%)보다 저조했다.

SKT는 지난 8월 정부가 선정한 ‘국가대표 AI’ 5개 후보(네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원) 중 하나다. 정부는 이들에게 GPU 1000장씩, 2027년까지 4000~5000억원을 투입할 예정이다. SKT는 ‘국민 AI 접근성 강화’를 내세우며 이재명 대통령의 핵심 공약인 ‘모두의 AI’의 주역을 자처했다.

그런데 이 국가대표 AI 유력 후보는 올해 4월 2700만건의 개인정보 유출 사고를 냈다. SKT 서버에 악성코드(BPF도어)가 설치된 건 무려 3년 전인 2022년 6월이었다. SKT는 3년간 해킹당한 사실조차 몰랐다. 23개 서버가 감염됐고, 25종의 악성코드가 발견됐다. 2024년 12월 2일까지 로그 기록이 삭제돼 정확한 유출 범위조차 확인할 수 없다. ‘국민 AI 접근성’을 말하면서 정작 국민 개인정보는 3년간 방치한 셈이다. 정부는 역대 최대 과징금 1347억원을 부과했다. 

KT도 다르지 않다. 지난 9월 불법 펨토셀(초소형 기지국) 해킹으로 5561명의 IMSI(가입자식별번호), IMEI(단말기식별번호), 전화번호가 유출됐다. 더 큰 문제는 KT가 지난해 3월부터 7월까지 악성코드에 감염된 서버 43대를 발견하고도 정부에 신고하지 않고 자체 처리했다는 점이다. 1차 조사 때는 이미 악성코드를 삭제한 서버를 제출했고, 이후 포렌식 조사에서 악성코드를 지운 흔적이 발견됐다. 민관합동조사단은 KT의 의도적 은폐 정황을 지적했다.

결제가 가능한 플랫폼 쿠팡은 퇴사자 접근 권한을 5개월간 방치했고, 국가대표 AI 사업자 SKT는 3년간 해킹을 몰랐고, KT는 악성코드 발견을 은폐한 것이다. 컨스 교수는 “과거엔 책임있는 AI를 단일 에이전트에 대해 얘기했다”면서 “앞으론 에이전트들이 서로 상호작용하게 되면서 더 많은 악성 행동이 나올 수 있다”고 경고했다. 이어 “AI 에이전트들이 합심해 사람의 개인정보를 공격할 수 있으므로 더 신중한 관리가 필요하다”고 강조했다.

네하 룽타 AWS 응용과학 디렉터는 “선한 에이전트를 개발하는 동안 다른 사람들은 악한 에이전트를 만들 것”이라며 “2~3년 후 위험이 어떻게 보일지 알 수 없어 알려지지 않은 것에 어떻게 대비할지가 과제”라고 경고했다.

한편, 국회는 오는 17일 쿠팡 개인정보 유출 사태와 관련한 청문회를 열 계획이다.