[AWS 리인벤트 2025] 수천 개 AI 에이전트가 사람을 공격한다면?

선한 에이전트 개발할 때 누군 간 악한 에이전트 만든다
AWS “AI 에이전트 군단 공격, 사람은 대응 어려워”
여권 정보 접근부터 환불 승인까지… 자율성 경계가 관건
보안팀 vs AI팀 갈등, 해커톤으로 협력 경쟁 전환

사람과 비교할 수 없는 속도로 작동하는 AI 에이전트가 등장했다. 그런데 이 AI 에이전트들이 사람을 공격하면 어떨까? 에이전트 등장 이후 보안 위협이 인간의 대응 속도를 압도할 수 있다는 우려가 현실로 다가오고 있다.

3일(현지시각) 미국 라스베이거스에서 열린 ‘AWS 리인벤트 2025’ 보안 세션에서 지 리튼하우스(Gee Rittenhouse) AWS 보안 서비스 부사장은 “누군가 디지털 공격을 행하는 수천 개의 AI 에이전트를 출시하면 어떻게 될까?”라는 메시지를 던졌다. 아이언맨, 어벤저스 등 영화에서만 등장할 법한 AI 공격이 실제로 발생할 수 있다고 경고한 것이다. 그는 “사람이 AI 에이전트의 공격을 발견해 보안 버튼을 누르려고 할 때는 이미 너무 늦었을 것”이라며 대비책 마련을 촉구했다.

이날 진행된 세션에는 에이미 헤르조그(Amy Herzog) AWS 최고정보보호책임자(CISO), 하트 로스만(Hart Rossman) AWS CISO 오피스 부사장, 네하 룽타(Neha Rungta) 응용과학 디렉터가 함께 참석해 에이전틱 AI 시대 보안의 핵심 과제를 논의했다.

◇ AI 에이전트, 행동 패턴 분석으로 막아야

리튼하우스 부사장은 AI 에이전트 시대 보안은 속도와 규모가 현재 시스템을 압도할 수 있다고 경고했다. “자율적으로 작동하는 에이전트는 잠재적 내부 위협처럼 보인다”며 “기존 워크로드 보호 방식에서 행동 패턴 분석과 이상 탐지로 전환해야 한다”고 강조했다.

네하 룽타 디렉터는 AI 에이전트 보안의 핵심을 ‘자율성의 경계 설정’으로 정의했다. 그는 “고객 지원 에이전트가 환불을 승인할 수 있다면, 얼마까지 자율적으로 승인할 수 있을까”라며 “100달러는 괜찮지만 200달러는 안 되는 것인지, 같은 고객이 반복 요청하면 어떻게 할 것인지 기준이 필요하다”고 말했다.

문제는 더 복잡하다. 그는 “에이전트는 고립되어 있지 않고 여러 에이전트의 조합으로 작동한다”며 “한 에이전트가 자신의 권한을 다른 에이전트에게 위임할 수 있는지도 정해야 한다”고 설명했다. 일례로 앨라배마 항공편 예약은 에이전트가 할 수 있는 일의 범위 내일 수 있지만, 싱가포르 항공편이라면 여권 정보 같은 민감한 데이터에 접근할 권한을 줘야 하는지 판단이 필요하다는 것이다.

에이미 헤르조그 CISO는 “에이전트는 생성된 결과를 기반으로 실제 행동을 취한다”며 “사람이 개입하지 않으면 문제가 인간 속도가 아닌 기계 속도로 발생할 수 있어 기본 보안 원칙이 더욱 중요해졌다”고 강조했다. 이어 “자격 증명 관리, 짧은 수명, 엄격한 권한 범위 같은 기본을 AI 라벨이 붙었다고 놓쳐서는 안 된다”고 말했다.

AWS는 이 문제를 해결하기 위해 수학적 증명을 활용하고 있다. 룽타 디렉터는 “자동화된 추론은 수학적 증명을 사용해 시스템의 정확성을 증명하는 것”이라며 “하루 1조 건 이상의 요청을 처리하는 IAM 인증 엔진을 수학적으로 증명된 것으로 교체했는데, 고객들은 교체 사실조차 눈치채지 못했다”고 말했다.

이번 행사에서 발표된 베드록 에이전트 코어 정책 엔진도 ‘시더(Cedar)’ 언어 기반으로 에이전트의 행동 경계를 수학적으로 증명할 수 있다. 

◇ 선한 에이전트가 개발되면, 악한 에이전트도 나온다

헤르조그 CISO는 AI가 보안 위협의 본질을 바꾸지는 않는다고 봤다. 그는 “AI는 공격자가 취하는 행동의 종류를 근본적으로 바꾸지 않는다”며 “바뀌는 것은 행동의 경제성”이라고 말했다. 완벽하게 맞춤화된 피싱 이메일은 10년 전에도 가능했지만 매우 비쌌는데, 지금은 더 저렴하고 빠르고 쉬워졌다는 것이다.

다만 방어자도 같은 기술을 사용할 수 있다는 점에서는 긍정적이라고 했다. 그는 “개발자가 키로(KIRO)와 같은 AI 도구를 사용하면 에이전트가 작성한 코드가 기존 코드를 망가뜨리지 않도록 테스트 프로세스가 더 중요해지는데, 보안 관점에서는 이것이 자동 패치를 가능하게 한다”고 설명했다.

실제로 AWS 내부에서는 효과가 나타나고 있다. 그는 “연간 대량의 취약점 정보와 AWS 네트워크 규모를 결합해 분석해야 하는데, 에이전트가 정보를 더 유용하게 준비해줘서 커버리지가 500% 이상 증가했다”고 밝혔다. 로스만 부사장도 “오래전부터 보안 대응자 에이전트를 프로덕션에서 운영하고 있다”며 “수 시간에서 수일 걸리던 사고 조사를 몇 분으로 단축했다”고 말했다.

하트 로스만 부사장은 한 고객사 사례를 소개하며 문화적 변화의 중요성을 강조했다. “AI 책임자가 매주 월요일마다 주말에 만든 새 앱을 프로덕션에 넣으려 하고, 보안팀은 검사하느라 정작 앱을 못 만드는 갈등이 있었다”며 “해커톤으로 보안팀이 먼저 AI 에이전트 빌더가 되도록 했더니 1개월 만에 긴장 관계가 협력 경쟁으로 바뀌었다”고 말했다. 이어 “보안과 혁신은 양자택일이 아니다”라고 덧붙였다.

룽타 디렉터는 “선한 에이전트를 개발하는 동안 다른 사람들은 악한 에이전트를 개발할 것”이라며 “2~3년 후 위험이 어떻게 보일지 알 수 없어 알려지지 않은 것에 어떻게 대비할지가 과제”라고 말했다. 헤르조그 CISO는 “AWS 팀은 이미 수년간 대규모로 이 문제를 해결해왔다”며 “이것이 가능하다는 것을 이미 봤고, 이제 고객도 할 수 있도록 제품과 경험을 만들면 된다”고 답했다.