2008년 9월 15일, 158년 역사의 리먼브라더스가 파산했다. 개별 은행과 헤지펀드는 나름 합리적인 판단을 내렸지만, 이들의 집단행동은 6400억 달러(약 944조원) 규모의 파산과 글로벌 금융시스템 붕괴로 이어졌다. 전 세계를 긴장시켰던 2008년 금융위기 이야기다. 

아마존웹서비스(AWS) 머신러닝(ML) 부문 아마존 스칼라(Amazon Scholar)이자 펜실베이니아대학교 컴퓨터공학과 교수인 마이클 컨스 펜실베이니아대 컴퓨터공학과 교수는 AI 에이전트 시대에도 똑같은 일이 벌어질 수 있다고 경고한다. 3일(현지시각) 미국 라스베이거스에서 열리고 있는 ‘AWS 리인벤트 2025’ 현장에서 만난 그는 “에이전트들이 각자 합리적으로 행동해도 집단적으로는 시스템 위험을 만들 수 있다”며 “금융 규제가 AI 거버넌스에 좋은 케이스 스터디가 될 것”이라고 강조했다.

컨스 교수는 1990년대부터 머신러닝을 연구해온 학자로, 펜실베이니아대학교 교수로 재직하다가 2020년 아마존에 합류해 중앙화된 책임있는 AI 팀을 만들었다. 지금도 이 팀을 이끌고 있다.

◇ 금융위기가 보여준 집단행동의 위험

2008년 금융위기는 개별 행위자의 합리성이 시스템 전체의 붕괴로 이어진 대표 사례다. 당시 미국 은행들은 신용등급이 낮은 사람들에게도 주택담보대출을 제공했다. 서브프라임 모기지다. 은행들은 이 부실 채권을 묶어 주택저당증권(MBS)과 합성담보부채권(CDO) 같은 파생상품을 만들었고, 신용평가사들은 이를 높은 등급으로 평가했다. 개별적으로 보면 모두 합리적인 결정이었다.

문제는 이들의 집단행동이 주택가격 버블을 키웠고, 연쇄 부실로 이어졌다는 점이다. 2008년 9월 7일 미국 정부는 모기지 업체인 패니메(Fannie Mae)와 프레디맥(Freddie Mac)을 국유화했다. 9월 15일에는 158년 역사의 리먼브라더스가 6400억 달러 규모로 파산했고, 이틀 뒤 보험 대기업 AIG가 850억 달러(약 125조원) 규모의 정부 구제금융을 받았다. 미국 정부는 결국 7000억 달러(약 1032조원) 규모의 구제금융을 투입해야 했고, 전 세계가 경기침체에 빠졌다.

컨스 교수는 “지금까지 책임있는 AI는 단일 시스템, 단일 에이전트 수준에서 논의됐다”며 “하지만 머지않아 에이전트들이 서로 상호작용하는 세상이 오면, 개별 에이전트가 아닌 집단행동에서 바람직하지 않은 결과가 나타날 수 있다”고 말했다.

그는 이 문제를 설명하기 위해 금융위기를 비유로 들었다. “2008년 금융위기를 보면, 모든 은행과 헤지펀드, 대출기관이 개인적으로는 합리적 행동을 했지만 시스템 단계에서는 위기가 발생했다”며 “책임있는 AI도 개별 에이전트 행동에만 신경 쓰기보다는, 집단행동에서 새로운 위험이 생길 수 있다는 점을 고려해야 한다”고 강조했다.

◇ AI 전문가와 별개로 ‘책임있는 AI 전문가’ 필요

컨스 교수는 책임있는 AI를 실천하는 이는 AI 개발자와 분리돼야 한다고 밝혔다. AI 전문가가 있듯, AI 신뢰성과 관련된 전문가가 별도로 있어야 한다는 것이다. 그가 AWS에 책임있는 AI 팀으로 합류한 것도 이러한 이유 때문이었다. “소프트웨어 개발자가 자기 코드를 테스트하면 안 되는 것처럼, AI를 빌딩하고 개발하는 사람과 실제로 평가하는 사람을 분리하는 게 책임있는 AI에서 옳다고 봤다”고 설명했다.

그가 금융 규제를 AI 거버넌스의 선례로 주목하는 이유도 이와 연관된다. “금융과 의료 기술은 미국에서 가장 엄격하게 규제받는 산업”이라며 “거시적으로 나쁜 행동이 나타났을 때 규제적 해결책이 어떻게 만들어졌는지 살펴볼 필요가 있다”고 말했다. 실제로 2008년 금융위기 이후 미국은 도드-프랭크법(Dodd-Frank Act)을 제정해 개별 기관이 아니라 시스템 전체의 안정성을 보는 ‘거시건전성 규제(macro-prudential regulation)’ 개념을 도입했다.

◇ “한국은 문화에 맞는 규제를, 과학은 국제 담론에 참여해야”

한국 AI 산업에 대해서도 구체적인 조언을 내놨다. 컨스 교수는 “한국이 AI 3대 강국을 목표로 하고 있는데 책임있는 AI 측면에서 조언을 해줄 수 있냐”는 기자의 질문에 과학과 규제를 구분해 설명했다. “물리 법칙이 한국과 미국에서 다르지 않듯, 책임있는 AI의 과학도 다르지 않다”며 “글로벌 리더가 되기 위해서는 국제적인 과학 담론에 참여해야 한다”고 강조했다.

하지만 규제는 다른 문제라고 밝혔다. “AI에는 문화적 요소가 들어가지 않을 수가 없다”면서 “특정 모델이 한 그룹에서는 퍼포먼스가 떨어질 수밖에 없는데, 그 그룹이 뭔지는 나라마다 다를 수 있다”고 말했다. 그는 그 사례로 미국과 한국을 설명했다. 인종이 많은 미국은 인종 문제를 AI가 답하는데 문제가 될 수 있지만, 단일 민족인 한국은 인종보단 남녀 문제나 종교가 더 중요할 수 있다고 했다.

이 때문에 그는 한국이 책임있는 AI를 위해 규제를 만들 때 문화적 우려에 맞춰 만들어져야 한다고 강조했다. 기술 개발에서는 국제 표준을 따르되, 규제 설계에서는 한국 사회의 문화적 특성을 반영해야 한다는 게 그의 조언이다.

◇ 임베딩이 무너뜨리는 프라이버시, AWS의 ‘조용한 실행’

컨스 교수가 에이전트 시대에 특히 우려하는 건 프라이버시와 보안 문제다. “에이전트는 챗봇과 완전히 다르다”면서 “은행 출금하거나 항공권 예매하는 등 한번 저지르면 되돌릴 수 없는 행동을 한다”고 설명했다.

문제는 대형언어모델(LLM)이 데이터를 임베딩으로 변환하면서 프라이버시 경계가 깨진다는 점이다. “아마존 같은 큰 회사는 법무팀만 볼 수 있는 정보, 소수 임원만 접근 가능한 정보 등 다층적인 프라이버시 레벨이 존재한다”며 “암호화나 접근 권한으로 이를 관리하지만, LLM이 데이터를 임베딩으로 재포장하면 이런 경계가 깨진다”고 설명했다.

임베딩이란 단어나 문장을 숫자 벡터로 변환하는 과정이다. LLM은 이렇게 변환된 숫자 공간에서 계산을 수행하는데, 이 과정에서 원본 데이터의 프라이버시 경계가 뒤섞인다. “프라이버시 경계선을 원본 데이터 공간에 그을 수 있지만, 임베딩 공간에서는 즉시 왜곡되고 뒤틀린다”고 강조했다.

AWS의 책임있는 AI 전략도 소개했다. “많은 회사가 책임있는 AI를 얘기하고 웹사이트에 전용 페이지를 만들지만, 우리는 홍보보다 내부 실행에 집중한다”고 말했다. 실제로 AWS는 최근 80~90페이지 분량의 ‘책임있는 AI 베스트 프랙티스 프레임워크’를 아마존 전사에 배포했다. 어떤 데이터셋을 쓰고, 어떤 인구집단에 대해 테스트할지 등을 구체적으로 담았다.