“AI 안전은 어디에?”… 딥페이크 성범죄에 노출된 대학가

처벌 기준·공급사 책임 강화 필요… 피해 방지 소통 창구 마련해야

딥페이크 기술을 악용한 성범죄가 또 발생했다. 인공지능(AI) 안전망이 올바르게 마련되지 않으면서 다시금 피해자가 생겼다. 대학과 법률 관계자들은 올바른 AI 법 마련과 처벌 강화, 피해자 소통 창구 마련 등 신속한 대책을 촉구했다. 

최근 대학가에서는 여학생들의 얼굴을 나체 사진에 합성한 성범죄물이 단체 텔레그램 대화방에 공유된 사실이 뒤늦게 확인됐다. AI로 가짜 영상과 이미지를 만드는 ‘딥페이크(딥러닝과 페이크의 합성어)’ 범죄가 다시 발생한 것이다. 이 텔레그램 대화방은 2020년부터 운영돼 참가자가 1200명에 달하는 것으로 알려졌다. 피해자는 대부분 인하대 재학생과 졸업생이었다. 대화방에는 피해자들의 연락처와 학번 등 개인정보가 여과 없이 공유됐다. AI로 특정인 목소리의 가짜 음성을 만드는 딥보이스 기술도 사용됐다. 대화방에선 피해자의 목소리로 ‘주인님’, ‘노예’ 등 부정적 의미를 가진 단어를 말하는 가짜 음성이 공유됐다.

해당 사건은 인하대에 재학 중인 한 피해자가 ‘채팅방에서 봤다’, ‘본인이 맞느냐’ 등의 메시지를 받고 협박이 이어지자 경찰에 고소하면서 수면 위로 드러났다. 인천경찰청 사이버범죄수사대는 지난 21일 A씨를 성폭력범죄의 처벌 등에 관한 특례법 위반 혐의로 불구속 입건했고 같은 혐의로 B씨를 불구속 입건할 예정이라고 밝혔다. 하지만 수사는 쉽지 않아 보인다. 주요 유통 경로인 텔레그램이 해외에 서버를 두고 있어 수사 기관의 추적이 어렵기 때문이다.

◇ 딥페이크 범죄 계속, 처벌 기준과 공급사 책임 강화 필요

이번 사건은 분명한 범죄다. 양진영 법무법인 민후 대표변호사와 오정익 법무법인 원 변호사(인공지능대응팀장)는 이번 사건처럼 여학생들의 의견에 반하여 이들의 얼굴에 나체 사진을 합성하고 반포하는 경우 ‘성폭력범죄의 처벌 등에 관한 특례법(성폭력처벌법) 제14조의2 제1항에 따라 징역 5년 이하의 징역 또는 5000만 원 이하의 벌금에 처할 수 있다고 밝혔다. 또 영리를 목적으로 여학생들의 의사에 반하여 정보통신망을 이용, 반포 등을 한 경우에는 7년 이하의 징역에 처할 수 있다고 했다.

단, 이번 사건은 충분히 예방할 수 있다는 점에서 아쉬움을 표했다. 딥페이크 범죄는 과거에도 있었다. 지난 5월 서울대를 졸업한 남성 2명은 성폭력처벌법상 허위영상물 편집·반포 등 혐의로 구속 송치됐다. 이들은 텔레그램을 통해 서울대 동문 12명을 비롯한 여성 61명의 사진을 합성한 음란물을 만들어 유포했다.

해외에서도 유사한 사례는 많았다. 지난해 미국에서는 AI를 이용해 가짜 나체 사진을 만드는 딥페이크 애플리케이션(앱)과 웹사이트 이용자가 폭증하면서 문제 됐다. 이 사이트에선 AI 기술을 기반으로 신체를 사실처럼 조작해 여성의 옷을 벗긴 이미지를 제작할 수 있는데, 한 달 동안에만 해당 웹사이트에 방문한 인원이 2400만 명에 달한 것으로 알려졌다. 사진에서의 여성은 공인뿐 아니라 직장 동료, 학교 동급생, 버스에 탄 낯선 사람, 심지어 어린이도 대상이 됐다.

양진영 대표변호사는 이 같은 딥페이크 문제를 줄이기 위해선 처벌을 강화해야 한다고 조언했다. “딥페이크 피해를 방지하기 위해서는 처벌을 강화하는 것이 필요한데, 특히 성폭력처벌법에서 목적 조항을 삭제해 처벌 대상을 확대할 필요가 있다”며 “성폭력처벌법은 반포목적을 요구하고 있어, 개인소장 목적인 경우 처벌이 어려울 수 있는 문제가 있다”고 지적했다. 실제로 지난 5월 딥페이크 범죄를 일으킨 서울대 졸업생들은 영리 목적이 아닌 성적 욕망 해소를 위해 범행을 저질렀다고 주장했다.

양 변호사는 AI 공급사의 책임을 강화하는 방안도 필요하다고 조언했다. “생성형 AI 공급사에 범죄에 이용될 수 있는 영상, 음원 제작에 대해 자체적인 기준을 설정해 회원에 대한 관리 감독을 강화해야 한다”고 말했다.

오정익 변호사도 의견을 같이했다. “해당 서비스를 제공하는 플랫폼의 책임을 강화하고, 딥페이크 동영상 제작자를 추적할 수 있는 시스템을 구축해야 한다”면서 “EU AI 법을 포함한 세계 각국은 AI로 만든 딥페이크 영상과 사진인 경우 워터마크 등을 통해 사용자가 이를 알 수 있게 하고 있다”고 설명했다. 참고로 EU 집행위원회는 지난해 8월 25일부터 페이스북, 인스타그램, 틱톡, 트위터 등 온라인 플랫폼과 검색 엔진 19개를 대상으로 ‘디지털서비스법(DSA)’을 적용했다. 이 법에 따르면, 온라인 플랫폼과 검색 엔진을 제공하는 기업은 혐오 발언, 테러 선동, 아동에 관한 성적 학대 등 유해 콘텐츠를 잡아내지 못하면 글로벌 매출의 최대 6%에 달하는 벌금을 부과받게 된다. 

오 변호사는 여러 강구책을 생각할 수 있지만, 근본적으로 해당 문제를 해결할 방법은 당장 찾기 어렵다고 지적했다. “딥페이크와 같은 기술의 악용을 근본적으로 막을 수는 없다”면서 “불법 동영상이 유출되고 유포되는 것을 막기 위한 근본적인 조치가 없는 것처럼, 딥페이크 행위 자체를 방지하기 위한 대책 마련은 쉽지 않아 보인다”고 염려했다.

◇ AI 사용자 교육과 피해자 소통 창구 필요

대학에서는 학생들이 성범죄 대상자가 되는 점을 크게 우려했다. 김봉제 서울교대 AI가치판단디자인센터장(윤리학과 교수)은 “사회 구성원을 배출하는 중요한 사회기구인 대학에서 디지털 범죄가 자유롭게 인식되고 유행되는 점은 큰 문제”라고 지적했다. 이 같은 문제를 줄이기 위해선 디지털 세계에 관한 인식 제고가 필요하다고 주장했다. “디지털 세계의 모든 것은 흔적이 남는다는 인식을 강화할 필요가 있다”며 “텔레그램과 같은 플랫폼은 정보 공개를 하지 않아 범죄에 활용되는 경우가 빈번하게 발생하고 있는데, 정보를 공개하지 않을 뿐이지 흔적이 없다는 것을 의미하지 않는다”고 경고했다. 이어 “이번 사건의 주도자들은 범죄라는 것을 알면서도 정보가 공개되지 않아 안심했겠지만, 결국 피해자들에 의해 사건이 공개됐다”면서 “디지털 흔적은 기술로 드러나지 않을 수 있지만 결국 사람에 의해 밝혀질 수 있다”고 목소리를 높였다.

AI 기술이 발전할수록 올바른 사용을 위한 사용자 교육도 필요하다고 조언했다. 김 센터장은 “디지털 자원을 활용해 사람을 대상으로 저지르는 범죄가 많아지고 있다”면서 “AI가 발전할수록 기본적으로 인권과 성, 감수성 교육을 강화해야 한다”고 말했다. 또 “AI가 반영된 디지털 범죄를 방지하기 위해선 AI 가치판단에 대한 논의와 기술적 대안이 필요하다”며 “AI가 사회 전반에 활용되는 상황에서 AI를 어떻게 사용해야 좋은지 가치 판단할 수 있는 능력을 키우고 관련 논의를 적극 펼칠 필요가 있다”고 했다.

이청호 상명대 교수도 의견을 같이했다. “딥페이크 범죄를 예방하기 위해 대학과 교육기관에서는 딥페이크의 위험성에 대한 교육을 강화하고, 학생들이 이러한 기술을 악용하지 않도록 윤리 교육을 병행해야 한다”면서 “가해자들에게는 법적 처벌이 이루어질 수 있다는 인식이 형성돼야 한다”고 말했다. 피해자들을 위한 대책 마련도 요구했다. “피해자들에게 심리적 지원과 법적 도움을 제공하는 프로그램을 마련해야 한다”면서 “이러한 범죄를 당했을 때의 대응 방안을 알려줄 수 있는 창구를 서둘러 마련해야 한다”고 조언했다.