총선에 인공지능(AI) 경계령이 떨어졌다. AI로 가짜 영상과 이미지를 만드는 ‘딥페이크(딥러닝과 페이크의 합성어)’ 문제가 수면 위로 올라와서다. 실제로 중앙선거관리위원회는 4·10 총선과 관련, 딥페이크 게시물과 관련해 경고 1건, 준수 촉구 1건, 삭제 요청 207건을 요청했다고 밝혔다. 선거법은 선거일 전 90일부터 선거일까지 AI 등의 기술로 만든 실제와 구분하기 어려운 가상의 선거운동 관련 음향, 이미지, 영상 등을 제작·편집·유포·상영·게시하는 행위를 금지하고 있다.

딥페이크는 최근 생성형 AI 기술 발전으로 제작이 쉬워졌다. 텍스트를 입력하는 것만으로 이미지와 영상을 만드는 기술이 상용화돼서다. 짧은 음성 데이터로 가짜 음성을 만들어내는 퓨샷러닝 등도 많이 고도화된 상태다. 이러한 기술로 만들어진 딥페이크는 악용되는 경우 사회적 문제를 일으킬 수 있다. 지난 1월 미국 뉴햄프셔주에선 예비 경선에선 바이든 대통령이 “투표하지 말라”는 전화가 돌았는데, 이 전화 음성은 AI로 만든 가짜로 판별됐다. 또 트럼프 전 대통령이 흑인 여성, 청년과 찍은 사진도 AI로 조작한 이미지로 밝혀졌고, 국내에선 최근 윤석열 대통령이 “저 윤석열은 대한민국을 망치고 국민을 고통에 빠뜨렸습니다”라고 말하는 허위 영상이 소셜네트워크서비스(SNS)에서 확산해 문제 된 바 있다.

윤석열 대통령은 26일 오전 용산 대통령실에서 국무회의 생중계 모두발언에서 AI 악용을 염려했다. 총선이 공정하고 투명하게 치러질 수 있도록 정부가 총력을 기울여야 한다며 AI를 활용한 가짜 정보 등에도 능동적으로 대처해야 한다고 조언했다. “AI와 디지털 기술을 활용한 가짜뉴스와 허위 정보가 유권자들의 눈과 귀를 가리지 못하도록 철저히 대응해야 할 것”이라며 “딥페이크와 같은 새로운 양상에도 능동적으로 대처해주기 바란다”고 밝혔다.

딥페이크 문제가 확산하자 AI로 만든 가짜 생성물을 탐지하는 기술의 필요성도 제기되고 있다. 사람이 영상이나 이미지, 음성 등의 진위를 알기 어려우니 이를 자동 탐지해내는 기술이 마련돼야 한다는 목소리가 나오고 있다. 국내에서 이 기술을 상용화한 곳은 딥브레인AI다. 지난 대선 때 윤석열 대통령의 AI 휴먼을 만든 업체이기도 하다.

딥브레인AI는 생성형 AI 아바타 제작 솔루션과 내부에 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 기반으로 딥페이크 탐지 솔루션을 개발했다. AI로 가상의 인물과 목소리를 만드는 기술이 있는 만큼, 이를 역으로 탐지할 수 있는 솔루션을 만들었다. 지난 15일에는 경찰청과 협력해 딥페이크 범죄 단속을 돕는 탐지 솔루션을 개발했다고 밝혔다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄와 피싱 범죄, 합성 성 착취물 범죄 등에 대처해나갈 방침이다.

딥브레인AI의 딥페이크 탐지 솔루션은 어떻게 활용할 수 있는지, 한종호 딥브레인AI 부사장을 만나 이야기를 들어보았다.

- 딥페이크 탐지 솔루션을 제공하고 있다. 어떤 솔루션인가.

“우리는 특정 인물 탐지와 종합 탐지, 음성 탐지 등의 기술을 보유하고 있다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 탐지모델과 구간, 인물 등을 설정하면 5~10분 내로 탐지한다. 이미지와 영상은 픽셀 단위로 분석하고, 음성은 주파수와 시간, 노이즈 등 다양한 조작 요소를 종합적으로 고려한다. 딥페이크로 판명되는 경우 가짜(Fake)로 표시된다. 판별이 완료되면 변조율과 합성유형 등 범죄에 사용된 기술 정보도 함께 제공한다.”

- AI 휴먼 회사인데, 딥페이크 탐지 솔루션을 만든 이유가 있나.

“우리는 AI 휴먼 회사다. 딥러닝을 기반으로 음성과 휴먼을 만드는 원천 기술을 갖고 있다. 이 기술은 역으로 딥페이크나 딥보이스 탐지도 가능하다. 현재 많이 쟁점이 되는 딥페이크와 딥보이스 피해사례를 조금이나마 줄여 사회에 공헌하고자 탐지 솔루션을 개발했다. 특히 올해는 전 세계적으로 선거를 치르는 나라가 많이 있어 가짜 영상에 관한 관심이 높다. 우리에게도 좋은 기회로 보고 있다.”

- 총선을 비롯해 AI로 만든 가짜 영상과 이미지가 사회적 문제가 되고 있다. 어떻게 해결해야 할까.

“AI 기술을 활용해 영상을 만드는 기술 자체를 규제할 수는 없을 듯하다. 단 AI 기술을 이용해 가짜 영상을 만드는 사람들에 대한 규제는 확실하게 해야 한다고 생각한다. AI 공급사들의 책임도 있다. AI 기술 배포에 신중을 기해야 한다. 우리 솔루션을 예로 들면, 영상을 제작하기 위해서는 특정인을 먼저 AI 휴먼으로 만들어야 하고 이 특정인을 사용하기 위해선 출처를 반드시 밝혀야 한다. 일반 기업간소비자간거래(B2C) 고객에게 특정인의 AI 휴먼도 공개하지 않고 있다.”

- 딥페이크 문제를 줄이기 위해 딥브레인AI의 노력도 필요할 것 같다.

“맞다. 아직 국내엔 딥페이크 탐지 기술을 가진 곳이 많이 없다. 우리가 이 시장을 개척하고 있다고 봐도 된다. 우리는 시장 선구자로서 해당 솔루션을 서비스형소프트웨어(SaaS) 서비스로 오픈해 여러 기관이나 개인이 사용할 수 있도록 제공하고자 한다. 서비스도 저렴한 가격에 제공하고 있다. 피해를 최소화하는 것이 중요하기 때문이다.”

- 딥페이크 탐지 솔루션도 제한점이 있을 것 같다.

“탐지 솔루션의 정확도는 데이터를 많이 학습할수록 높아진다. 그런데 학습에 필요한 데이터를 확보하는 게 쉽지 않다. 우리가 경찰청과 협력한 이유도 데이터 확보 영향이 있다. 최근 생성형 AI 기술의 무분별한 등장도 제한되는 부분이다. 다양하고 새로운 생성형 AI를 이용해 영상을 제작할 수 있다 보니 가짜 영상을 판별하는 선제 대응이 어렵다. 컴퓨터 바이러스와 유사하다. 새로운 바이러스는 처음부터 탐지되지 않고, 발견 후 악성코드로 분류해야 탐지할 수 있다. 신규 생성형 AI 기술로 만들어진 영상도 그렇다. 이 영상을 탐지하기 위해선 엔진을 추가해 학습하고 대응할 수 있다.”

- AI 휴먼 얘기도 안 할 수 없다. 최근 리메모리2 서비스도 출시했는데.

“리메모리 서비스는 돌아가신 분을 추억하기 위해 AI 휴먼 기술을 활용한 솔루션이다. 리메모리2는 고인을 추억하고 싶은 분들의 요구사항을 바탕으로 사진 1장과 짧은 음성만으로도 고인에 관한 영상을 만들 수 있게 했다. 이 서비스의 수요는 꾸준하게 올라오고 있다. 결혼식 축하, 생일 선물 등 꼭 추모가 아니라 다양한 이벤트에 이용되고 있다. 다양한 추억을 기리고 감동을 줄 수 있는 서비스이다 보니 계속 발전시켜나가고 싶은 마음이 크다.”

- 앞으로 계획이 있다면.

“다양한 AI 휴먼 서비스를 보급해 이 시장이 활성화되는데 기여하고 싶다. 우리는 지난해 한국표준협회에서 주관한 AI 신뢰성 인증을 받았고, 신뢰성 윤리방침을 준수하고 있다. 이러한 노력이 올바른 AI 정착과 시장 활성화에 일조할 것으로 본다. 또 국내 경쟁사들과 선의의 경쟁을 통해 서로 윈윈하는 시장을 만들겠다.”

- 한국 AI가 발전하려면 어떤 노력이 필요할까.

“AI는 시대를 거스를 수 없는 대세다. 국내 AI 기업들이 기술력으로 글로벌 시장과 경쟁할 수 있는 환경을 정부에서 적극적으로 마련해줬으면 좋겠다. 지금 한국이 국가별로 10위 안에는 들어갈지 모르겠다. 이 상황에서 연구개발(R&D) 예산이 삭감되는 등의 이슈가 있다 보니 기업들의 부담은 가중되는 상황이다. 기업들이 튼튼해야 한국 AI 산업도 성장할 수 있다. 또 최근 세계적으로 AI 규제법이 마련되고 있는데, 한국이 무작정 따라가진 않았으면 좋겠다. 공감할 부분은 공감하되 유럽의 GDPR, 중국의 AI 규제안, 미국의 AI 규제 등을 다방면으로 검토해 한국 실정에 맞는 규제안을 마련했으면 한다.”