온라인상에서 이뤄지는 유해 콘텐츠 생성과 차별·선동 발언에 유럽이 칼을 빼 들었다. 유럽연합(EU) 집행위원회는 8월 25일부터 페이스북, 인스타그램, 틱톡, 트위터 등 온라인 플랫폼과 검색 엔진 19개를 대상으로 ‘디지털서비스법(DSA)’을 적용하기로 했다. 혐오 발언, 차별, 가짜 뉴스 등 온라인에서 발생하는 문제에 대해 실질적인 규제를 시작한 것이다.

◇생성형 AI도 포함된 DSA, 기업들은 해결 방안 모색

유럽이 발표한 DSA에 따르면, 온라인 플랫폼과 검색 엔진을 제공하는 기업은 혐오 발언, 테러 선동, 아동에 관한 성적 학대 등 유해 콘텐츠를 잡아내지 못하면 글로벌 매출의 최대 6%에 달하는 벌금을 부과받게 된다. 

이 법에는 최근 높은 인기를 누리고 있는 생성형 인공지능(AI) 관한 조항도 포함됐다. 생성형 AI는 텍스트나 이미지, 동영상 등을 AI로 생성하는 기술을 뜻한다. 이러한 생성형 AI는 사람들의 업무를 보조해 업무 효율성 등을 높이는 긍정 효과가 있지만, 악용하면 사회적 문제를 발생시키기도 한다. 지난 5월 있었던 미국 국방부 청사 ‘펜타곤’ 근처 폭발 사진이 대표 사례다. 당시 트위터에는 펜타곤 근처에서 폭발이 발생했다는 글과 사진이 게재됐다. 이 게시물은 다른 계정을 통해 빠르게 번졌고, 이로 인해 미국 증시는 일시적인 하락세를 보이는 등 문제가 발생했다. 하지만 이 사진은 AI로 만든 가짜인 것으로 파악됐다. 상황이 악화되자 버지니아주 알링턴카운티 소방당국은 공식 트위터를 통해 “펜타곤 영내는 물론 그 근처에서 그 어떤 폭발이나 사고가 발생하지 않았다”고 공식 발표하기도 했다.

유럽이 DSA에 생성형 AI 조항을 포함한 것도 이 때문이다. 이 법에 따르면, 플랫폼 업체는 AI로 생성한 콘텐츠는 워터마크 등의 방법으로 별도 표시해 사용자가 해당 사실을 알아야 한다. 이러한 안전장치를 마련하지 않은 곳에도 마찬가지로 벌금이 부여된다.

기업들은 유럽의 강경 조치에 기술적, 윤리적으로 방안을 찾고 있다. DSA 적용 대상인 글로벌 숏폼 동영상 플랫폼 ‘틱톡’은 4월부터 딥페이크 콘텐츠 관리 방식을 규정하고 증오 발언 및 행동에 대한 보호를 강화하는 새로운 커뮤니티 가이드라인을 시행하고 있다. 자동화된 심사 기술을 통해 플랫폼에 업로드되는 모든 동영상의 가이드라인 위반 여부를 자동으로 검토한다. 가이드라인을 위반하는 콘텐츠는 자동 삭제하거나 심사팀에 전달해 추가로 검토받을 수 있도록 조치하고 있다.

◇한국 기업, 자발적으로 안정적인 방안 탐구… 하이퍼커넥트·네이버제트·튜닙 대표 사례

디지털 문제는 사실 한국에도 해당하는 문제다. 실제로 플랫폼에는 성별, 나이 등에 따라 서로 차별하는 글이 많고, 딥페이크를 이용해 유명인 사진을 합성하는 일도 벌어졌다. 이러한 문제에 대해 국내에서는 유럽처럼 강하게 규제안을 마련하진 않고 있다. 규제가 적용될 경우 기술 발전 저하 등 또 다른 문제가 발생할 수 있고 기업 발전에 부정적 영향을 줄 수 있어서다. 현행법상 SNS를 통한 정보 유통을 행정적으로 규제할 수 있는 범위가 제한적인 부분도 있다. 따라서 규제가 아닌 윤리적인 방법을 통한 건전한 플랫폼 유통 등의 방법이 제안되는 상황이다.

긍정적인 부분은 국내 기업들은 이러한 문제에 선제적으로 나서 대응하고 있다는 점이다. 국내 소셜 플랫폼 기업들은 국내외 사용자들의 안전한 플랫폼 이용을 위해 자발적으로 기술 고도화, 안전 정책 수립 등 안전장치를 마련하며 건전한 콘텐츠 확장에 앞장서고 있다.

글로벌 영상 기술 기업 하이퍼커넥트가 대표 사례다. 소셜 라이브 스트리밍 서비스 ‘하쿠나 라이브’에 AI 기반 실시간 모니터링 시스템과 인력 기반의 24시간 모니터링 및 신고 시스템을 운영하며 부적절한 언어와 이미지를 노출하는 유해 콘텐츠에 신속하게 대응하고 있다. 특히 지난 3월 ‘하쿠나 헬프센터’를 리뉴얼 오픈해 온라인 괴롭힘 및 그루밍, 사진 도용 등 안전 이슈에 대한 대응 방법을 안내하고 있다. 또한, 2021년 ‘커뮤니티 안전 감독 위원회’를 마련하는 등 건강한 플랫폼을 만들기 위한 기술 및 인적 자원 투자를 확대하는 등 지속적인 노력을 이어가고 있다. 하이퍼커넥트 관계자는 “더 많은 사람이 소통에 참여할 수 있도록 안전한 환경을 조성하고, 유익하고 건강한 콘텐츠가 생산되고 공유될 수 있는 기반을 마련하는 것이야말로 ‘사용자 경험’을 향상시키는 방법”이라며 “하이퍼커넥트는 기술 고도화, 안전 정책 수립 등을 통해 자율적인 관리를 지속적으로 강화할 것”이라고 말했다.

메타버스 플랫폼 ‘제페토’를 운영하는 네이버제트도 마찬가지다. 이 회사는 지난 5월 UN 안보리 산하 대테러사무국(CTED) 간담회에서 안전한 메타버스 환경 구축과 유해 콘텐츠 차단을 위한 정책 및 운영 노하우를 공유했다. 플랫폼 내 안전센터를 통해 올바른 메타버스 이용 방법을 안내하고 있으며, AI 기반 그루밍 및 성착취 검출 기술을 도입하는 등 필터링 기술을 꾸준히 고도화하고 있다고 설명했다. 또한 2021년 말부터 안전 전문 인력을 300% 이상 확충해 더욱 철저한 24시간 모니터링을 진행하고 있다.

국내 AI 스타트업 튜닙은 텍스트 생성형 AI 모델이 혐오 표현 등을 하지 않도록 탐지하는 기술을 개발했다. 단어가 아닌 문맥을 이해해 혐오 발언 등을 탐지하는 AI 기반 엔진을 제작해 응용프로그램인터페이스(API)로 제공하고 있다. 국내에서 생성형 AI 기반 서비스를 제공하는 뤼튼테크놀로지스도 해당 API를 사용 중이다. 박규병 튜닙 대표는 “단어를 기반으로 혐오 표현 등을 탐지하는 기술은 많이 개발됐지만, 이 방법은 문맥을 이해하지 못해 오류를 저지르는 경우가 있었다”며 “우리는 문맥을 탐지하는 기술과 데이터 검증 등의 방법으로 AI가 문제되는 발언을 하지 않도록 조치하고 있다”고 밝혔다.