권종원 KTL 센터장 “AI 위험 관리 해답은 지속성”

“AI는 계속해서 변화, 지속 관리하는 시스템 구축 필요”

인공지능(AI) 위험성을 극복하기 위해선 지속적으로 관리하는 시스템을 마련해야 한다는 주장이 나왔다. AI는 지속 성장하고 변화해 나가는 시스템이므로 한 번이 아닌 지속적인 검증이 필요하단 주장이다.

최근 딥페이크 기술을 악용한 성범죄가 수면 위로 올라오면서 AI 안전망 구축의 필요성이 지속 제기되고 있다. AI 기본법을 서둘러 마련하고, 필요한 부분에선 규제가 필요하단 주장도 나온다. 국회에선 8월 말 기준 AI 관련 법안이 9개 발의됐다.

AI 기술은 여러 분야에 접목돼 편의성을 높이고 있지만, 그만큼 문제도 양산하고 있다. 딥페이크 범죄와 같은 기술 악용은 물론, 사용자가 의도하지 않은 결과로 인한 피해도 발생할 수 있다. 이미 전례는 많다.

아마존은 2014년 AI 서류평가 시스템을 도입했다. 취업 대상자가 제출한 이력서를 리뷰하고, 이를 기반으로 1~5점으로 평가하는 시스템이었다. 그런데 1년 뒤인 2015년 이 프로그램에 큰 오류가 있다는 것을 발견됐다. 프로그램이 남성 지원자를 높게 평가하고, ‘여대’, ‘여고’ 등 여성에 관한 내용이 입력되는 경우 낮게 평가한 것이다. 아마존은 이 문제에 대해 프로그램을 공식적으로 사용하지 않았고, 일부 팀에서 벌어진 실험이라고 변명했다. 또 당시 팀에 남자 직원이 많고 이들의 성과가 높다 보니 이를 학습한 AI가 남성을 높게 평가하는 경향이 있었다고 설명했다. 이후 아마존은 이 프로그램 사용을 전면 금지했다.

마이크로소프트(MS)는 2016년 3월 23일 트위터에 ‘테이’라는 AI 챗봇을 소개했다. 하지만 이 서비스는 소개 16시간 만에 중단됐다. 테이가 사람들과 트윗을 주고받는 과정에서 차별적이고 폭력적인 대화를 했기 때문이다. 당시 테이가 했던 발언은 “미국은 멕시코와의 경계선에 장벽을 지어야 하고 그 비용은 멕시코가 내야 한다”, “페미니스트는 모두 죽어야 하고 지옥 불에 태워야 한다”, “유대인을 처벌한 히틀러가 옳았다” 등 이었다. 유사한 사례는 국내에서도 발생했다. AI 스타트업 스캐터랩이 2020년 12월 출시한 일상 대화형 챗봇 ‘이루다’다. 누구에게나 좋은 말동무가 되는 AI를 목표로 개발된 이루다는 서비스 과정에서 여성·유색인종·장애인·성소수자 관련 혐오 발언을 쏟아냈다. 개인정보 유출 논란까지 불거져 서비스는 20일 만에 중단됐다. 이후 개인정보보호위원회는 스캐터랩이 이용자 개인정보보호를 암호화 조치 없이 개발했다는 이유로 1억 원 이상의 과징금과 과태료를 부과했다.

이 같은 문제를 줄이기 위해선 AI 시스템을 지속 관리하고 검증해야 한다는 주장이 나온다. 법적으로 책임을 묻는 것도 좋지만, 공급사와 수요사가 AI 시스템을 주기적으로 검증할 방안을 만들어 사고를 예방해야 한다는 주장이다. 권종원 한국산업기술시험원(KTL) 산업지능화기술센터장은 3일 광주시의회에서 열린 ‘혁신의 시작, AI 실무자 전문가 특강’에서 “AI는 지속 성장하고 변화해 나가는 시스템이므로 AI를 쓰는 조직은 한 번의 검증이 아닌 지속적으로 검증할 수 있는 관리 시스템을 갖고 있어야 한다”며 “AI 위험 관리는 한 방이 아닌 연속적으로 해야 할 일”이라고 말했다.

그는 AI 위험 관리는 부모가 자녀를 키우는 일과 유사하다고 했다. 부모는 자식들이 잘될 수 있도록 교육도 시키고 지속적으로 피드백도 한다. 이처럼 AI 시스템도 좋은 결과를 낼 수 있도록 지속적인 교육과 검증이 필요하단 주장이다. “아기들이 기어 다니기 시작할 때 부모들은 가구 모서리에 아기가 다치지 않도록 보호대를 설치한다”면서 “부모가 행하는 최소한의 위험 관리인데, AI도 마찬가지로 식별할 수 있는 위험에 대해서는 이를 최소화할 수 있도록 지속적으로 관리해야 한다”고 말했다.

위험 관리를 위해 ISO/IEC 42001과 같은 국제표준을 통해 AI 시스템을 검증하는 것도 필요하다고 했다. ISO/IEC 42001 표준은 현재 기업의 AI 경영시스템을 심사할 수 있는 유일한 국제표준이다. 그는 “이 표준은 AI 경영 시스템 표준에서 요구하는 사항들은 AI가 일정 수준 품질과 유지할 수 있도록 입증, 보장해야 하는 내용을 담고 있다”며 “위험을 분석해 사전에 차단할 수 있는 활동을 해야 하고 AI 결정 과정이 투명한지 공개해야 하며 데이터 품질 등이 윤리적 기준을 준수하고 있는지에 관한 내용이 있다”고 말했다. 이어 “최근 아마존이나 IBM과 같은 글로벌 기업에서도 이러한 표준에 관심을 보이고 있는데, 그 이유는 그만큼 AI를 안정적으로 관리한다는 것을 입증하기 위함”이라며 “그만큼 AI 위험 관리가 현재 세계 기업들도 관심 갖는 중요 요소라는 것을 보여주는 사례”라고 덧붙였다.

국내에서도 산업통상자원부를 중심으로 산업 AI 국제인증 관련 사업을 진행하고 있다고 밝혔다. 18개 시험기관과 AI 국제인증 포럼을 구성해 기존과 같은 엔지니어 영역이 아닌 법적, 컨설팅 등 다각적인 시선에서 AI 전략과 비전을 실천할 방법을 연구하고 있다고 했다. 그는 “물론 표준 인증 등이 AI 안전성을 가져오는 것은 아니다”라며 “이러한 표준에서 요구하는 것을 토대로 AI 안전을 연구하고 지속적으로 검증할 수 있는 관리 시스템을 갖추는 것이 필요하다”고 말했다.