인공지능(AI) 기술이 급속도로 보편화되면서 기술 사용에 있어 사용자 안전을 확보해야 한다는 목소리가 커지고 있다. 특히 채용에서 지원자의 당락에 영향을 미치는 ‘AI 면접’이나 사람의 판단에 영향을 미치는 ‘대화형 AI’ 모델은 편향되지 않고 공정하고 올바른 결과를 낼 수 있는 여부가 중요해지고 있다. 한국뿐 아니라 유럽연합(EU), 미국 등 기술 선도국에서 AI 신뢰성을 앞세우며 검증 도구 개발, 규제 등을 논의하는 이유도 이 때문이다.

하지만 AI 신뢰성이나 공정성, 편향성 등에 관한 논의는 일부 AI 기업이나 연구자 사이에서 반발감을 일으키고 있다. 정부 위주로 AI 신뢰성을 논의하며 개발 가이드라인 정착, 인·검증 제도 도입 등을 하게 되면 새로운 규제가 생길 수 있어서다. 아직 AI 산업 진흥이 이뤄지기도 전에 기술개발을 막는 장치가 마련되면 경쟁국과의 기술 경쟁에서 뒤처질 수 있다는 게 이들의 주장이다.

따라서 AI 개발과 사용에 있어 안전장치는 마련해야 하지만, 기업의 기술개발을 정체해서는 안 되는 것이 AI 신뢰성 확보의 중요 과제로 떠올랐다. 이에 대통령직속 국민통합위원회는 지난 31일 ‘AI 확산에 따른 미래갈등 대비’ 현장간담회를 열고 기업 관계자들과 AI 편향성, 위험성을 해소하는 방안을 논의하는 시간을 가졌다.

서울시 중구에 위치한 제네시스랩 사무실에서 열린 이날 간담회에는 기업 대표로 박지환 씽크포비엘 대표, 박전규 튜터러스랩스 대표, 이영복 제네시스랩 대표, 구상준 스캐터랩 책임연구원이 참여했다. 곽준호 한국정보통신기술협회(TTA) AI 신뢰성검증팀장도 발표자로 나왔다. 씽크포비엘은 AI 신뢰성 검증 도구를 개발하고 TTA의 ‘신뢰할 수 있는 인공지능 개발 안내서’ 제작에 참여한 업체다. 제네시스랩은 AI 면접 기업으로 TTA의 AI 신뢰성 검증을 받은 곳이고, 스캐터랩은 국내 AI 윤리 이슈를 불러일으킨 이루다 개발사이자 제네시스랩과 마찬가지로 AI 신뢰성 검증을 받은 기업이다. 튜터러스랩스는 AI 기반 에듀테크 서비스를 개발하는 업체다.

국민통합위원회에서는 최재천 분과위원장과 김석호 위원, 이우영 위원, 한지아 위원이 참가했다. 또 과제 자문단인 고경철 세종과학포럼 회장, 김유향 국회입법조사처 심의관, 전창배 국제인공지능&윤리협회(IAAE) 이사장, 홍성민 과학기술정책 연구원, 김동원 THE AI 기자가 함께했다. 

◇AI 신뢰성 확보, 참가 기업 모두 동의

이날 토론은 AI 신뢰성 검증의 필요성에 대해 논의하고 AI 기업들의 현장 목소리를 듣는 순서로 진행됐다. 이날 발표자로 나선 곽준호 TTA 팀장은 현재 제작한 신뢰할 수 있는 인공지능 개발 안내서와 함께 AI 신뢰성을 검증한 사례 등을 소개했다.

“챗GPT와 같은 웹 기반 AI 서비스가 등장하고 사용자가 많아지면서 AI 기술의 위험들이 갈수록 구체화되고 있다”며 “지금이 AI 신뢰성과 윤리를 점검해야 하는 골든타임”이라고 말문을 뗀 그는 AI 개발 안내서를 만들면서 △신뢰성 확보 기술 체계 정립 △국내 신뢰성 확보 역량 제고 △신뢰성 확보 글로벌 선도 등 3가지를 주요 과제로 내세웠다고 밝혔다. 아직 AI 신뢰성에 대한 명확한 개념이 없어 어려워하는 기업들을 위해 참고서와 같이 기술 체계를 정립하고, 기업과 개발자들이 웹 기반 점검 도구를 활용해 자체 서비스가 신뢰할 수 있는지를 스스로 점검할 수 있게끔 기반을 만들었다고 말했다. 또 기업이 받은 신뢰성 검증이 공신력을 가질 수 있도록 국제표준화기구와 해외 정부 등과 협력하고 있다고 밝혔다. 그는 “신뢰할 수 있는 인공지능 개발 안내서를 만들고 검증하다 보니 영국, 독일 등 해외 정부에서도 관심을 두고 협업하자는 사례가 계속 나오고 있다”며 “해외 정부 및 기구와 적극적으로 협업해 국내 기업들이 글로벌 수준으로 신뢰성을 확보할 수 있게 노력하겠다”고 말했다. 또 “처음 분야에 상관없는 일반 개발서를 만들었는데 산학연에서 분야별로 만들었으면 좋겠다는 의견이 있어서 챗봇, 의료, 자율주행 등 분야별 개발서를 만들었고 올해는 채용, 스마트치안, GPT 기반 서비스에 대한 개발안내서도 만들 예정”이라고 소개했다.

실제로 TTA의 개발안내서를 준수하고 신뢰성 검증을 받은 기업에서는 이 과정이 불편하지 않고 오히려 기업에 득이 됐다고 평가했다. 이영복 제네시스랩 대표는 “어디서 데이터를 구했는지, 어떤 과정으로 만들었는지 등 실제 고객들이 궁금해하는 내용들이 모두 개발안내서에 포함돼 있었다”면서 “안내서를 따르고 기술을 검증한 것이 실제 서비스 공급에 있어 도움이 됐다”고 평가했다. 구상준 스캐터랩 책임연구원은 “개발안내서의 내용은 추상적이지 않고, 실제 개발자들이 참조할 수 있을 만한 자세한 내용이 담겨 있었다”면서 “기업 윤리 담당자로서 좋은 참고자료였다고 생각한다”고 말했다.

◇“AI 신뢰성 확보, 실제 기업에 부담 크지 않아”

이날 기업들은 AI 신뢰성 검증은 장기적인 관점에서 필요하고, 또 소비자가 이러한 검증을 받은 서비스를 올바르게 알 방법이 필요하다고 주장했다.

구상준 스캐터랩 책임연구원은 “개발안내서나 신뢰성 검증은 좋은 제도지만, 기업들의 참여를 이끌기 위해선 인센티브 등이 필요한데 아직 이러한 부분이 부족하다”고 지적하며 “영상등급위원회에서는 콘텐츠 등급을 만들고 이 기준에 맞춘 영화에만 상영관을 확보해주는 제도를 만들어 올바른 콘텐츠 생성을 이끄는 것처럼 AI 서비스도 이러한 제도가 방안이 있었으면 좋겠다”고 희망했다.

이영복 제네시스랩 대표는 “결국 기업들은 어떤 행위를 했을 때 이익이 와야 동기부여가 된다”면서 “AI 신뢰성 검증도 정부 과제 등을 입찰할 때 신뢰성 개발안내서를 준수했거나 신뢰성 검증을 해야 한다는 내용만 들어가도 좋은 동기부여가 될 것”이라고 말했다.

이들 기업은 AI 신뢰성 검증 단계를 거치는 것이 기술 경쟁에 크게 뒤처지는 요소가 아니라고 주장했다. AI 신뢰성 검증이 실제 중소기업과 스타트업에 부담이 되냐는 김유향 국회입법조사처 심의관의 질문에 이영복 제네시스랩 대표는 “서비스마다 제각각 다르겠지만 AI 신뢰 검증을 한다고 회사에 치명적인 위협이 될 정도는 아니다”라며 “서비스를 기획하는 단계에서 동일한 선상에서 조금만 생각을 더 하면 되는 일”이라고 말했다. 이어 “여러 문서를 준비하고 점검하고 검수받는 과정에서 시간과 비용이 더 들어가는 것은 맞지만 전체적인 기업 성장을 생각하면 경쟁력 있는 투자라고 생각한다”고 덧붙였다. 구상준 스캐터랩 책임연구원은 “우리는 이루다 서비스로 인해 AI 신뢰성이나 윤리의 필요성에 크게 공감하고 있다”면서 “전체적인 기업 리스크를 생각하면 신뢰할 수 있는 인공지능 개발안내서를 준수하고 신뢰성 검증을 받는 것이 더 유리하다고 본다”고 말했다.

또 기업들은 AI가 내린 결과를 설명할 수 있는 것이 필요하다는 데 공감했다. AI 서비스가 신뢰할 수 있는 증명하고 또 공개하는 것에 대해 어떻게 생각하냐는 한지아, 이우영 위원의 질문에 이영복 제네시스랩 대표는 “서비스하는 AI 모델이 어떤 데이터를 학습했는지, 프로세스는 어떻게 되는지 투명하게 공개해 소비자를 보호해야 한다”면서 “우리는 어떤 데이터를 학습했고, 누가 검증했고, 편향성을 줄이기 위해 어떤 노력을 했는지 등을 모두 투명하게 공개하고 있다”고 말했다. 박지환 씽크포비엘 대표는 “이러한 절차가 스타트업은 당장 걸림돌처럼 느껴질 수 있겠지만, 불편한 과정들을 많이 줄여가면서 균형 있게 시스템을 도입할 필요가 있다”면서 “국가 차원에서도 한국의 AI 기술은 믿을 수 있다는 국가 브랜딩을 만들어 국내 기업들을 독려해야 한다”고 강조했다.

◇공신력 있는 검증 구축과 전문 인력 확보 필요

올바른 AI 신뢰성 검증을 위한 방향 설계도 잘해야 한다는 의견도 개진됐다. 김동원 THE AI 기자는 “신뢰성 검증으로 인한 혜택이 늘어나면 각종 단체와 협회 등에서 모두 검증 사업을 시행할 수 있다”며 “이 경우 기업들은 어떤 검증을 받아야 하는지 혼란을 느낄 수 있다”고 지적했다. 또 “미국이나 EU에서도 신뢰성 검증 체계를 구축한다면 한국 기업이 수출을 위해 국내에서 인증받고 미국에서 다시 인증받아야 하는 등 행정 절차가 많아질 수 있다”고 염려했다.

박지환 씽크포비엘 대표는 “우리나라에서 아무리 검증을 받았더라도 해외 데이터는 다르기 때문에 해외에서 다시 편향성 문제가 발생할 수 있다”며 “AI 신뢰성 문제는 수출을 가로막는 허들이 될 수 있다”고 지적했다. 이어 “얘기가 나온 대로 AI 신뢰성 검증에 대한 수많은 사설 인증이 생길 가능성이 크다”며 “국가에서는 국제 표준을 연대로 공신력 있는 인증을 시행하고, 해외 국가들과 연대해 상호 검증과 인증 등의 체계를 마련해야 한다”고 조언했다.

전 세계적으로 AI 신뢰성이 강조되는 만큼, 이에 관한 전문 인력도 키워야 한다는 의견도 나왔다. 박지환 씽크포비엘 대표는 “마이크로소프트(MS)나 구글이 악의적이어서 혹은 데이터가 부족해서 편향 있는 AI를 만드는 것이 아니라 그만큼 편향을 검증하는 기술이 지금의 AI 속도를 따라가지 못하기 때문”이라며 “AI 신뢰성을 높이겠다면 이에 걸맞은 형태의 투자가 필요하다”고 말했다. 또 “AI 의료기기를 예로 들면, 사용자들이 자신의 생명을 AI 의료기기에 맡기는 이유는 이 기기가 전문가로부터 안전성과 효과가 입증된 것을 믿기 때문인데 이러한 전문가가 없다는 것은 부끄러운 일”이라며 “실제로 개발안내서 등을 제작해보니 전문 교육과 인력이 부족하다는 것일 크게 체감했다”고 아쉬워했다. 곽준호 TTA 팀장도 “현재 TTA에 AI 검증인력들은 26명 정도”라면서 “인력들이 부족한 것이 맞다”고 공감했다.

전창배 IAAE 이사장은 “현재 AI 인력양성이 강조되면서 인공지능대학원들이 많이 생기고 있는데, 이에 맞춰 AI 안전성 등을 논하는 인공지능윤리대학원 등도 마련될 필요가 있다”며 “AI 기술에 대한 안전성이 전 세계적으로 부각되는 만큼 이러한 분야에 관한 투자도 이뤄지길 바란다”고 희망했다.