인공지능(AI) 산업이 따뜻한 봄을 맞이했다. AI 기술 발전에 필요한 데이터 수가 급증하고 생성형 AI 등 새로운 기술들이 등장하면서 AI 관련 서비스와 사용자 수가 급격히 많아졌다. 빙하기에 갇혀있었던 AI 기술이 제철을 맞아 본격 기지개를 켜기 시작한 것이다.

실제로 글로벌 빅테크 기업들이 만든 대형언어모델(LLM)이 응용프로그램인터페이스(API)와 플러그인 형태로 제공되고, 일부 기술들이 오픈소스로 공개되면서 대기업뿐 아니라 중소기업, 스타트업도 고객 맞춤형 AI 서비스를 빠르게 선보이고 있다. 제조, 의료, 금융, 교육, 국방, 법률, 교통, 패션, 인적자원(HR), 농업 등 분야에 상관없이 다양한 AI 서비스가 나오는 추세다. 

그런데 여기서 문제가 있다. 이러한 AI 서비스를 믿고 사용해도 되느냐다. 대출 심사를 할 때 금융기관이 AI를 보조적으로 사용된다고 가정해보자. AI는 사용자의 신용점수를 낮게 판단해 대출이 불가하다는 결론을 내렸다. 그 이유를 여러 근거로 보여줬다. 사용자는 그 결과를 그대로 수용해야 할까. 의료 검진 분야에서 의사 보조용으로 사용되는 AI가 환자의 CT 영상을 보고 암이라고 판독했다. 의사가 해당 결과를 다시 보고 암이 아니라고 다시 결론을 내렸다. 환자는 어떤 결과를 믿어야 할까. 불안하진 않을까.

AI 서비스가 다양해지면서 사용자는 어떤 AI 기술을 믿고 사용해도 되는지 혼란에 빠지게 됐다. 공급사들은 ‘믿을 수 있는 데이터만 사용했다’, ‘98% 이상 정확도를 보인다’ 등으로 기술 신뢰도를 홍보하지만 해당 내용이 증명되진 않았다. 정확도는 어떤 기준으로 측정했는지에 따라 결과가 다르게 나올 수 있고 믿을 수 있는 데이터를 사용했는지는 사용자가 확인할 방법이 없다. 냉정히 말해 서비스 사용자 확대를 위한 공급사의 마케팅 문구일 뿐이다.

그렇다면 사용자는 어떤 정보를 믿고 AI 서비스를 선택해야 할까. 이 문제를 해결하기 위해 정부는 ‘AI 윤리기준 제정’ ‘자율점검표·개발안내서 등 실천방안 마련’ ‘AI 신뢰성 검·인증’ 등을 주요 정책과제로 두고 AI 신뢰성 검토에 만전을 기하고 있다. 과학기술정보통신부(과기정통부)는 정보통신정책연구원(KISDI)과 AI 윤리기준 준수 여부를 기획자·운영자 스스로 점검할 수 있게 한 ‘자율점검표’를 만들었고, 한국정보통신기술협회(TTA)와는 개발자가 참고할 수 있는 기술적 요구사항을 담은 ‘개발안내서’ 등을 마련했다.

하지만 이러한 활동은 AI 개발 속도를 늦춘다는 지적도 받는다. 이제 본격적으로 열리기 시작한 AI 시장에서 신뢰성 검·인증 등을 하게 되면 기업이나 연구자에게 규제로 다가올 수 있다는 지적이다. 너무 윤리적인 문제에만 무게를 두게 되면 AI 강국인 중국과의 격차가 더 벌어지고 AI 주도권 확보에도 뒤처질 수 있다는 의견이 많다.

이처럼 AI 신뢰성 확보는 공급자와 소비자 사이에서 다양한 의견 충돌을 일으키고 있다. 그렇다면 AI 산업의 진정한 성장을 위해선 어떤 방향이 필요할까. 이 답을 알기 위해 박지환 씽크포비엘 대표를 만났다. 씽크포비엘은 과기정통부와 TTA가 추진한 ‘AI 신뢰성 요구사항 도출 연구 용역’에 주관사로 참여해 자율 주행, 의료, 공공사회 분야 3종의 ‘신뢰할 수 있는 인공지능 개발 안내서’를 제작한 업체다. AI 신뢰성 검증 관련 기술기법 5건이 현재 TTA 단체표준으로 채택돼 있다. 그만큼 AI 신뢰성 분야에선 앞선 기업으로 평가된다. 

박 대표는 이번 인터뷰에서 “AI 신뢰성은 ‘트러스트 워시(Trustworthy)’, ‘릴라이어빌러티(Reliability)’ 두 가지 관점에서 봐야 하는데, 영어를 한글로 그대로 옮기다 보니 두 의미가 중복돼 발생하는 경우가 많다”며 “신뢰성 검·인증 등에 관한 오해를 풀기 위해선 그 앞에 어떤 것을 검·인증하는지 정확히 명시해야 기업과 연구자들이 규제로 오해하는 경우가 없을 것”이라고 조언했다. 또 “Trustworthy와 Reliability 관점에서 한국이 선제적으로 대응하면 ‘한국의 AI 제품은 믿을 수 있다’는 국가 브랜드가 생겨 국내 기업들의 활로가 더 많아질 수 있다”고 강조했다.

 - AI 신뢰성에 관한 관심이 뜨겁다. 그런데 검·인증 등에 대해 부정적인 인식이 많더라.

“검·인증을 한다고 했을 때 그 앞에 단어를 붙여야 한다. 어떤 것에 대한 인증인지를 명확히 해야 한다. 역량에 대한 인증인지, 프로세스에 대한 인증인지, 조직에 대한 인증인지, 기술이나 제품에 대한 인증인지를 봐야 한다. 보통 사람들이 원하고 생각하는 건 기술과 제품에 대한 인증이다. 그런데 기술을 보는 인증은 아직 국제 표준에서도 마련돼 있지 않다. 아직 재정 중이다. 당장 검·인증이라고 하면 기술과 제품을 인증한다고 생각하는데, 국제 표준도 마련돼있지 않은 상태에서 이를 한다고 받아들여지니 부정적일 수밖에 없다. 규제라고 생각되는 것도 이 때문이다. 따라서 어떤 검·인증인지를 정확히 명시해야 한다. 우리도 시험을 볼 때 수학 시험인지, 체력 시험인지 등을 다 명시하지 않는가. 오해를 줄이기 위해선 정확한 내용을 써줄 필요가 있다.”

- 그렇다면 씽크포비엘이 TTA와 한 AI 신뢰성 검증 기술은 무엇인가.

“우선 신뢰성이란 용어를 정확히 정립할 필요가 있다. 신뢰성은 Trustworthy와 Reliability가 있는데 두 단어를 한국어로 번역하다 보니 혼선이 생기는 것 같다. 우리가 TTA와 만든 것은 Trustworthy다. 기업이 어떤 AI 모델을 만들 때 신뢰있는 모델을 만들 수 있는 역량이 되는지를 조직적인 관점에서 보는 것이Trustworthyh다. 역량과 일 처리 방법 등을 보는 것이다. 데이터 편향제거나 개인 정보 요소를 완화하려는 노력을 하는지, 지속적으로 발생된 데이터 변형은 파악하는지, 교란 공격 등에 관한 방어 시스템은 구축되어 있는지 등을 본다. 명확히 해야 하는 것이 우리는 제품이나 기술까지 검증하지 못한다. 역량과 프로세스 등을 보는 것이다. 제품과 기술 검증은 아직 구글이나 오픈AI도 못 하지 않은가. 우린 구글이나 오픈AI보다 뛰어난 기업이 아니다.”

- 마이크로소프트(MS)나 구글 등이 ‘페어런’, ‘왓이프툴’(WIT) 등 검증 도구를 만들어 지속 고도화하고 있는데 이와 다른 건가.

“다르다. 이들 기업이 제시하는 검증 도구는 데이터와 관련됐다. 자체적으로도 데이터 편향 검증이라는 단어를 사용한다. 데이터 검증은 Reliability의 영역이다. 데이터는 검증하지만 모델이나 소프트웨어 안전모드 등에 관한 검증은 아직 구체적으로 하지 않고 있다. 물론 AI 신뢰성 확보에는 데이터가 가장 중요하다. AI를 요리로 비유하면 데이터는 물이다. 요리를 할 때 오염된 물을 사용하면 아무리 음식이 맛있어도 탈이 날 수밖에 없듯이 오염된 데이터를 사용하면 AI를 아무리 잘 만들어도 문제가 발생한다. 우리도 이 점을 고려해 데이터 검증 관련 사업도 하고 있다.”

- Trustworthy 쪽으로 검증이 필요한 이유는 무엇인가.

“현재 AI 기술력은 매우 빠르다. 제품이 오늘 나오고 내일 나오고 모레 또 나오는 상황이다. 데이터는 어떤가. 매일 새로운 데이터가 수많이 생산되고 AI는 이를 학습한다. 최근에는 ML옵스(Machine Learning Operation) 기술 발전으로 실시간 데이터를 학습하기도 한다. 따라서 데이터를 검증하는 것은 일차적인 요소고, 진정한 신뢰성을 위해선 조직적으로 탄탄한 기반을 만들어야 한다. Trustworthy는 조직, 프로세스 등 그 기반을 검증한다고 보면 된다. 이러한 Trustworthy는 한국뿐 아니라 유럽 등 다양한 국가에서 중요하게 보는 요소다.”

- Trustworthy 관련 검증에 대한 기업 수요는 있나.

“아직 자발적인 수요는 없다. 그래서 TTA가 진행하는 신뢰할 수 있는 개발 가이드 사업과 함께 하고 있다. 여기에 연합한 몇 개 기업들이 있고 함께 해보자고 해서 이 기업들을 대상으로 작년부터 하고 있다. 반응은 좋다. 사실 Trustworthyh에 대한 검증은 기업들이 하기 싫어할 것으로 생각한다. 아직 이러한 검증에 대한 문화가 자리 잡지 않았다. 사람을 예로 들면 연예인이 정신병원 갔다 왔다는 것과 같은 효과를 낼 수 있다. 연예인이 단순히 검진받기 위해 갔는데 그것만으로 오해를 받을 수 있듯이 기업이 이 검증을 받는다면 자치 잘못된 오해를 받을 수 있어서다. 이 때문에 우리도 어떤 기업이 검증받았는지 공개하지 못한다.”

- 검증을 받으면 혜택을 주는 제도가 필요할 것 같다.

“그러한 제도가 있는 것도 한 방법이지만, 가장 좋은 건 기관과 기업이 스스로 검증을 받아야 할 필요성을 가져야 한다는 것이다. 사람은 주기적으로 건강검진을 한다. 검진할 수 있는 기술이 충분하고, 이 검진을 통해 문제점을 찾아 위험한 상황을 막을 수 있다. AI 분야도 검증할 수 있는 기술이 있는데 이를 두려워 하는 것 같다. 무슨 문제가 생길까봐 염려하는 것 같다. 사실 우리나라는 실패가 용납되지 않는 국가다. AI 챗봇이 어떤 문제를 일으켰다고 알려지면 그 기업은 뭇매를 맞는다. 일상 챗봇 ‘이루다’가 그렇지 않았는가. 일상형 챗봇이었음에도 불구하고 사회적으로 그 기준이 높아 안타까운 일이 벌어졌다. 이처럼 실패가 용납되지 않는 사회에서 안전성 검증은 꼭 필요하다. 검증을 받는다고 해도 모든 정보가 공개되는 것은 아니다. 우리도 비밀 조약 등을 다 체결한다. 검증받을 수 있는 문화가 생겼으면 좋겠다.”

- 그런데 씽크포비엘도 기업이다. 기업이 기업에 평가받는다는 것이 부정적일 수도 있을 것 같다.

“삼성 갤럭시폰이 폭발한 적이 있다. 이 문제를 검증한 것도 기업이었다. 이 기업은 여느 국가기관보다 실력이 더 좋다고 평가된다. 그래서 부정적인 시선은 적을 것으로 생각한다. 단 우리는 Trustworthy 부문에서 우리가 직접 검증하진 않을 것이다. Trustworthy의 핵심은 조직의 성숙도를 보는 것이다. 우리는 기술이 있지만, 이 영역을 우리가 해선 안된다고 생각한다. 더 공적인 영역에서 해야 한다. 국가에서 AI 조직의 성숙도를 평가하는 것이 옳다고 본다. 우리는 여기서 이러한 성숙도 검증의 과외 선생님이 되고자 한다. 기업이 성숙도 측면을 고도화할 때 여기서 조언해줄 수 있는 곳으로 남고 싶다.”

- Trustworthy 쪽으로 검증 기술을 가진 곳은 씽크포비엘밖에 없는 것으로 아는데.

“맞다. 그렇다고 우리가 제일 잘한다는 것은 아니다. 이 분야에 뛰어든 것이 우리 밖에 없다는 것이다. 다시 말하지만 우리는 구글과 같은 빅테크 기업이나 한국 대기업보다 뛰어난 기업은 아니다. 우리는 개발 가이드를 만들 때 세상에 사례를 다 담고, 그 기준을 적어두려고 노력했다. 이 분야는 아직 선행 연구고 방향 제시다. 이 정보를 잘 정리해두면 기업이 필요에 따라서 안정된 방법으로 AI 기술을 만들 수 있다고 봤다. 쉽지 않은 도전이었지만, 먼저 고생하는 것이 우리 역할이라고 생각했다. 좋은 약이 있는데 아직 검증되지 않았다고 생각해보자. 의사는 이 약을 사용하지 않는 것이 안전하다. 그런데 이 약으로 사람을 살릴 수 있다면 약을 검증해보는 게 좋지 않을까? 그래서 도전하기로 했다. 국내 사례가 업기 때문에 글로벌 팀을 별도로 만들어 해외 사례를 모두 취합했고, 여기서 필요한 정보를 다시 작업하는 등 많은 시간과 돈을 투자했다.”

- Reliability 검증도 중요하다. 데이터 검증 사업에서의 수요는 어떠한가.

“편향된 데이터가 없는지 등을 살피는 수요도 있는데, 중복 데이터를 줄이기 위한 수요가 더 있는 편이다. 전 세계 데이터의 약 65%는 중복 데이터다. 많은 사람이 알다시피 AI 학습에는 많은 전기가 소모된다. 이로 인해 탄소배출 문제가 생긴다. 현재 이 문제를 AI 반도체 등 기술적으로 풀려는 노력이 많다. 조사해보니 이러한 방법으로 30%까지 전력량을 줄일 수 있다고 한다. 그런데 중복된 데이터를 줄이면 이보다 더 많은 전력량을 줄일 수 있다. 수질 검사를 한다고 예로 들면 1급수, 2급수, 구정물 등으로 분류해 각각 필요에 따라 사용할 수 있다. 그런데 다 섞어 놓으면 잘 활용할 수 없지 않은가. 데이터도 검증을 통해 분류해 필요에 따라 사용할 수 있다. 데이터 검증이 단순히 편향성 등을 찾아낼 수 있지만, 환경적으로도 기여할 수 있는 것이다. 이러한 수요가 많아지는 추세다.”

- 데이터 검증이 가장 필요한 곳은 어딜까.

“공공기관에 있는 빅데이터다. 이러한 데이터는 국가 예산으로 획득한 데이터고, 민간이 잘 활용할 수 있도록 지원되는 경우도 많다. 이러한 데이터부터 제대로 된 데이터인지 검증할 필요가 있다. 이러한 요청을 하고 있지만, 아직 반응은 없다. 한 번 검증하면 앞으로 더 잘 모을 수 있는 기회가 있는 것이다. 검증을 했는데 잘못된 데이터가 있다면 이를 알려 줌으로써 앞으로 더 좋은 데이터를 모으고 이를 토대로 많은 산업을 키울 수 있는데, 아직 그 필요성을 못 느끼는 것 같다. 공공기관 데이터부터 검증하면 한국 AI 신뢰도가 많이 높아질 것 같다.”

- AI 신뢰성 확보를 위해 필요한 점은 무엇이라고 보는가.

“AI 신뢰성을 위한 인프라가 마련돼야 한다. 식약청이 있는 이유는 식품의약품이 안전한지를 검증해 국민의 안전을 도모하기 위해서다. AI도 안전한 방향으로 가기 위해 식약청과 같은 곳이 있길 바라지만, 이와 관련된 교육을 받을 수 있는 교육기관도 사람도 기술도 없다. 안전한 AI를 기대하면서 이에 맞는 행동은 뒤따라오지 못하는 경향이 있다. 이러한 점이 부족하면 국가에서 나서야 한다고 생각한다. 시골에 병원이 없으면 공공의료원을 지어야 하지 않은가. AI로부터 안전한 사회를 원한다면 그 기대치만큼의 실행력이 필요하다.”

- 한국에서 AI 신뢰성 확보가 이뤄진다면 어떤 긍정적인 영향이 있을까.

“당장 5년 뒤 한국이 가져가야 할 AI 산업 브랜드는 무엇일까. 신뢰성이라고 본다. 한국 AI 기술은 AI 제품은 믿고 사용할 수 있다는 국가 브랜드를 만들어야 한다. 과거에 일본에서 만든 제품은 튼튼하고 고장도 잘 나지 않는다는 인식이 있지 않았는가. 우리나라가 AI 신뢰성 확보에 노력한다면 한국에서 만든 AI는 믿고 사용할 수 있다는 인식을 만들 수 있다. 한국에는 AI 신뢰성 전문가가 많고, 기술이 많고, 기업들이 이 분야에서 많은 노력을 한다고 알려진다면 신뢰성이 국가 브랜드가 될 것이다. 그렇게 된다면 한국 AI 기술에 대한 인식이 높아지고 국내 기업들의 활로가 더 커질 수 있다. 지금은 방향을 잘 잡아야 할 때다.”