지난 3월, 유럽연합(EU)은 인공지능 규제법(AI Act)을 최종 승인하여, 24개월 이내에 전면 시행하기로 했다. 이제 유럽 시장에서, 모든 종류의 인공지능(AI) 관련 제품과 서비스는 이제껏 존재한 바 없었던 고강도 규제의 적용 대상이 된다. 제 1세계에서 AI 관련 법 규제를 본격화하면서, 각국의 대응 움직임도 빨라지고 있다. 지난 4월, AI 표준화를 담당하는 국제기구 SC42의 총회가 서울에서 개최되었다. 5월에는 블래츨리 선언으로 유명한 인공지능 안전 정상회의(AI Safety Summit)가 2차 회의를 서울에서 개최한다. 그 와중에 오픈AI는 한층 더 자연스럽게 대화가 가능한 GPT-4o를 발표했다. 휴머노이드에 탑재한다면 SF영화에서 나올 법한, 사람처럼 대화하고 반응하는 로봇이 가능해질 만한 기술이 눈앞에 다가왔다고 해도 좋다. 요컨대 ‘인공지능의 세상’은 우리 생각 이상으로 빠르게 구체화되는 중이고, 우리는 원하든 원치 않든 그 변화의 한가운데에 있다.

격변의 한가운데에 있다는 것은 기회인 동시에 위기이기도 하다. 최근에 필자는, 인공지능을 행정에 도입하는 목적으로 공공기관, 공기업 등에서 발주한 사업들을 자세히 살펴볼 기회가 있었다. 검토 결과 대부분의 서비스 사업들이 EU의 법 기준으로는 금지 대상이라서 최소 500억의 과징금을 물어야 하거나, 높은 수준의 인증을 받아야만 출시할 수 있는 것들이었다. 여기서 높은 수준의 인증이란 위험 관리, 동작에 대한 기록, 개발 과정의 투명성 제시, 인간 감독에 의한 유사시 작동 통제 등 8개 영역에서의 준칙을 지켜야 한다는 것을 의미한다. 요컨대 해당 서비스들은 EU가 주도하는 국제 기준 하에서의 시장 경쟁에서 살아남을 수 없다. 또한 유사한 방식으로 개발된 국내 기업의 제품들은 해외 진출이 사실상 원천 봉쇄될 것이다.

이렇게 되는 것은 인공지능에 대한 세계 시장의 기준이 성능보다 신뢰성을 중시하는 구조로 바뀌었기 때문이다. 쉽게 말해 사람처럼 생각하고 움직이는 인공지능의 실현을 눈앞에 둔 상황에서, 그리고 그런 인공지능과 함께 일하고 생활하게 될 상황에서, 사회는 이제 ‘영리한 인공지능’보다도 ‘믿을 만한 인공지능’을 원한다. 여기서 믿을 만하다는 것은 인간사회의 최소한의 윤리 기준을 지키고, 가능하면 각 사회의 문화적 금기들을 어기지 않아야 한다는 뜻이다. 아무리 성능이 우수하더라도, 모 AI 스피커처럼 아이에게 전기 소켓에 손가락을 넣는 놀이를 가르치는 인공지능 보모는 사회가 용납할 수 없다는 것이다.

이제 단순히 양질의 인공지능 기술을 개발하거나 적용하는 것만으로는 격변하는 ‘인공지능의 세상’에 자리 잡을 수가 없다. 개발하는 처지에서는 품질 이상으로 신뢰성 부분을 면밀하게 검토해야 하며, 적용하는 처지에서도 사용하려는 인공지능이 신뢰할 만한 것인지를 먼저 따져봐야만 낭패를 보지 않는다. 바꿔 말하면 신뢰성 문제를 선제적으로 잘 대비한다면 기술 개발에서나 기술 활용에서나 압도적인 경쟁력을 갖출 수 있다는 의미이기도 하다. 그렇지 못한 인공지능들이 저절로 시장에서 퇴출할 것이기 때문이다. 격변의 시대에는 먼저 올바른 방향을 잡은 쪽이 승리하게 마련이다.

이를테면 기업은 서비스 기획 단계에서부터 법적 위험성을 분석하여 리스크를 회피해야 한다. 이때에는 인공지능과 관련해 새로이 만들어진 법들과 함께, 기존 산업에 적용되어온 오래된 법들까지를 검토해야 한다. 무엇보다 개발 후에 뒤늦게 법적 위험성을 검토하는 것이 아니라, 개발의 단계 단계마다 법 기준과 산업적 요구사항을 수시로 검토해야만, 인공지능의 오작동으로 인해 기업이 본의 아니게 범법자가 되는 상황을 방지할 수 있다.

학교에서는 인공지능 기술과 관련하여 신뢰성 관련 분야의 교육이 중요해진다. 여기에는 데이터 편향, 데이터 거버넌스, 오픈소스와 공개 데이터 활용의 위험, 모델 추출 공격이나 교란 공격에 대한 방어 기술, 운영하는 과정에서 재학습되는 인공지능 시스템에 대한 벨리데이션 체계 등을 가르치는 일이 포함된다. 학생들이 졸업 후 업계에서 맡게 될 직무들도 그것에 맞게 더 세분화할 것이다. 유럽의 ALTAI에서는 6개 영역의 AI 신뢰성 직무를 제시하였고, 필자는 자체적으로 8개 직무를 규정한 바 있다. 이는 인공지능 분야의 인재풀을 확충하는 동시에 신기술 분야에 새로운 고용을 창출하는 일이기도 하다.

신뢰성 검토가 가장 중요해지는 것은 무엇보다 공공 영역이다. 민간의 서비스는 신뢰성에 문제가 있으면 해당 기업이 손해를 보거나 퇴출할 뿐이지만, 공공의 서비스가 신뢰성을 갖추지 못할 시에는 사회 전체에 문제가 생긴다. 안면인식 시스템이 흑인을 이유 없이 범죄자로 간주하여 물의를 일으켰던 미국의 사례에서 알 수 있듯, 사회 구성원의 기본권을 심각하게 훼손할 수 있기 때문이다. 그래서 EU 법안에서도 공공 서비스는 특별히 고위험 영역으로 분류되어 있다. 사업 발주 단계에서부터 프로젝트 특성에 부합하는 신뢰성 검증이 필요하며, 이후 운영 과정에서도 데이터 오염으로 인한 오작동이 없게끔 지속적인 검증과 관리체계가 동반되어야만 한다.

공공에서의 검수 작업은 더 말할 나위도 없다. 기존의 F1 스코어처럼 몇 개 중에 몇 개가 통과했다는 식의 산술적 평가로는, 인공지능이 다양한 환경에서 스스로 대처해야 하는 현재의 산업환경을 생각할 때 오작동 통제가 불가능하다. 인공지능이 산업 곳곳에서 활용되는 사회에서 개인이 안전해지려면, 기술적 검증을 기반으로 하는 선도적인 검수 체계가 갖추어져야 한다. 이러한 검증 기술을 개발하는 데만큼은 더 많은 공적 예산을 투입하는 일이 사회 안전과 국가적 경쟁력 확보를 위해 필수적일 것이다. 

인공지능 등장 이후 전 세계적으로 인력에 대해 구조조정이 진행되고 있지만, 인공지능 신뢰성 관리 분야에서는 새로운 고용 창출이 적극적으로 이루어질 수 있다. 또한 그것은 민간보다 공공 영역에서 더욱 주도적으로 시도될 수 있다. 왜냐하면 ‘인공지능의 세상’에서 ‘믿을 수 있는 인공지능’을 만드는 일은 곧 ‘믿을 수 있는 사회’를 구성하는 일과 다르지 않기 때문이다. 또한 그 ‘믿을 수 있음’의 기준을 마련하는 주체는 개인이나 개별 기업이 아니라 공공의 영역이어야 하기 때문이다. 공공이 풍부한 인력풀을 통해 인공지능 신뢰성의 객관적, 기술적 기준을 만들고 세밀하게 관리한다면, 개인과 기업은 더욱 안정된 기반 위에서 해당 기술을 이용한 창조성을 발휘할 수 있다. 인공지능의 세상에서는 그것이 곧 국가의 경쟁력이 된다.

인공지능의 도입과 관련해 수많은 논의와 우려, 담론들이 있었다. 이에 대해 필자는 제법 오래전부터 각종 지면을 통해, 인공지능 문제는 도덕적 구호 같은 게 아니라 기술적 실천을 통해서 해법을 찾아야 하며, 그러기 위해선 무엇보다 인공지능 신뢰성에 관련된 기술적 연구와 인공지능 신뢰성을 체계적으로 학습한 전문 인력 양성이 중요하다고 주장해 왔다. 이런 주장에 대해 그간 다양한 반응이 있었지만, 적어도 현재의 세계적 흐름은 필자의 입장에 힘을 실어주는 방향으로 나아가고 있다고 생각한다.

이 시점에서 SC42의 총회가 서울에서 열리고, 블래츨리 선언에 이은 두 번째 인공지능 정상회담이 또한 서울에서 개최된다는 점이 의미심장하다. 격변은 바로 우리의 발밑에서부터 진행되고 있다. 캐나다 식약청, 일본 제조업의 내구성, 독일 제품의 안정성 등이 일종의 국가 브랜드로 자리 잡은 것처럼, 한국에 인공지능 산업의 대표 브랜드 이미지가 만들어지는 것도 현재 시점에서 불가능한 일은 아니라고 생각한다. 지금 인공지능 산업의 핵심 과제는 신뢰성이다. 따라서 우리가 분산된 제도를 거시적 안목에서 재정비하고, 신뢰성 문제를 기술적으로 해결할 수 있는 전문 인력을 신속하게 양성해낸다면, 인공지능 산업의 미래는 대한민국을 중심으로 움직일 수 있다고 기대해 본다.

※ 본 기사는 기고받은 내용으로 디지틀조선일보의 편집 방향과 일치하지 않을 수도 있습니다.